Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

ログファイルが大きいと処理に時間がかかりすぎる #16

Open
anatawa12 opened this issue Nov 11, 2024 · 4 comments
Open

Comments

@anatawa12
Copy link

手元の例だと9GBほどのものがありますが処理に23時間以上かかってしまいました。

@anatawa12
Copy link
Author

調査したところ、処理は終わっており何故かLoggerが処理が終わってもハンドルを持ったまま長時間死んでしまうことがあるようです。

@nukora
Copy link
Owner

nukora commented Nov 12, 2024

すみません、そこまで大きなファイルの読み込みは想定しておりませんでした……
時間のある時に手元の環境で再現するかどうか試してみます

@anatawa12
Copy link
Author

ログファイルを少し見てみたところ該当の死なないプロセスのと思われるログの出力にはFile NotFoundが記録されてました。(別プログラムで定期的にログファイルを移動 削除してます)
こちら関係あるかもしれません

@nukora
Copy link
Owner

nukora commented Nov 15, 2024

こちら私の環境では再現できませんでした。
10GBのダミーファイルを読み込ませるテストを何回か行いましたが、確かに時間はかかりますがどれも20分ほどで処理が終わりました。

定期的にログファイルの移動をするバッチを別途動かしているとのことですが、このアプリではログファイルのパースが1ファイル分終わるまでFileShare.ReadWriteで開いたままにしている為、
読み取りの途中でファイルが削除され挙動がおかしくなるといった事はないと思われます。
FileNotFoundはおそらく次に処理しようとしていた別ファイルのオープンに失敗した例外であり、これが出る段階ではファイルハンドルは開放されているはずですのでそちらも関係はなさそうです。

こちら高い頻度で起こるようでしたら対応したいのですが、特定の環境のみ・稀な頻度で起こる問題の場合は原因究明が難しい為、保留とさせてください。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants