大量のログを記録して、期間を指定して高速に抜き出したい。
しかも時間もお金も掛けずに。
mysqlでやろうと思ったけど、量が多すぎて辛い気がしたので、探してみた。
ちなみに１５年ぐらい前にmysqlで毎秒に１回、１００人ぐらいが追記するのを書いたが、その時は専用マシンを用意してなんとか間に合っていた。
あれから時代も経ったのでmysqlでも行けそうな気がするけど、他の方法を調べる。
Kyoto Tycoonの作者
見た感じ早そう！
ログの記録は多いが、計算する回数は少ないのでpythonで操作する。
https://github.com/estraier/tkrzw-python
だけど、仕様的にvalueで日時範囲抜き出しできないかも・・・(T_T
keyを工夫するか、index貼りなおすか。
https://mikio.hatenablog.com/entry/2020/05/24/014517
ついでに為になる記事。
0 件のコメント:
コメントを投稿