2024年3月19日火曜日

text-generation-webuiの計算がやたら遅い

実験メモ


同じモデルでもollamaで動かすより激遅い。

違いはmemory機能があるかないかだけ。

GPU使ってると思うんだが、ちゃんと動いてないのか?


追伸:

最新のパッチを当てたら、正常動作した・・・


0 件のコメント:

コメントを投稿