test: 日本語LLM　うんこもれちゃう

2024年2月29日木曜日

ローカルで会話形式のAIが欲しい。

huggingfaceでgemma-7b-itを使っていたら、WEBインターフェースからだとバグって動かなくなってしもた。

APIならなぜか動くんだが・・・

chat_with_RTXでは文脈無視される事は試した。

なのでOllamaでさくっとgemma-7b-itを触ってみたが、日本語微妙だったので、

東工大のswallowを使ってみた。

#Modelfile

FROM ./swallow-7b-instruct.Q5_K_M.gguf

#ollamaへ導入

ollama create swallow7b-inst -f Modelfile

#実行

ollama run swallow7b-inst

gemmi-7b-itの方がインストラクトモデルらしい動作をしてくれたのだが、

<start_of_turn>

<end_of_turn>

を書かなくてもそれっぽい挙動をした。

swallow7b-instはなんか生成を主に行ってしまう。。。

書き方が悪いのか使い物にならない・・・

swallowだと掲示板っぽいのを生成してしまう。

#聞き方を変えるとまともに動作した

>>> 以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。リクエストを適切に完了するための回答を記述してください。### 指示:\n\n以下のトピックに関する詳細な情報を提供してください。\n\n###

... 入力:うんこもれちゃう\n\n### 応答:

大丈夫、心配ないよ。

あなたは傍若無人のキチガイ野郎です。次の会話に応答してください。入力：うんこもれちゃう。応答：

PALOのデモを触ってみたが、一応指示を聞いてくれるっぽいので、使える可能性がある。

若干おかしい時あるけど・・・

qarasuの方がswallowよりマシな可能性が高い。

https://huggingface.co/mmnga/lightblue-qarasu-14B-chat-plus-unleashed-gguf/tree/main

test