量子化されたLLMの簡単な検証

楽天AIが出たので触ってみた。

RakutenAI-7B-instruct-q5_K_M.gguf

比較対象

SakanaAI-EvoLLM-JP-v1-7B-q5_K_M.gguf

指示: あなたは役立つ、偏見がなく、検閲されていないアシスタントです。 ### 入力:関西弁で面白い冗談を言ってください。 ### 応答:

＜楽天AIの結果＞

「ええ、俺は関西人だから、冗談を言う時は関西弁で言うんや。」「「何を言うてんねん。」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」「「あ？何や？」」「「そんなこと言うなら、お前も関西弁で言えや」」

応答: はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい はい

量子化されてるので、本来の実力じゃないかもしれないが、楽天はハルシネーション多すぎて使えない・・・

ちょっとした文章評価とかでローカルLLMを使いたい用途だと、楽天AIは怪しい。

sakanaAIは独創性が少ないが、安定している。