whisperのハルシネーション対応

有名なバグ。

無音で「ご視聴ありがとうございました」「ありがとうございました」が勝手に推測結果として出力される。

https://qiita.com/mtoyopet/items/407df09e6b2edfe35684

記事から得た幻聴検出法は「no_speech_probが全セグメント0.5超」「定型句」「同一フレーズ3回以上の繰り返し」の3段構成で、現実装にない no_speech_prob と繰り返し検出を追加できそうです。クリック時のキャンセルは入力欄選択からの発話を壊すため外し、whisper-serverのverbose_json形式と現在のSTTコードを確認します。

↑の方法だと失敗がありそう・・・

業界標準はVAD(Silero)で無音を除去してからWhisperに渡す方法で、whisper.cpp自体も最近Silero VADを内蔵しています。