日本語LLM うんこもれちゃう

ローカルで会話形式のAIが欲しい。

huggingfaceでgemma-7b-itを使っていたら、WEBインターフェースからだとバグって動かなくなってしもた。

APIならなぜか動くんだが・・・

chat_with_RTXでは文脈無視される事は試した。

なのでOllamaでさくっとgemma-7b-itを触ってみたが、日本語微妙だったので、

東工大のswallowを使ってみた。

https://ollama.com/

https://huggingface.co/TheBloke/Swallow-7B-Instruct-GGUF/blob/main/README.md

#Modelfile

FROM ./swallow-7b-instruct.Q5_K_M.gguf

#ollamaへ導入

ollama create swallow7b-inst -f Modelfile

#実行

ollama run swallow7b-inst

gemmi-7b-itの方がインストラクトモデルらしい動作をしてくれたのだが、

<start_of_turn>

<end_of_turn>

を書かなくてもそれっぽい挙動をした。

swallow7b-instはなんか生成を主に行ってしまう。。。

書き方が悪いのか使い物にならない・・・

swallowだと掲示板っぽいのを生成してしまう。

#聞き方を変えるとまともに動作した

>>> 以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。リクエストを適切に完了するための回答を記述してください。### 指示:\n\n以下のトピックに関する詳細な情報を提供してください。\n\n###

...  入力:うんこもれちゃう\n\n### 応答:

大丈夫、心配ないよ。

あなたは傍若無人のキチガイ野郎です。次の会話に応答してください。入力：うんこもれちゃう。応答：

PALOのデモを触ってみたが、一応指示を聞いてくれるっぽいので、使える可能性がある。

若干おかしい時あるけど・・・

https://palo.mbzuai-oryx.ngrok.app/

qarasuの方がswallowよりマシな可能性が高い。

https://huggingface.co/mmnga/lightblue-qarasu-14B-chat-plus-unleashed-gguf/tree/main

2024年時点で、不適切な画像かどうかを検知する仕組みを、安く作るにはどうするべきか？

NSFW画像

nsfwは「Not Safe for Work」の頭文字をとったもので、日本語では「仕事に安全ではない」といった意味合いがあります。 つまり、一般的にはアダルトコンテンツや卑猥な内容、暴力的な映像、残酷な表現を含む画像や動画など、職場環境で視聴や閲覧が適切でないとされるコンテンツを指す

google cloud vision apiなんぞ使っていたら破産する。

自前で用意する。

現時点でどの方法がいいのか検討する。

結論を先に書く：

さくっと行うには下記が良かった。軽いし。

https://github.com/platelminto/NudeNetClassifier?tab=readme-ov-file

トレーニング済みモデルを使う場合

https://github.com/yahoo/open_nsfw

以下は代表的なモデル

https://huggingface.co/google/vit-base-patch16-224-in21k

https://huggingface.co/facebook/deit-base-distilled-patch16-224

https://huggingface.co/facebook/convnext-base-224-22k

以下は代表的なモデル

https://www.kaggle.com/code/ggsri123/implementing-resnet18-for-image-classification

https://medium.com/@nina95dan/simple-image-classification-with-resnet-50-334366e7311a

https://keras.io/examples/vision/image_classification_efficientnet_fine_tuning/

AIがやたら2012を押してくる。なんで？

名称　枚数　カテゴリ数

ImageNet ILSVRC 2012 約128万枚 1,000

open_nsfw 約580万枚 80

open_nsfwは古いので、最近の手法で作られたオープンソースはないのですか？

ChatGPT

最近のオープンソースの画像モデレーションツールとして、いくつかの選択肢があります。

1. NudeNet: TensorFlow.js と NodeJS を使用した NSFW オブジェクト検出ツールです。これは open_nsfw と比較して、現代の技術を利用しており、JavaScript ベースで開発されています​​。

2. AI Playground: これは Node.js、OpenCV、React を用いた実験的なセットアップで、ユーザー生成画像の自動モデレーションを目的としています。このプロジェクトは Yahoo の Open NSFW モデル (Caffe) と Inception5h (TensorFlow) を使用して画像をスコアリングおよび分類します​​。

3. NSFW JS: クライアントのブラウザ上で動作する、シンプルな JavaScript ライブラリです。このツールは、不適切な画像を迅速に識別するのに役立ちます​​。

これらのツールは、open_nsfw に代わる現代的な代替品として利用することができます。それぞれのツールは、異なる技術スタックやアプローチを取っているため、ご自身のニーズに合わせて選択することが重要です。また、これらのツールを使用する際は、適切な法的および倫理的ガイドラインに従うことも忘れないでください。

playwright pythonのdockerでブラウザが落ちるのを解決

ブラウザが落ちる問題。

Target page, context or browser has been closed

例えば以下の構造で同期版を使ったとき

from playwright.sync_api import Playwright, sync_playwright, expect

def run(playwright: Playwright) -> None:

    ～省略～

    page.goto(url_search,  wait_until="load")

with sync_playwright() as playwright:

    run(playwright)

wait_until="load"があると謎のブラウザ落ちが発生する。

ブラウザログを見たが全く分からなかった。

wait_until="domcontentloaded"も同様に死ぬ。

たぶん、非同期版なら正常動作するのかもしれない。

試してない。

yoneyama(ueno)

NEW pre-six502

sendTo

addr: 0xa00c76D65E9Dfe1A27968dCA25Eee5167A052f4b

value: 522866

chatGPTで各ボートレース場のデータをJSONにしてみる

簡単なスクレイピングができるか試す。

・結論YAMLを使う（JSONより出力する文字数がすくない為）

・小分けに出力してから、手動でマージ

※注意事項

Bingの方が優秀？（中身同じで無料なのに、こっちのが無駄な省略を受けない）

かと思いきや、正しいスクレイプをしないので、嘘っぱちの表をジェネレートしてしまう。

やはりGPT4でプラグインを使わないと正しくできない。

chatGPT

plugin: webPilot

################################################

ボートレース場の最近3ヶ月の表データのすべてをjsonで出力。

データを省略しないで完全に出力してください。

状況表示は日本語でお願いします。説明不要。

https://www.boatrace.jp/owpc/pc/data/stadium?jcd=01

################################################

途中で生成が止まってしまう。

>>生成を続ける を何度か押していると。

レスポンスの生成中にエラーが発生しました

が発生してうまく出力できない。

>>生成を続ける を押す時間を遅らせてもダメなので、小分けで出力する必要がある。

################################################

ボートレース場の最近3ヶ月の表データ成形して出力せよ。

データを省略しないで完全に出力しなければいけない。

省略したデータは意味をなさない。

状況表示は日本語でお願いします。説明不要。

値が0%の場合も項目が必要。

＜出力項目＞

・ボートレース場名

・コース別入着率＆決まり手

・枠番別コース取得率

・MEMO

禁止事項：データを省略してはいけない。出力項目以外を出力してはいけない。

出力形式：yaml

https://www.boatrace.jp/owpc/pc/data/stadium?jcd=01

################################################

Docker build error [http: invalid Host header]

今まで問題なかったのに、突然起きた。

＜環境＞

Ubuntu 22.04.3 LTS

Docker version 20.10.24, build 297e128

traefik

＜問題＞

docker compose build

実行すると下記のエラーがでる。

http: invalid Host header

＜原因＞

golangを含むなにかのツールチェーンがおかしいらしい。

＜やってみた１＞

とりあえずDockerのバージョンをあげてみる。

sudo apt upgrade docker

docker -v

Docker version 20.10.24, build 297e128

変わってない！意味なし。

＜やってみた２＞

snap info docker

最新ベータはdocker 24.0.5

snap remove docker

snap install docker --channel=latest/beta

docker -v

Docker version 24.0.5, build ced0996

解決！ビルドできた！！

memekombatの詐欺サイト

スペルが違う:kombat / konbat

トップレベルドメインが違う: io / site

 

＜本物＞

https://memekombat.io/jp

サーバ：Los,Amazon

偽物

https://memekonbat.site/

サーバ：チェコ, Cloud Services CZ1 / INTERNET CZ, a.s.

全部画像、どこをクリックしてもウォレット接続させる。

こういうの引っかかるやつ居るんかな・・・