おさかなLM について

おさかなLM は、「言語モデルは魔法ではない」ことを手で触って確かめるための小さな教材です。約870万パラメータの言語モデルが、サーバーを使わず あなたのブラウザの中だけで動きます。さらに、もっと小さなモデルを その場でゼロから学習させることもできます。必要なのはブラウザだけ。アカウントも GPU もインストールも要りません。

7つのページ

おさかなLMとチャット 学習ずみの 870万パラメータのモデルと日本語で会話します。ONNX + WebAssembly で、最初にモデルと実行ライブラリを読み込んだあとは通信しません。話した内容がどこかへ送られることはありません。 こざかなLMを育てる さらに小さなモデルをブラウザの中でゼロから学習させます。自分で書いた会話を混ぜて、それがどのくらい返事にあらわれるかを確かめられます。約1分半。 AIの大きさを比べる こざかな（17万）・おさかな（870万）・GPT-3（1750億）のスケールの違いを図で説明する読み物。桁の差がどれほど極端かが分かります。 AIは言葉をどうわかるのか モデルは文字ではなく「トークン」で言葉を見ています。入力した文がどう分割され、モデルがそれぞれを何回見たことがあるかを表示します。 AIは文章をどうつくるのか モデルはつぎの 1トークンを確率でえらぶことをくりかえして文章をつくります。その 1歩ずつをとめて、候補と確率、えらばれかたを見られます。 AIはどうやって学ぶのか 学習で解いているのも「つぎの 1トークン当て」。1つの会話が何問の問題になり、おさかなLM がそれぞれにどれだけ正解できているかを表示します。 おさかなLMのデータ 学習に使った 16,255件の会話を検索・絞り込みで閲覧できます。モデルの「性格」がどこから来たのかを確かめられます。

このプロジェクトについて

おさかなLM は、GuppyLM （作者 arman-bd、MIT ライセンス）を日本語化した派生プロジェクトです。モデル構造・学習ループ・トークナイザーの方式は原作のまま、合成会話データとブラウザ側の体験を日本語向けに作り直しています。

日本語化にあたってトークナイザーを変更する必要はありませんでした。 ByteLevel BPE は文字ではなく UTF-8 のバイトを単位に動くため、日本語のコーパスで学習し直すだけで日本語を扱えます。 MeCab のような分かち書きは不要です。

モデルの中身

	おさかなLM	こざかなLM（ブラウザ学習）
パラメータ	8,726,016	約 170,000
層の数	6	2
1層の幅	384	64
ヘッド	6	4
読める長さ	128 トークン	64 トークン
語彙	4,096	約 1,500
学習データ	会話 6万件	会話 400件＋自作
学習の場所	CPU 4コア / 約10分	ブラウザ / 約1分半つづきからなら約15秒

こざかなLM には 2つのモードがあります。ゼロからはでたらめな数字から 400ステップ（約1分半）。つづきからはあらかじめ学習しておいた土台（kozakana_base.bin、約660KB）を読みこんで 60ステップ（約15秒）—— いわゆる ファインチューニングです。モデルの形はどちらも同じで、どこから始めるかだけがちがいます。

素朴な Transformer です。GQA も RoPE も SwiGLU も使っていません。チャットの形式と特殊トークンは原作と完全に同じです。

<|im_start|>user
{ユーザーの発話}<|im_end|>
<|im_start|>assistant
{ぐっぴーの返事}<|im_end|>

使っている技術

推論 … ONNX Runtime Web（WebAssembly）。量子化した約9MBのモデルを読み込みます
トークナイザー … ByteLevel BPE。HuggingFace tokenizers の実装を JavaScript に移植しています
ブラウザ学習 … 順伝播・逆伝播・AdamW を素の JavaScript で実装（trainer.js）。画面が固まらないよう Web Worker で動かします
ファインチューニング … 学習ずみの土台を float16 で配布し（kozakana_base.bin、約660KB）、読みこんでから続きを学習します。土台はブラウザと同じエンジンで作っています（tools/pretrain_kozakana.mjs）
学習（本体） … PyTorch。GPU なしの CPU でも約10分で終わります

自分で学習させる

リポジトリを取得して、次の3コマンドでデータ生成からモデルの書き出しまで行えます。

pip install -r requirements.txt

python -m guppylm.prepare_data   # 会話データ生成 + トークナイザー学習
python -m guppylm.train          # モデルの学習
python tools/export_onnx.py      # ブラウザ用に ONNX へ書き出し

会話の内容は guppylm/generate_data.py にすべて書かれています。ここを書き換えれば、ぐっぴー以外のキャラクターにもできます。

ライセンスとクレジット

原作: GuppyLM by arman-bd — MIT License
本プロジェクト: yandod/osakana-lm — MIT License