自動化を目指す中、ローカルAIか従量課金のAPIかは悩みどころです。
無課金で使える「ローカルAIを使ってみたい。」
そう思っても、多くの人が最初にぶつかる壁があります。
重い。
QwenやGemmaなど高性能なローカルLLMは魅力的ですが、日本語である程度使えるモデルになると、それなりのGPUやメモリが欲しくなります。
私のホームラボにも古いノートPC（Core i5・16GBメモリ）があるのですが、1〜2Bクラスの軽量モデルでは日本語の品質が厳しく、結局、
ChatGPT API
Claude API
で要約を作り、それを動画生成フローへ渡していました。
品質は高い。
しかし、そのたびにAPIを利用するため、完全ローカル化はできません。
見つけた「Bonsai」
あなたへのオススメ記事に出てきた1-bit LLM「Bonsai」。
8Bモデルなのに約1.15GB。
「本当にそんなので使えるの？」
半信半疑で試してみました。
FMVAで動かしてみる
今回試したのは、私の古いFMVA。
Core i5
メモリ16GB
GPUなし
いわゆる「AI用」とは言えない普通のノートPCです。
Ollamaからモデルを取得すると、驚くほどあっさり起動しました。
「これは動くだけのデモかな？」
と思っていましたが、CPUだけでも普通に会話できる速度で返ってきます。
まずは要約を試す
最初に、自己紹介文の要約を依頼しました。
最初は思考過程（Thinking）がそのまま表示され、日本語も英語に化けるなど少しクセがありました。
しかし、
日本語のみ
思考過程は表示しない
最終回答のみ
と指示すると、日本語で自然な要約を返してくれました。
もちろんChatGPTほどではありません。
ですが、
「これ、普通に使えるかもしれない」
というのが率直な感想でした。
次は医療知識
続いて、私の専門分野でも試します。
脊椎圧迫骨折患者でコルセットを外す時期のリハビリで注意する点を5つ挙げてください。
回答は……
正直、専門職から見るとかなり粗があります。
例えば、
「筋肉と骨が十分回復していることを確認」
「背中をサポートする道具を使う」
など、表現はよく読むと意味不明。
臨床判断にそのまま使えるレベルではありません。
しかし、
質問の意図は理解できている。
日本語も十分成立しています。
少なくとも、今まで試してきた1〜2Bクラスの軽量モデルより明らかに賢い印象でした。
私が欲しかったのは「医学的に正しいことを答えるAI」ではない
ここが重要です。
私はBonsaiに、医学的な判断をさせたいわけではありません。
欲しかったのは、
note記事の要約
YouTube台本の下書き
タイトル候補
タグ付け
字幕向け文章整理
こうした前処理担当です。
これまでは、
note記事
↓
ChatGPTやClaude（手動）
↓
要約
↓
動画生成フロー
という流れでした。
つまり、人間が毎回AIへ依頼する工程が必要だったのです。
Bonsaiなら自動化できるかもしれない
もしBonsaiが十分な品質で要約できるなら、
note記事
↓
Bonsai
↓
要約
↓
音声生成
↓
字幕生成
↓
画像配置
↓
動画完成
まで、完全ローカルで自動化できます。
品質が足りない場合だけ、
ChatGPT APIへ回す。
そんなハイブリッド構成も作れそうです。
新しいGPUマシンが届いたら
現在、中古で購入した
Core i7-11700
RTX3060 12GB
メモリ32GB
のマシンが届く予定です。
届いたら、
Bonsai 8B
Qwen 8B
Gemma 12B
で、
同じnote記事からYouTube台本を作らせて比較してみようと思っています。
性能だけならQwenやGemmaが上でしょう。
それでも、
古いCPUだけのノートPCでもここまで動く
というBonsaiの魅力は非常に大きいと感じました。
まとめ
今回試して分かったことは3つです。
古いCPUノートでも8Bモデルが実用速度で動く。
医療知識はまだ粗いが、要約や文章整理には十分可能性がある。
私の動画生成システムでは、APIを使っていた前処理をローカル化できるかもしれない。
まだ評価は始まったばかりです。
それでも、
「軽量だから使えない」
という時代は、少しずつ終わり始めているのかもしれません。
RTX3060搭載マシンが届いたら、QwenやGemmaとの比較も行い、ホームラボの最適な構成を探っていきたいと思います。
コメント