270億パラメータ——ふつうなら立派なGPUがないと動かせない規模のAIモデルが、なんとiPhoneの上で動いた。魔法ではない。カギは、AIの“重み”を極限まで削る「量子化（Quantization）」、それも1ビットにまで潰す荒技だ。Bonsai 27Bという新しいモデルがそれをやってのけ、Redditのローカルモデル界隈は、興奮と“落とし穴”の両方でざわついた。今日は、この「1ビット化のカラクリ」をやさしく解きほぐす。
01 何が起きたのか作ったのはPrismML（カルテック＝カリフォルニア工科大学の研究者チーム）。Bonsai 27Bは、270億パラメータのマルチモーダル（文章＋画像）モデルでありながら、極端な量子化でサイズを劇的に縮めた。三値（ternary）版で5.9GB、1ビット版なら3.9GB——この1ビット版が、iPhone 17 Proのメモリに“余裕を持って”収まる世界初のクラスだという。ライセンスはApache 2.0、文脈長は26万トークン超と、スペックも本格的だ。
02 「1ビット化（量子化）」って何？用語を整理しよう。AIモデルの中身は、膨大な数の「重み（parameter）」——学習で身につけた無数の“調整つまみ”だ。ふつう、各つまみは16ビットくらいの、そこそこ精密な数値で保存されている。これがモデルを重く・大きくする主因だ。
ここがポイント：数字を“ざっくり”にして小さくする
量子化とは、この重みの数値を、あえて“粗く”丸めてビット数を減らすこと。極端にやると、各つまみを「−1・0・+1」の三値（約1.58ビット）や、ほぼ1ビットにまで落とせる。すると、モデルのファイルは激減する（270億パラメータでも数GB）。イメージは、巨大な写真を圧縮するのに近い——ファイルは小さくなり、細部はわずかに失われる。この“わずかに”で済むかどうかが、勝負どころ。
PrismMLの計測では、三値版はフル精度の性能を15のベンチマークで95%維持、1ビット版でも90%を保ったという。とくに数学とコーディングは「ほぼ無傷」。“ここまで潰したのに、そんなに賢さが落ちないの？”——その驚きが、今回の反響の中心だ。
03 実際どうなの？——コミュニティの検証スレッドでは、実機での検証がすぐに共有された。まず“これはすごい”という声。
あるコメント u/mjsxi__（サイズの割に賢い）
it came within spitting distance of the outputs of the 27b while taking up around 8gb in ram compared to the near 40ish of the 8q of the regular model. Im kinda shocked how good it is at this size.
「フル27B（8ビット）の出力に肉薄しながら、使うメモリは約8GB——通常版の40GB近くに対して、だ。このサイズでここまで良いとは、正直びっくりした」。“ほぼ同じ賢さ”を“1/5のメモリ”で、という実感のこもった報告。
ただし、手放しの朗報ではない。「遅い」という報告に対し、その理由をズバリ解説する名コメントがあった。
あるコメント u/ikkiho（速さの“落とし穴”）
stock llama.cpp unpacks them back to 8-bit for the matmul unless your build has the dedicated ternary path, so you pay the unpack cost and get none of the speed … the fast numbers come from the packed ternary kernel that multiplies without unpacking.
「1ビットや三値は、重みを縮めて“メモリに収める”ためのもの。でも普通のllama.cppは、計算（行列積）の直前にわざわざ8ビットへ“展開”し直してしまう——専用の三値処理を組み込んだビルドでない限り。だから展開コストだけ払って、速さの恩恵はゼロ。速い数字は、展開せずに掛け算する“専用カーネル”から出ている」。“小さくなる＝速くなる”ではない、という大事な注意だ。
そして、いちばん本質的な問いも投げかけられた。
あるコメント u/wojtek15（そもそもお得なのか）
How it performs compared to 9B model in 4bit quants, which is comparable size? Unless it performs better, there is no use of this.
「1ビットのBonsai 27Bは約5GB。じゃあ、同じくらいのサイズになる“9Bモデルの4ビット版”と比べてどうなの？ それより良くないなら、使う意味がない」。“大きいモデルを潰す”のと“小さいモデルをそこそこの精度で使う”のと、同じ容量でどちらが賢いか——まだ決着していない、核心の評価軸だ。
04 つまり日本の読者にとってはまず大きな流れとして、オンデバイスAI（手元の端末で動くAI）が、いよいよ本物になってきた。大きなモデルがスマホで動くと、データが外に出ない安心感、API課金のかからなさ、オフラインでも使える手軽さが手に入る。量子化は、その扉を開けるカギの技術だ。“いつも持ち歩く相棒AI”が、現実味を帯びてきている。
ただし、うまい話には裏もある。極端な圧縮は、多少の賢さを犠牲にしうるし、実際に“速く”動かすには対応したソフト（カーネル）が要る。さらに、「大モデルを潰す」のと「小モデルをそのまま使う」のどちらが賢いかは、まだ研究途上。派手な“スマホで27B”の見出しの裏に、こうした条件があることは知っておきたい。
そして持ち帰りたい原則。AIの実力は「パラメータ数」だけでは決まらない。その数字を“どれくらいの精度で保存しているか（量子化）”も、同じくらい重要だ。270億という数の大きさに驚くだけでなく、「それが何ビットで、どのくらい賢さを保っているのか」まで見る——その一歩で、AIニュースの解像度がぐっと上がる。
参考リンク（元スレッド・一次情報）
EXPLAINERS
