パラメータ数はモデルの一つの規模指標ですが、実務性能の順位そのものではありません。ミハルは用途に近い評価を一つだけ確認します。
先に答え:大きさは性能順位ではない

パラメータ数はモデル内部で学習される数値の個数です。大きなモデルは表現力を増やせる一方、学習データ、構造、最適化が違えば、少ないモデルが特定課題で上回ることがあります。
ハコは「○○B」という札を、性能棚ではなく構成情報の棚へ戻します。Bはbillion、10億を表す略記です。7Bなら70億、70Bなら700億のパラメータを指します。70Bは7Bの10倍の個数ですが、正答率や回答速度まで10倍になるわけではありません。
MoEは、全体の数と計算に使う数を分けて読む
密モデル(dense model)と呼ばれる構造では、MoEのように処理ごとに担当する部分を選び分けません。MoEはMixture of Experts、専門家混合の略で、複数の計算部分から使うものを選ぶ構造です。「専門家」は人間ではなく、モデルの一部分を指します。
このため、MoEではモデル全体の「総パラメータ数」と、計算に使う「活性パラメータ数」を区別します。文章を扱うモデルでは、トークンという文字や単語のまとまりに分けた単位ごとに、使う部分が選ばれます。一つの質問や回答全体で、ずっと同じ部分だけを使うという意味ではありません。
具体例として、Mistral AIが2023年12月に発表したMixtral 8x7Bは、総数46.7Bに対し、1トークンの処理に使う数を12.9Bと説明しています。これはそのモデルの公表値であり、すべてのMoEに共通する割合ではありません。
総数だけで必要な計算量や速さは決まりません。数値を保存する精度、入力・出力の長さ、使う機器によっても変わります。総数が大きいモデルほど必ず遅い、とまでは言えません。
見出しで起きる取り違え
同じパラメータ数でも、扱える言葉、一度に読める文章の長さ、画像を扱えるかどうかなどは異なります。「○倍大きいから○倍賢い」という比例関係は成り立たず、非公開値の推測も確定値として比べられません。
また、学習済み重みを入手できるかという話はモデル規模と別です。「オープンソースAIとオープンウェイト」ではライセンスと変更可能性を確認します。
同じ条件の性能を測る
比較では目的に合う評価、エラーの種類、遅延、必要メモリ、利用料金を見ます。規模は設計情報の一つとして記録し、性能は同じ入力と採点で測ります。
同じ系列の大小モデルなら規模の効果を比較しやすくなりますが、それでも、与えた指示、数値を保存する精度、外部ツールを使ったかどうかをそろえる必要があります。「AIベンチマーク1位なら実務でも一番?」の通り、試験条件を外した順位にはしません。
次のモデル発表には、評価した課題を一つ添える
ニュースを共有するなら、「パラメータ数が増えた」に続けて、どの課題でどのモデルと比べた結果なのかを一つ添えます。評価結果が見つからなければ、「規模の発表はあったが、性能差はまだ確認できない」で止めてかまいません。
詳しく読むときは、次の項目を確認します。
- 公表値か推定値か
- 密モデルかMoEか、総数か活性数か
- 学習データ・構造・計算量は同条件か
- どの課題で性能を測ったか
- 速度・メモリ・費用を含むか
覚え方: パラメータ数は規模の数字。性能は、何を解かせた結果かを見る。