推論活用の最適化は、AIスタック全体に広がるチャンス
Written byWill Horyn
ここ数年、AIの基盤をめぐる議論は、より大きなモデル、より大規模な計算設備、より多くのGPU、より多くのデータ、より大規模な事前学習に集中してきました。こうした要素は今もなお重要ですが、AIが実験段階から実際の業務やサービスでの本格利用へと進むにつれて、重心は変わりつつあります。いま、ますます大きな制約になっているのは、推論です。
私は最近、AI-tonomy Summit 2026で、まさにこのテーマについての討論会の司会を務めました。登壇したのは、AIのしくみを支えるさまざまな分野の専門家たちです。たとえば、ハードウェアとソフトウェアの設計に取り組むCerebras社のQi Jin氏、AIを実際に安定して動かす仕組みを手がけるDeepInfra社のNikola Borisov氏、オープンモデルを使いやすく提供するFeatherless AI社のEugene Cheah氏、特定の用途に強いモデルを開発するFastino社のAsh Lewis氏、そして投資家の立場から業界を見るGradient Ventures社のDenise Tang氏です。対談の全編はこちらから視聴できます(全編英語)。
特に印象に残った点は二つありました。第一に、いまやAIを動かすための計算資源やトークンをどう無駄なく使うかが本当に重要になってきたということです。しばらくの間、多くの企業は、AIが新しく、強力で、急に使えるようになったこともあって、どれだけ効果が出るかを十分に見極めないまま、大量に使っていました。けれども、そうした時期は終わりつつあります。第二に、推論の最適化は、一つの問題を一つの方法で解決すれば済む話ではないということです。これは仕組み全体に関わる課題であり、同時に仕組み全体で改善の余地がある分野でもあります。半導体、AIを動かすソフトウェア、どのモデルを選ぶか、さらにはどんな使い方をするかまで、すべてが関係しており、どこか一部分だけを見直しても十分な改善にはつながりません。
なぜ今、推論が重要なのか
理由の一つは、AIの利用が着実に広がってきたことです。モデルの性能が実際に使えるレベルに達し、その活用も実験段階から本格運用へ移りつつあります。けれども、より大きな変化は別のところにあります。単に利用が増えたのではなく、AIの使われ方そのものが変わり、それが大きな転換を生んでいるのです。
Denise氏は、これを一種の連鎖反応だと表現しました。つまり、AIエージェントの数が増え、1回の指示に対して行われる推論の回数が増え、その1回ごとの処理量も増えている、ということです。いまでは、ひとつの指示を出すだけで、裏側では複数のAIが連携して動き、さまざまなツールも呼び出されます。長い時間にわたって自律的に作業を続けるAIも増え、AIが一度に扱える情報量も広がり続けています。こうした要素が重なることで、トークンの消費はあっという間に膨らんでいきます。
Ash氏は、多くの開発者にとってわかりやすい例でこう説明しました。以前、GitHub Copilotに指示を出していた頃は、返ってくるのは一つの回答だけでした。ところが今、Claude Codeに指示を出すと、裏側では膨大な量の情報処理が行われることがある、とのこと。Nikola氏はさらに、Claudeに何かを頼むと、見えないところで非常に多くの処理が何度も繰り返されている可能性があると語りました。しかも、こうした変化はごく最近起きたものだといいます。半年前なら、まだコーディングの補助ツールとして使っていたはずだが、今では優れたソフトウェアエンジニアでさえ、ほとんど自分でコードを書かなくなりつつある、と。
Denise氏は、あまり注目されていない重要な点として、学習と推論の境目がだんだん薄れてきていることを挙げました。追加学習の段階では、AIが何度も試行しながら答えを出すプロセスそのものが、小さな推論の積み重ねのようになっています。また、その結果を評価するためのデータも、別のAIによって作られています。つまり、推論に必要な力は、もはやAIを動かすためだけのものではなく、AIそのものを改善するためにもますます重要になっているのです。
一問一答のチャットボットと、複数の段階を踏みながら作業を進めるAIとでは、必要になる基盤のあり方が異なります。後者では、応答の速さや安定性、記憶できる情報量、さばける処理量、さらには全体の進行をうまく組み立てる仕組みまで、前者にはそれほど求められなかった課題が一気に重要になります。だからこそ、いま推論が大きなテーマになっているのです。
コストのパラドックス
AIを使うためのコストは大幅に下がっています。それでも、企業のAI関連支出はむしろ増えています。
前半の数字はとても印象的です。同じくらいの性能を持つモデルを動かすコストは、2年ほど前と比べると、およそ1000分の1にまで下がっています。Nikola氏はこれを具体的な数字で説明しました。商用利用できる初期の有力なオープンソースモデルだったLlama 2では、100万トークンあたりおよそ1ドルかかっていました。ところが今では、それよりはるかに性能の高いモデルが、100万トークンあたり5〜10セントほどで使えます。しかも、一度処理した内容を再利用できる場合は、さらに安くなります。
とはいえ、財務部門は別の側面にも気づき始めています。企業ではAIへの支出が想定以上のペースで膨らんでおり、たとえばUberは2026年分の予算をわずか4か月で使い切り、現在はコーディング支援ツールの利用額を社員1人あたり月1,500ドルまでに制限しています(記事英語)。
Ash氏は、この変化を最もよく表す話を紹介しました。ここ数年、顧客がモデル選びで最も重視していたのは、まず精度、次に応答の速さ、そして最後にコストでした。ところが、この2か月ほどでその順番が完全に変わり、コストも重視されるようになったというのです。モデルの性能が十分な水準に達したことで、買い手がようやく価格にも目を向けられるようになった、というわけです。
つまり、これは見かけほど矛盾した話ではありません。Nikola氏の説明を借りると、コストが下がれば、そのぶん役に立つものとしてもっと使われるようになる、ということです。ときには使いすぎることもあるかもしれませんが、いずれは適切な水準に落ち着いていくはずで、これはごく自然な流れだというわけです。
増えた利用の中には、AIが役に立つからこそ広がっている分もありますが、より良い結果につながらないまま処理だけが増えている無駄もあります。AI関連の予算が無視できない規模になるにつれて、こうした使い方はいずれ見直され、料金の考え方も変わっていくでしょう。いまはトークン単位で課金されるのが一般的ですが、今後は一つの作業や一連の業務、さらにはビジネス上の成果に対してどれだけコストがかかるか、という見方が重視されるようになるはずです。ツールをどれだけ使ったかではなく、何をやり遂げたかにお金を払う方向へ向かっていく、ということです。
私たちはAIの能力を過剰に使っていないか
この討論会で最も活発に意見が分かれたのは、モデルの規模をどう考えるかという点でした。そして興味深いことに、その違いは、各登壇者がAIの仕組みのどの部分に関わっているかと、ほぼそのまま重なっていました。
Eugene氏は、小さめのモデルで十分な場面は多いと主張しました。「メールを要約するのに、アインシュタイン級の頭脳は必要だろうか」と問いかけたのです。もちろん、最も難しい問題には最先端の大規模モデルが使われるだろうと彼も認めています。けれども、日々の仕事の大半で求められているのは、そこまでの高度さではなく、単純な作業を安定してこなしてくれる確かさだというのが彼の見方です。Featherless社が約4万ものオープンモデルをそろえているのも、用途や言語ごとに求められるものが細かく分かれてきているからです。彼が見ている典型的な流れは、企業が特定の一つの作業向けに中規模のモデルを調整し、その作業に大量の処理を集中させるというものです。要するに、重要なのはただ高性能なモデルを使うことではなく、多くの場面で無理のないコストで運用できるかどうかだ、ということです。
Ash氏自身も、その流れを実際に経験してきました。彼が以前在籍していた会社の開発支援AI「DevGPT」は大きな注目を集め、GPT-4が登場する前の時点で、OpenAIへの推論費用が月およそ200万ドルに達していたといいます。ところが、小型モデルをいくつか調整して活用するようにしたことで、その費用は月およそ2万ドルまで下がりました。実に100分の1です。現在の市場について彼は、優れた企業ほど、まず大きなモデルを使い、その後は小さなモデルを自社向けに調整しながら、処理をそちらへ振り分けていくと見ています。もっとも、そこにはそれなりのハードルがあります。そもそも、朝起きて「今日はモデルを調整しよう」と考える人は、ほとんどいないからです。実際、そうした取り組みを進めるには強力な機械学習チームが必要で、多くの企業はまだそこまで対応できていません。それでも、モデルを作り替えなくても、どのモデルを選ぶかだけで大きな差が生まれます。彼によれば、Moonshot AI社の大規模言語モデルであるKimi K2は、高性能な大規模モデルであるOpusの3分の1ほどの規模でありながら、価格はおよそ75分の1だということです。
Qi氏はこれとは逆の立場から意見を述べました。そして、自分の立場がそうした見方につながっていることも率直に認めていました。ハードウェアに関わる人間としては、当然、より多くのトークンが使われてほしいというわけです。もっとも、彼の主張にも一理あります。彼によれば、買い手が実際に重視しているのは、まずAIの賢さ、次にどれだけの処理をこなせるか、そして最後にコストです。実際にAIから大きな価値を得ている顧客ほど、価格を気にする前に、より高い性能とより大きな処理能力を求めるといいます。小さなモデルが役立つ場面はたしかにあるものの、最も価値の高い仕事では、複雑な状況の中で間違いの許されない判断が求められるため、それだけでは十分ではないというのです。さらに彼は、私たちはまだ発展の初期段階にいるとも見ています。現在の最先端モデルは数兆規模のパラメータを持っていますが、人間の脳にはおよそ100兆の神経接続があります。100兆に届いて初めて、本格的な議論ができるようになる――それが彼の見立てです。
この食い違いは、実はそれぞれが違う問いに答えていると考えるとわかりやすくなります。Qi氏が語っているのは、AIの能力そのものが決め手になる最前線の領域です。そこでは、複雑で高度な判断が求められる仕事が広がっており、大きなモデルほどコストに見合う価値を発揮します。一方で、Eugene氏とAsh氏が語っているのは、量がものをいう領域です。AIが実際の業務に組み込まれていくと、大半を占めるのは、内容が比較的はっきりしていて、頻繁に繰り返される仕事になります。つまり、両者は同時に正しいのです。だからこそ、その二つをうまく使い分けること自体が重要なテーマになってきています。OpenRouterやSakana AIのFuguのような取り組みは、その流れをよく表しています。
問題なのは、多くのチームが「そのほうが無難だから」という理由で、とりあえず最も大きなモデルを選びがちなことです。最先端のモデルを選んだことで責められる人は、まずいません。いわばこの時代の、「とりあえずIBMを選んでおけば間違いない」に近い感覚です。ですが、Ash氏の示した数字が物語るように、そうした判断は、用途に合った適切なモデルを選ぶ場合に比べて、二桁どころか百倍近く高くつくことさえあります。最良のシステムとは、最も大きなモデルを使うものではありません。適切なモデルを、適切な基盤の上で、適切な仕事に使うシステムこそが、最も優れたものなのです。
AIを支えるハードウェアは本当に重要なのか
Nikola氏は、なぜ推論がソフトウェアだけでなく、ハードウェアの問題でもあるのかをわかりやすく説明しました。1000億規模のパラメータを持つモデルで1つのトークンを生み出すには、膨大な計算が必要です。これに対して、データベースから1行取り出す程度の処理に必要な計算は、はるかに少なくて済みます。つまり、AIの処理は、これまでのウェブサービスよりもずっと重いのです。だからこそ、データセンターや専用チップ、電力といった問題が、一見ソフトウェアの話に見える議論の中でも、大きな意味を持つようになります。
その点をどこまで気にするべきかは、結局のところ、その人がどんな立場にいるかによります。Denise氏は、その違いを役割ごとに説明しました。たとえば、AIエージェントを作る人たちが気にするのは、どのモデルに処理を振り分けるか、全体をどう組み立てるか、そしてどのサービスを使うかによるコストです。下位層にある半導体そのものを強く意識するわけではありません。一方、推論サービスを支えるクラウド企業や、AIを自前で幅広く運用する企業のインフラ技術者にとっては、話は別です。限られたハードウェアを確保したうえで、それをできるだけ効率よく使うことが仕事だからです。そのために、モデルを軽くしたり、処理のしかたを改善したり、AIを動かす仕組み全体を最適化したりする必要があります。
Qi氏は、最終的には抽象化が進むと見ています。つまり、いずれ利用者は下にある仕組みをいちいち気にしなくてよくなり、「これだけのAIの力が必要だから、それを提供してくれれば対価を払う」と考えるようになる、ということです。実際、技術の流れもその方向を後押ししています。彼が冒頭の短い質疑で挙げたのも、ハードウェアとソフトウェアを一体で考えるという発想でした。たとえば、GPUはある処理に強く、Cerebrasのような大規模な専用システムは別の処理に強い。両者をうまく組み合わせるソフトウェアの層があれば、それぞれの長所を引き出せるというのです。
Eugene氏は、利用者がすでにそうした考え方で動いていることを示す、印象的な例を挙げました。Featherless社を立ち上げた当初、同社は技術面を前面に押し出していました。RWKVという仕組みを使い、大きく最適化されていて、価格も10分の1――そんな売り方です。ところが、それではかえって利用者が増えにくかったといいます。実際によく反応されたのは、もっとシンプルな見せ方でした。どんなモデルなのか、価格はいくらか、どれくらいの速さで使えるのか。それをそのまま示す形です。Eugene氏自身、いま主流のAIモデルの仕組みとは違うやり方にもっと関心を持ってほしい気持ちはあるものの、多くの利用者はそこを気にしていないと言います。利用者が見ているのは価格であり、ほしいものが手に入るかどうかなのです。
利用する側から見ると、結局はコスト、速さ、信頼性の三つのバランスをどう取るかという話になります。ひとつは、実際に想定している使い方をしたときのコストです。もうひとつは、使っていて感じる速さです。たとえば、音声AIなら話し始めるまでの速さ、裏で調査を進めるAIなら、結果が出そろうまでの時間がそれにあたります。そして、もうひとつが信頼性です。きちんと稼働し続けるか、どこまでの水準が保証されているか、そして使うたびに性能のぶれが少ないか。AIが実験的な技術ではなく、実際の業務を支える基盤になっていくにつれて、こうした点はますます重要になります。最も速いものが最も安いとは限りませんし、最も安いものが最も信頼できるとも限りません。大切なのは、自分たちの用途に合った現実的なバランスを見極めることです。
物理面での制約
モデルそのものにばかり注目している人にとって、おそらく最も意外なのは、いまAIの発展を大きく左右している制約が、物理的な条件にあるという点です。
この半年で意外な制約として浮かび上がったのは、GPUそのものではなくメモリでした。Nikola氏によれば、メーカーがGPUを確保できていても、メモリやストレージ、CPUがそろわず、待たされることがあるといいます。つまり、本当の制約はNvidiaだけにあるのではなく、周辺の部品全体に広がっているのです。Nvidiaが大容量メモリの供給を大きく押さえたことで、他社が使える分が減り、システム全体のコストも押し上げられました。今年、NvidiaだけでなくIntelやMicronの株価まで大きく上がった背景には、そうした事情もあります。
Qi氏が描いた供給網の見通しは、さらに厳しいものでした。半導体の材料や製造工程から、ネットワーク機器、変圧器、冷却設備、さらには建設に必要な許認可に至るまで、あらゆるものに9〜12か月の待ち時間が生じているというのです。彼は、いまの時点でデータセンターを確保できていないなら、話はもう2028年になり、2027年分はすでに埋まっていると述べました。供給が需要に追いついていない理由について、彼は心理的な面もあると見ています。需要が一気に立ち上がった一方で、供給側はそれが本当に続くのかをまだ信じ切れていないのです。もしかするとITバブルのような一時的な過熱かもしれない。だから今は、むやみに増強しないでおこう――そんな空気があるというわけです。彼の見通しでは、こうした供給制約は2029年か2030年ごろまで続き、その後、もしAIの経済的な価値がこのままはっきりしていけば、今度は逆に設備がやや過剰になる可能性もあります。
そして、電力の問題もあります。Nikola氏は、電気料金はAIにとって重力のようなものだと言います。高すぎれば、その場所では事業を広げていくこと自体が難しくなる、というのです。さらに、立地の制約や、建設に何年もかかること、データセンターに対する世間の見方が厳しくなりつつあることまで考え合わせると、結論は見えてきます。推論の採算は、ソフトウェアだけで決まるのではなく、設備や許認可、そして電力に大きく左右されるのです。
価値はどこに積み上がるのか
Denise氏の見方では、価値は大きく二つの層に生まれます。ひとつは上の層、つまりエージェントの層です。ここでは利用データや利用者からの反応が蓄積され、それが積み重なることで、AIを動かす仕組みそのものも、土台にあるモデルも少しずつ改善されていきます。その結果、時間がたつほど、より良い体験をより低いコストで提供できるようになります。もうひとつは下の層です。こちらでは、半導体やデータセンターの不足そのものが、企業の優位性を左右します。その不足が続くあいだは、供給を増やせる企業や、限られた設備をよりうまく活用できる企業ほど、有利な立場に立ちやすくなります。さらに注目すべきなのは、大手のモデル企業が、そうした上の層も自ら担うようになってきていることです。ChatGPTやClaude、Claude Codeは、単なるモデルではなく、その上に成り立つアプリケーションでもあります。そうした点が、これらの企業が純粋なインフラ企業とは異なる存在として見られる理由の一つになっています。
Nikola氏は、もっとシンプルにこう見ています。これほど役に立つものが見つかった状況では、その恩恵はあらゆる層に広がっていくため、しばらくのあいだは、どの層にとっても追い風になる、というのです。
私自身は、価値が生まれる場所は時間とともに移っていくと考えています。まず価値を得やすいのはインフラです。アプリケーションは、その土台があって初めて成り立つからです。ですが時間がたつにつれて、価値の中心はアプリケーション側へ移っていきます。仕事の流れを押さえ、利用者との接点を持ち、利用者が価値を直接実感するのはアプリケーション側だからです。どちらも正しい見方ですが、当てはまるタイミングが違うのです。
Eugene氏は、この問題全体を、業界全体の大きな流れがよく見える一つの数字から捉え直しました。彼が驚いているのは、毎日のようにAIを使っている人が、世界全体で見てもまだ5％に満たないことです。自分の両親でさえ、ほとんど使っていないと言います。彼の見るところ、この状況を大きく変える鍵は、一般の人が安心して使えるだけの信頼性です。日々の作業を何でも任せられるほど確実に動くこと、言い換えれば、ほとんど不安なく使える水準に達することです。そこまで行けば、いま見えている推論の需要など一気に跳ね上がる、と彼は見ています。もしその見立てが正しければ、いまの供給制約はピークではなく、その前触れにすぎないことになります。
2年後には何が時代遅れに見えるのか
最後に聞きたかったことがあったのですが、時間が足りませんでした。いま私たちが当たり前のように行っている推論のやり方のうち、2年後には古く見えたり、時代遅れに見えたりするものは何か、という問いです。そこで、その点については私なりに考えてみたいと思います。
私の考えでは、これからの推論も今と同じように、一つの強いハードウェア基盤に頼り続けるという前提そのものが、見直されていくはずです。たしかにNvidiaは、半導体からネットワーク、ソフトウェアまで幅広い領域で強い立場を築いており、その優位がすぐに崩れるとは考えにくいでしょう。けれども、より多様な未来を示す兆しは、今回の議論の中にすでに表れていました。処理の前半と後半を別々の種類の半導体に振り分けるやり方、大規模な専用システムやTPU（GoogleのAI向け専用チップ）、Trainium（AWSが開発したAI向け専用チップ）、AMD製アクセラレータがそれぞれに合った役割を見つけていく動き、RWKVのようにモデルの設計そのものを工夫してコストを下げようとする試み、さらにモデルごとに最適化された専用の推論エンジンがソフトウェア側で生まれつつあることです。今年のメモリ不足も、その流れを裏づけています。供給が一つの経路に集中していると、一つの部品不足がそのまま業界全体のコスト上昇につながってしまうからです。
はっきりしているのは、私たちがまだごく初期の段階にいるということです。AIが使われる場面は急速に増えており、求められる水準もどんどん高まっています。だからこそ、今のままのAIの提供のしかたがそのまま通用し続けるとは考えにくくなっています。起業家にとっては、むしろ追い風でしょう。注目を集めるのは、より大きなモデルや、より大規模な計算基盤ばかりですが、本当に重要な取り組みの多くは、もっと目立たない部分にあります。たとえば、AIをどう安定して動かすか、どう使い分けるか、どう信頼性を高めるか、どう効率よく動かすか、そして用途ごとにどう最適化するか、といった部分です。
Ash氏は最後に、インフラの細かな議論に入り込むと見失いやすい点をあらためて示しました。結局のところ、ここにある価値は、人々の考える負担を減らせることだというのです。つまり、人は自分がやりたくない仕事を、以前ほど多く引き受けなくてすむようになる。できれば、自分が好きな仕事は引き続きできるとよい、というわけです。そこにたどり着くための課題は、ますます推論の問題になっています。知性のコストは、これからも下がり続けるでしょう。けれども、知性を実際に使える形にするコストは、その周囲のシステムをどれだけ丁寧に作り、運用するかにかかっています。