AI計算資源の希少化と新たなインフラ基盤

本記事は、Geodesic Capital パートナー Neb Melaによる執筆記事を翻訳し、Geodesic Japan編集部が訳注・要約補足を追加したものになります。

本章の要点：AIの次の競争軸は、モデル性能そのものではなく、限られた計算資源をどれだけ効率よく事業価値に変えられるかへ移りつつあります。
なぜ：AI需要は急増している一方で、それを支える電力、半導体、メモリ、冷却、建設、人材などの供給は、ソフトウェアのような速度では増やせないからです。具体例：GPU不足が話題になっても、次はHBM（AI向けGPUやアクセラレータで使われる高速メモリ）、電力、冷却、人材、特殊材料など、別の制約がすぐ表面化します。

この2年間、AIをめぐる議論は一貫してモデル中心でした。より大規模なモデル、より高性能なモデル、オープンモデル、クローズドモデル、推論に優れたモデル、コーディングモデル、さらにはマルチモーダルモデルまで、関心は常にモデルそのものに向けられてきました。しかし、いま本当に興味深い変化が起きているのは、その一段下の領域かもしれません。そこでは、モデルの進歩がインフラの物理的な限界に突き当たり始めています。

あらゆるプロンプト、コード生成タスク、エージェントが担う一連の業務処理、動画モデル、企業向けコパイロット、そして推論処理の繰り返しは、最終的には現実世界の限界に突き当たります。たとえば、電力、土地、メモリ、パッケージング、光学技術、冷却設備、人材、サプライチェーン上の配分、そしてデータセンターの立ち上げ準備といった要素です。AIがどこか実体の見えにくいものに感じられるのは、私たちがそれを、モデルが処理・生成するテキストやデータ、文脈の単位である「トークン」として捉えているからです。しかし実際には、その一つひとつのトークンは、シリコン、銅の配線、建設資材、熟練した人材、そしてエネルギーといった物理的なインフラの上に成り立っています。

このギャップが重要なのは、需要の拡大ペースが、現実のインフラの対応速度を上回っているからです。トークン消費は爆発的に増加しています。企業による導入はまだ初期段階にあり、AIエージェントを活用した処理の広がりによって、ユーザー1人あたりが必要とする計算資源も増えています。しかも、こうした需要を支えるために必要なインフラは、必要に応じてすぐ柔軟に増やせるものではありません。SaaSのインスタンスを立ち上げるような感覚で、ギガワット級のデータセンターを立ち上げることはできないのです。

あらゆるトークンの背後には、巨額の資本を要するサプライチェーンがあります。そこには、半導体製造装置、半導体工場、先端パッケージング、HBM (High Bandwidth Memory)¹、DRAM、基板、光学部品、冷却システム、電力システム、土地、建設、変圧器、電気工事士、空調設備の専門人材、そしてデータセンター運営者が含まれます。これらのボトルネックの中には、わかりやすいものもあります。いまでは誰もが、GPUやHBM、電力の問題について語っています。ですが、目に見えにくいボトルネックも、最終的には同じくらい重要になる可能性があります。たとえば、特殊材料、光学関連の部材、アンダーフィル材、パッケージング用の部材、地域ごとの労働力確保といった要素です。

ポイント：この段落のポイントは、AIの制約がGPUだけではないことです。経営判断としては、「AI需要は伸びるか」だけでなく、「どこが供給制約になるか」を多層で見る必要があります。

問題は、ボトルネックが一つではないという点にあります。やっかいなのは、ある課題を解決すると、今度は別の課題がすぐに頭をもたげる、いわば「もぐらたたき」のような性質です。GPUの供給を解消しても、次はHBMが課題になる。HBMをクリアすると、今度は電力が足りない。電力の次は熟練人材、その次は、特殊材料を一社しか供給しておらず、その会社がすぐには増産できないという問題に突き当たります。

AIインフラがこれまでのクラウド拡大期と大きく異なるのは、需要と供給の伸び方に決定的な差があることです。需要はソフトウェアのような速さで膨らむ一方、供給側は半導体工場や送電網接続、許認可、建設、製造能力といった重厚な産業基盤に左右されるため、同じスピードでは拡大できません。

これからのAIの次の局面を形づくるのは、単体で最も優れたモデルを見せられるかどうかよりも、限りあるインフラの中で、それを実用的で収益につながるトークンへと転換できるかどうかになりそうです。

¹AI向けGPUやアクセラレータで使われる高速メモリ。大量のデータをすばやくやり取りするために重要で、AI処理性能を左右する主要部材の一つ。

モデル性能からトークンの経済性へ

本章の要点：AI市場では、「どれだけ計算資源を使うか」よりも、「使った計算資源からどれだけ価値を生むか」が重要になります。
なぜ：計算資源の供給が限られる局面では、すべてのAI利用が同じ価値を持つわけではないからです。 具体例：メールの下書きに使うAIと、設計工数削減やコンプライアンス自動化に使うAIでは、同じ計算資源を使っても経済価値は大きく異なります。

AI基盤は今、「有用なトークン」²という新たな基準を軸に、その価値が見直されつつあります。

すべてのトークンが同じ価値を持つわけではありません。ちょっとしたメールの下書きに使われるトークンと、半導体設計の試行回数を減らしたり、コンプライアンス業務を自動化したり、企業が数百万ドル規模の業務上のボトルネックを回避するのに役立ったりするトークンとでは、経済的な価値は同じではありません。供給に制限のない世界では、その違いの重要性はそれほど大きくありません。ですが、供給が限られる世界では、その違いこそが中核になります。

市場の関心は、企業がどれだけ多くのトークンを消費しているかという点から、そのトークンがどれだけの価値を生み出しているかという点へと移っていくでしょう。そうなると、投資家が企業を見る視点も変わります。最も重要になるのは、単に多くの計算資源を使う企業ではなく、限られた計算資源からより大きな成果を引き出せる企業かもしれません。

こうした生産性の向上は、業務ワークフローから物理インフラに至るまで、AI基盤のさまざまな層で実現できます。

• アプリケーション層では、トークンの消費が目に見える事業価値につながっているかが問われます。たとえば、設計・開発の手戻りを減らせているか、処理量を高められているか、サポートコストを下げられているか、コンプライアンス審査を迅速化できているか、あるいは従来は顧客が導入できなかった機能を実現できているか、といった点です。
• モデル層では、小型モデル、適切なモデルへの振り分け、知識蒸留、複数の専門モデルを組み合わせる方式(MoE)³、推論効率の改善などによって、特定のタスクに必要な計算資源を抑えることができます。
• 推論ソフトウェア層では、モデルをどれだけ効率よく提供・実行できるかが性能を左右します。具体的には、バッチング、リクエストの振り分け、キャッシュの活用、投機的デコーディング(先読みによる高速化)、カーネル最適化、コンパイラ最適化、オートスケーリング、処理の配置先の最適化といった工夫が重要になります。
• システム層では、メモリ階層、光インターコネクト、コパッケージドオプティクス(CPO)⁴、シリコンフォトニクス、データ転送効率、先端パッケージング、アクセラレータ設計などが、限られた電力の中でどれだけ有用な処理をこなせるかを左右します。
• インフラ層では、液冷、電力最適化、データセンター運用の最適化、容量計画、サプライチェーンを踏まえた導入計画などが、必要な設備能力を実際に立ち上げられるかどうかを決めます。

これまで市場の関心は、AIが何をできるかという「能力」に向けられてきました。ですが、次の局面でより重視されるのは「効率」であり、その効率はどこか一つの層だけではなく、基盤全体を通して測られるようになります。私たちも、AI投資全体を見ていくうえで、同じ視点を重視しています。

Gleanは、企業向けアプリケーション層に近い領域で取り組んでおり、AIが社内に蓄積された知見を、目に見える業務生産性へと変えられるかが問われます。Sakana AIは、よりモデル層に近いところで、モデルを構築し、改善していくための新たなアプローチを探っています。私たちはまた、推論ソフトウェア層に関わる企業にも投資しており、そこでは変動する処理負荷に対応しながら、モデル運用の速度、コスト、信頼性をいかに高めるかが焦点となります。Smack Technologiesは、防衛や国家安全保障のワークフローにAIを適用しており、より質の高いインテリジェンスと、より迅速な意思決定がもたらす価値は明らかです。Mueonは、さらに物理システム層の深い領域で取り組んでおり、そこではメモリ統合、先端パッケージング、電力供給、熱設計、ラックスケールアーキテクチャそのものが課題になります。層はそれぞれ異なっていても、根底にある課題は同じです。すなわち、AIの経済性と実用性をいかに高めるか、という点です。

² ここでいう「有用なトークン」とは、単に出力された文字列ではなく、業務成果や経済価値につながるAI処理を指す。

³ Model of Experts: 複数の専門モデルを組み合わせ、必要な部分だけ使う方式

⁴ 光通信部品を半導体に近い位置に一体的に配置する設計手法。チップ間・装置間のデータ転送をより高速かつ効率的にし、AIインフラの性能向上に寄与する。

なぜ推論が主戦場になるのか

本章の要点：今後、AIの採算性を最も左右しやすいのは学習より推論です。
なぜ：学習は断続的でも、推論は日々の利用にひもづいて継続的に発生し、企業導入が進むほど負荷とコストが積み上がるからです。 具体例：コーディング支援、顧客対応、音声処理、画像・動画生成など、実運用のAIはすべて推論コストの上に成り立ちます。

これまで注目を集めてきたのは学習でした。学習は、大規模な計算基盤や最先端モデルをめぐる競争、多額の設備投資の発表、そしてモデル性能の段階的な飛躍といったかたちで、動きが見えやすいからです。これに対して、より長期的な経済的圧力は、推論のほうに、より継続的に現れてくる可能性があります。推論は日々の利用そのものと結びついているためです。

モデルの学習は定期的に行われるかもしれませんが、いったん実運用が始まれば、そのモデルはあらゆるユーザー、ワークフロー、エージェント、企業内の問い合わせ、自動化タスクに応答し続ける必要があります。AIが消費者向けの実験的な利用から企業のワークフローへと広がっていくにつれて、推論はシステムに恒常的にかかる負荷になっていきます。

企業での本格導入が進むにつれて、この点はいっそう重要になります。超大規模事業者や最先端モデルを開発する研究機関は、プラットフォームの主導権を握ることを目指しているため、莫大なインフラコストを吸収できます。ですが、大半の企業にはそれはできません。企業が求めているのは、AIが生産性向上や売上拡大、コスト削減、スピード向上、品質改善、リスク低減といった成果につながることです。投資対効果(ROI)の見通しが立たないまま、トークン消費だけが膨らみ続ける状況を、企業は受け入れません。

だからこそ、推論効率が重要になります。ある設計で、同じ電力の枠内で2倍、3倍、あるいは5倍多くの価値ある出力を生み出せるなら、どの用途を採算に見合う形で導入できるかが変わってきます。あるコスト構造では高すぎて成り立たない処理負荷でも、別のコスト構造のもとでは十分に現実的なものになり得るのです。

しかし、推論効率は、何か一つだけで解決できるものではありません。性能はますます、モデルの設計、カーネル層、コンパイラ、推論ランタイム、スケジューリングシステム、メモリシステム、そしてデータセンター全体の構成がどう連動するかによって決まるようになっています。カーネル層で10〜20％の改善があり、さらに投機的デコーディングや、ルーティング、バッチング、キャッシュ管理、オートスケーリング、プラットフォーム全体の運用最適化による改善も積み重なれば、コストと性能のバランスは大きく変わり得ます。

ポイント：この節の肝は、「推論コストは積み上がる」という点です。単発の学習コストよりも、日々の利用で発生する継続コストの最適化が経営上重要になる、という読み方です。

推論基盤は、多くの人が想定しているよりも長く、流動的な状態が続くかもしれません。扱う処理内容の構成は急速に変化しており、コーディングエージェント、ツール利用型エージェント、カスタマーサポート、音声・音響処理のパイプライン、画像・動画生成、長い文脈を前提とする処理、さらに、顧客がモデルごとに細かな手動調整をしなくても、プラットフォーム側で最適化されることを望む汎用的なコンテナ環境上の処理まで広がっています。応答速度が重要なものもあれば、処理量の多さが重要なものもあります。メモリがボトルネックになるものもあれば、長文入力の事前処理に負荷が偏るもの、生成処理に負荷が偏るものもあります。新しいハードウェア、新しいモデル設計、そして新たな処理パターンの登場によって、最適化の課題はこれからも繰り返し生じていくでしょう。

同じような動きは、メモリをめぐる領域でも現れ始めています。エージェントやコパイロットがより持続的に動作するようになるにつれて、問題は単にコンテキストウィンドウをどこまで大きくできるかではなくなります。重要なのは、やり取りのたびに毎回検索し直さなくても、システムが必要な過去の作業内容を適切に呼び出せるかどうかです。現在、長期記憶は、検索拡張生成(RAG)⁵、エージェント型検索、コネクタ、あるいはより大きなコンテキストウィンドウを通じて実装されることが多くなっています。こうした方法は、明示的な質問には機能するかもしれませんが、関連する文脈がリアルタイムに立ち上がるべきワークフローには、必ずしも向いていません。もし大規模なメモリモデルが、単に長いプロンプトや検索呼び出しとしてではなく、推論基盤そのものの一部として組み込まれるようになれば、メモリはトークンの費用対効果を左右する、もう一つの重要な要素になります。つまり、文脈の再読み込みが減り、重複した検索ステップも減り、遅延も下がることで、エージェントの実用性がさらに高まります。

⁵ 外部知識を検索して回答に取り込む手法

創業者と事業運営者にとっての意味

本章の要点：これからは「AIを使っていること」自体ではなく、「AI利用が顧客価値と採算に結びついていること」が問われます。
なぜ：計算資源が希少になるほど、投資家、顧客、インフラ提供者は、消費した計算資源の一単位あたりの価値を厳しく見るようになるからです。 具体例：AIアプリは業務成果を示せるか、インフラ企業は導入全体の経済性を本当に改善できるか、という視点で評価されます。

創業者にとっての示唆は明確です。計算資源は、もはや無償に近い前提条件として扱えるものではありません。今後、供給の限界が強まるなかで、顧客、投資家、インフラ提供者は、製品が消費する計算資源の一単位ごとに、どのような価値を生み出しているのかを、より厳しく問うようになるでしょう。

AIアプリケーション企業に問われるのは、使ったトークンが、目に見える顧客成果につながっているかどうかです。その製品は、設計・開発のサイクルを短縮しているのか。規制業務を自動化しているのか。処理能力を高めているのか。サポートコストを下げているのか。コンバージョン（購入や問い合わせなどの成果）が改善されているのか。あるいは、これまで顧客には導入できなかった新たな機能を可能にしているのか。もしその答えが曖昧であれば、その製品は市場で不利になります。資源が限られる市場では、『AIを使っている』というだけでは不十分です。製品は、かかった計算資源コストに見合う価値を証明しなければなりません。

インフラ企業に問われるのは、その製品が実際に使える処理能力を増やすのか、それとも結局は別のところでまた詰まるだけなのか、という点です。創業者は、ウェハ、パッケージング、メモリ、電力や冷却能力、原材料の調達、生産の安定性、導入の難しさに至るまで、供給から導入までの全体像を理解しておく必要があります。単体で見ると優れている部品や技術でも、供給の限られた部材や原材料に頼っていたり、導入や連携の負担を増やしたり、実際のデータセンター環境で導入できなかったりすれば、結局はうまく機能しない可能性があります。

システムレベルの企業に対しては、問われる基準がいっそう厳しくなります。市場が必要としているのは、他社がつなぎ込まなければならない新たな部品ではありません。求められているのは、導入全体の経済性を改善する設計です。新しいアクセラレータ、インターコネクト、パッケージング手法、冷却システム、電力供給設計は、それによって電力あたり・コストあたり・設置面積あたり、あるいは運用の複雑さあたりの有効計算能力が改善される場合にのみ重要になります。

ポイント：この節は、技術記事でありながら、実はかなり経営寄りです。評価基準が「技術のすごさ」から「導入後にどれだけ価値を回収できるか」へ移る、というメッセージが中心にあります。

デューデリジェンスで問うべきなのは、その企業がシステム全体を改善しているのか、それともスライド上のベンチマークだけを良く見せているのか、という点です。ベンチマークは重要ですが、モデルやハードウェア、処理内容の変化に伴って、その優位性は短期間で薄れやすいものです。本当に重要なのは、その会社が技術的な改善を、実際に導入可能なインフラへと継続的に転換できるかどうかです。つまり、きちんと生産でき、冷却でき、電力をまかなえ、統合でき、さらに、大規模運用が可能な形にまで落とし込めるかが問われます。

この局面で強い企業は、計算資源を多く使う企業でも、単体性能を誇る企業でもありません。限られた計算資源を、より価値ある成果につなげられる企業です。

注目していること

本章の要点：注目すべきなのは、限られた計算資源からより多くの成果を引き出す技術と、それを支える物理基盤です。
なぜ：AIのボトルネックは単一ではなく、推論、メモリ、データ転送、電力、冷却、供給網、業界特化アプリへと広がっているからです。 具体例：推論実行基盤、長文コンテキスト処理、光インターコネクト、液冷、供給可視化、投資対効果が明確な業界特化型AIなどが含まれます。

私が特に注目しているのは、限られた計算資源からより大きな成果を引き出し、物理的な制限を和らげ、顧客がAIインフラをより賢く配分できるようにする取り組みです。

• 推論の効率化／推論実行基盤：ルーティング、バッチ処理、キャッシュ、コンパイラ最適化、オートスケーリング、ハードウェア配置、SLA管理(求められる応答速度や安定稼働の水準を守るための管理)を通じて、有効なトークンあたりのコストを引き下げること。
• 長文コンテキストとメモリの基盤：KVキャッシュ⁶の管理、プリフィル/デコード分離、メモリ階層、文脈に応じたルーティング、長い文脈や過去のやり取りを引き継げるモデルによる、検索のやり直しや文脈の組み立て直しの削減
• データ転送：光インターコネクト、シリコンフォトニクス、Co-Packaged Optics（CPO）、メモリと計算の統合など、チップ間・サーバー間・ラック間のデータ移動コストを下げる技術や設計。
• 電力・冷却・導入：液冷、電力供給、電力網への接続、熱管理、データセンター運用の統合管理など、AIの処理能力を実際に稼働させられるかどうかを左右する要素。
• サプライチェーン／供給力の把握：ウェハ、パッケージング、メモリ、基板、特殊材料、光学部品、人材、拠点準備にわたるボトルネックを可視化し、顧客による計算資源需要の予測と配分最適化を支援するツール。
• トークンROIが明確な業界特化型AI：エンジニアリング、EDA(電子設計自動化)⁷、コンプライアンス、医療、産業自動化、金融サービスなど、時間短縮、精度向上、処理能力向上、リスク低減によって、計算資源コストを明確に正当化できる業務領域。

⁶AIが直前までの文脈を毎回ゼロから計算し直さずに済むよう、一度処理した情報の一部を保持しておく仕組み。いわば会話や処理の「作業メモ」であり、応答速度の向上や計算コストの削減に役立つ。

⁷半導体や電子回路の設計を支援するソフトウェア分野

結論

本章の要点：AIの勝敗は、単に高性能なモデルを持つことではなく、限られた資源をいかに効率よく価値へ変えられるかで決まります。
なぜ：資源制約の下では、無駄な計算資源の消費は評価されにくくなり、効率・導入性・投資対効果がより重視されるからです。具体例：より多くの有効な成果を生み出せる企業、インフラを作りやすくする企業、価値の明確な業務にAIを結びつけられる企業が有利になります。

AIの導入はまだこれからですが、どこに壁があるのかは、もうかなり見えてきています。

AIの第一波では、何ができるかが中心でした。次の波で重要になるのは、それをどう配分するかです。問われるのは、計算資源を確保し、それを支える電力を押さえ、実際に導入し、効率よく使いこなし、さらにトークンを目に見える経済価値へと結び付けられるかどうかです。

市場は、トークンをただ消費しているだけの企業をいつまでも評価し続けるわけではありません。資源が限られている以上、いずれは無駄を削ぎ落とした運用が求められます。最終的に勝つのは、同じ資源からより多くの有効なトークンを引き出せる企業か、そうした資源の確保を容易にする企業か、あるいはトークンを、価値がはっきり見える業務に結び付けられる企業です。

技術面でも物理面でも、最前線は多くの人が思っている以上に、しばらく不安定な状態が続くでしょう。新しいモデルやハードウェア、より長いコンテキスト、エージェント型の新しい処理、提供方式の変化、データセンター設計の刷新が起こるたびに、最適化の課題は何度でも振り出しに戻されます。つまり、勝つのは、いまの条件だけで最も良い数字を出している企業とは限りません。処理内容の構成が変わるたびに、コストパフォーマンスを高め続けられる企業こそが勝者になるのです。

AIは、ユーザーの目にはソフトウェアのように映るかもしれません。ですが、次の1兆ドル規模の価値を左右する勝負は、その土台にある物理インフラとシステム層で繰り広げられるでしょう。

Name: Email: Comment:

Join THE DOME!

シリコンバレーからのインサイトをお届けします

Signup