Jeff Dean：スケールを思想に変える

2026年8月6日時点で、Jeff Dean は Google での27年間において最も大きな転機を迎えている。長年の協力者 Sanjay Ghemawat、さらに Oriol Vinyals、Quoc V. Le とともに Google を離れ、科学・工学の「提案—実験—評価—改善」サイクルを自動化する Discovery Loop を共同設立した。本稿では MapReduce、Bigtable、Spanner から TensorFlow、TPU、Pathways、Gemini までをたどり、巨大な計算規模を扱う技術と、その規模が組織にもたらす責任を検討する。

エグゼクティブサマリー

Jeff Dean のキャリアは、高価で壊れやすく、専門家の手作業を必要としていた計算問題を、一般のプログラマーが利用できる抽象へ変換し続けた歴史として理解できる。

MapReduce は並列化、分散、耐障害性、タスクスケジューリングを隠蔽した。Bigtable は数千台のマシンにまたがるデータを統一的なストレージインターフェースとして提供した。Spanner はグローバル分散と強い整合性を備えたトランザクションを同じシステムで実現した。DistBelief、TensorFlow、Pathways は同じ発想を機械学習の訓練へ持ち込んだ。

Dean は産業界の研究者としても特異な存在である。彼の論文の多くは、すでに本番環境で動作していたシステムから生まれ、公開後には学術界やオープンソースの基盤となった。MapReduce は Hadoop とビッグデータ産業に直接影響し、TensorFlow は深層学習を一部の研究室から広範なエンジニアリング実務へ押し広げた。TPU、Pathways、Gemini は、モデル、アルゴリズム、コンパイラ、ネットワーク、チップ、データセンターを共同設計すべきだという後期の全体的なシステム観を示している。

一方、その名声には管理責任も伴う。2020年の Timnit Gebru をめぐる問題では、Dean は Google における研究権限、論文審査、人種・ジェンダーの代表性をめぐる論争の中心人物となった。AlphaChip も再現性とベンチマーク選択をめぐって批判を受けた。計算資源、論文承認、昇進に影響を持つ科学者の判断は、単なる技術判断ではなく制度的な結果を生む。

Dean の長期的な遺産は、個別の一論文よりも、繰り返し現れる設計姿勢にある。単一のマシンは故障する。規模はテールリスクを生む。ハードウェアとソフトウェアは互いを制約する。そうした現実を受け入れた上で、次世代の技術者が利用できる、より単純なインターフェースを構築するのである。

世界各地で育ったプログラマー

Dean は1968年7月にハワイで生まれた。父 Andy Dean は熱帯病の研究者、母 Virginia Lee は複数の言語を扱う医療人類学者だった。両親の公衆衛生の仕事により、彼はホノルル、マニラ、ボストン、ウガンダ西ナイル地方、リトルロック、モガディシュ、アトランタ、ジュネーブなどで幼少期を過ごした。

彼にとって、コンピューターは当初から現実世界と結びついていた。父親と IMSAI 8080 のキットを組み立て、拡張部品をはんだ付けし、プログラムを書いた。13歳のときには両親とソマリア西部の難民キャンプへ向かった。高校・大学時代の夏には疫学データ収集ソフト Epi Info の開発に参加し、このツールは後に米国疾病予防管理センターと世界保健機関で広く使われた。

重要なのは「天才少年」という物語ではない。Dean は早い段階で、ソフトウェアが疾病監視、難民支援、国際機関に役立ち、限られたハードウェア、不安定なネットワーク、多様な利用者の環境でも確実に動く必要があることを見ていた。その後の医療、洪水予測、アフリカでの AI 研究にも、この公衆衛生時代の視点が残っている。

1990年、Dean はミネソタ大学でコンピューター科学と経済学の学位を取得し、最優秀で卒業した。卒業論文では並列ニューラルネットワークと、エイズがマクロ経済・人口に与える影響を研究した。その後 WHO の世界エイズ計画で働き、1996年にワシントン大学でコンピューター科学の博士号を取得した。指導教員は Craig Chambers で、研究テーマはオブジェクト指向プログラムの全体最適化だった。

コンパイラ研究では、高水準言語の意味、プログラム構造、機械命令、実行コストを同時に理解しなければならない。同僚によれば、Dean はコードを書きながらキャッシュ、メモリ、ディスク、ネットワークの挙動を頭の中でシミュレーションできた。「すべてのプログラマーが知るべきレイテンシの数字」は、その思考習慣を圧縮したものだ。

DEC Western Research Laboratory を経て、1999年に Google へ入社した。当時の Google は急成長のため、検索インデックスの仕組みが限界に近づいていた。

Google の骨格をつくる

2000年前後、Google のウェブインデックスは頻繁に破損していた。一台のマシンのメモリエラーがインデックス全体を汚染し、技術者は手作業で原因を追わなければならなかった。Dean と Ghemawat はシステムを書き直し、安価なハードウェアが継続的に故障してもサービスが動き続けるようにした。エンコーディング、圧縮、メモリ配置まで最適化し、ソフトウェアの細部がサーバーやディスクの調達コストを直接変えることを示した。

二人の協働は Google 内でも例外的だった。同じコンピューターで交互にコードを書くこともあれば、別々の部屋から同じシステムを同時に修正することもあった。Dean は素早くプロトタイプを作り、飛躍的な設計を提案した。Ghemawat は設計を絞り込み、単純化し、長期運用できる形にした。やがてマネージャーは二人を中心にチームを組織するようになった。

抽象化の階段

MapReduce：故障を日常にする

MapReduce の革新性は、抑制されたインターフェースにあった。プログラマーは map と reduce の二種類の操作を定義するだけでよい。システムが入力を分割し、タスクを割り当て、中間データを移動し、失敗した処理を再実行し、結果を集約する。

それ以前の大規模並列処理では、ネットワーク通信、機械故障、負荷分散、データ配置を個々の技術者が直接扱う必要があった。MapReduce はそれらをランタイムへ押し込んだ。2004年の論文は Hadoop の直接的な思想源となり、その後のビッグデータ産業を促進した。より柔軟なデータフローシステムが登場した後も、「並列性と耐障害性はプラットフォームの標準機能であるべきだ」という考えは残った。

Bigtable と Spanner：分散データを信頼できる事実へ

Bigtable は構造化データを数千台の一般的なサーバーとペタバイト規模へ拡張した。疎で分散した多次元の順序付きマップとしてデータを管理し、Search、Earth、Finance などを支えた。従来型リレーショナルデータベースの完全な再現ではなく、規模、スループット、制御可能なデータモデルを優先した。

Spanner はさらに難しい問題へ進んだ。地域やデータセンターをまたぐデータベースで、外部整合性を持つトランザクションを提供した。TrueTime API は物理時計の不確実性をトランザクションプロトコルに明示的に取り込み、グローバル複製と強い整合性を両立させた。

テールレイテンシ：平均値が隠す世界

Dean と Luiz André Barroso は「The Tail at Scale」で、大規模オンラインサービスの利用体験が最も遅い少数のリクエストに支配されることを示した。一つの要求が数百のサーバーに依存するなら、一要素の一時的な遅延が全体を遅らせる。平均レイテンシだけでは説明できない。

冗長リクエスト、バックアップタスク、遅延を考慮したスケジューリングなどの考え方は、現在のパーセンタイル監視、hedged requests、SLO に引き継がれている。

DistBelief、TensorFlow、Pathways

2011年、Dean は Andrew Ng、Greg Corrado らと Google Brain を立ち上げた。初期の問題は機械学習だけでなくシステム工学でもあった。当時の深層学習アルゴリズムは Google 規模のクラスターを容易に利用できなかった。DistBelief は数千台のマシンによる数十億パラメータの訓練を可能にし、Downpour SGD などの分散最適化を導入した。

2012年の大規模教師なし学習実験では、約一千万フレームの YouTube 動画と一万以上の CPU コアを使用した。猫というラベルを与えなくても、ネットワークは猫の顔、人の顔、身体に選択的に反応する表現を形成した。これは巨大モデル、大量データ、大規模計算の組み合わせが、新しい表現能力を生みうることを示した。

DistBelief は社内システムだった。Dean はその後 TensorFlow の設計と実装に参加し、2015年のオープンソース化を推進した。TensorFlow は計算をデータフローグラフで表現し、CPU、GPU、TPU、モバイル、分散クラスターを一つのエコシステムで接続した。

Pathways は超大規模モデルへ対応した。非同期分散データフローにより、一つの計算を数千のアクセラレーターにまたがって実行し、疎な活性化、パイプライン並列、データ並列、モデル並列を組み合わせる。Google は Pathways を PaLM の訓練に使い、その基盤を Gemini へ延長した。

TPU とフルスタック共同設計

Dean は、機械学習の進歩はアルゴリズムとハードウェアの共同進化に依存すると主張してきた。第一世代 TPU は大規模な行列乗算ユニットを中心に設計され、当時の Google のニューラルネットワーク負荷で高い性能とエネルギー効率を示した。word2vec とモデル蒸留も、モデル能力を実際に提供可能なコストへ落とすという同じ傾向を持つ。

技術者から組織のリーダーへ

Dean の影響には三つの層がある。

第一はコードとシステムである。Google の検索、広告、インデックス、ストレージ、機械学習基盤には、彼が設計または実装に参加した中核要素が含まれた。Protocol Buffers、LevelDB、コード検索、性能分析ツールにも関わった。

第二は研究アジェンダである。Google Brain の創設を通じて、データ、モデル、計算を拡大することを継続的な研究路線にした。Transformer 論文そのものの著者ではないが、Transformer、疎モデル、TPU、大規模訓練をより大きな技術計画へ統合する資源と組織を形成した。

第三は制度設計である。2018年前後には Google AI を率い、数千人の研究者と技術者を統括した。2023年に Google Brain と DeepMind が統合されると Chief Scientist となり、Demis Hassabis と科学的方向を定めた。Gemini という名称も Dean の提案で、統合された二つのチームと NASA の Gemini 計画を重ねたものだった。

AI とシステム研究への深い影響

規模を結果ではなく研究変数にした。 従来の機械学習では計算資源が固定条件とみなされることが多かった。Google Brain は「一万、十万以上のプロセッサへ拡張したとき、どのような能力が現れるのか。ハードウェア、ネットワーク、最適化はどう変わるべきか」と問い直した。

産業研究にシステム論文の伝統を強化した。 MapReduce、Bigtable、Spanner、TensorFlow は実際の負荷を経験したシステムを記述した。学術界は超大規模企業だけが観測できた現象を知ることができた。一方、重要なデータ、ハードウェア、本番環境が公開されず、独立した再現が難しいという限界もある。

AI をフルスタック競争にした。 前線モデルの違いはニューラルネット構造だけでなく、フレームワーク、コンパイラ、クラスタースケジューリング、ネットワーク、チップ、データ管理、提供コストから生まれる。Dean のキャリアはそれらすべての層をまたいでいる。

成果は高度に協働的だった。 MapReduce は Ghemawat と共同で作られ、Bigtable、Spanner、TensorFlow、TPU は大規模なチームの成果だった。Dean の位置づけは、設計者、実装者、招集者、資源配分者の組み合わせとして考えるべきである。

論争と管理の代償

Timnit Gebru をめぐる問題

2020年、Google Ethical AI の共同責任者 Timnit Gebru は、大規模言語モデルの環境コスト、訓練データの偏り、社会的リスクを扱う論文を準備していた。Google は論文の撤回または Google 著者名の削除を求めた。Gebru は解雇されたと主張し、Google は条件付き辞任を受理したと説明した。Dean は社内メールで、論文が最近の研究やリスク軽減策を十分に扱っていないと述べた。

問題は一論文を超えた。社内研究者が Google の中核技術を批判できるのか、なぜ審査が投稿の遅い段階で介入したのかが問われた。Gebru は大手テクノロジー企業で上級 AI 研究職に就く数少ない黒人女性の一人であり、退職は代表性、権力、職場待遇をめぐる広範な抗議につながった。

Google AI の責任者だった Dean は主要な批判対象となった。2021年には「センシティブなテーマ」の論文審査手順が混乱を招いていたことを認め、ルールの明確化を求めた。この事件は、企業研究所における公開研究と、製品・法務・評判上の利益との衝突を示している。

AlphaChip の再現性論争

2021年の Nature 論文は、深層強化学習によるチップのマクロ配置を提案した。Google は、この方法が複数世代の TPU、Axion CPU、その他の Alphabet 製チップで使われ、MediaTek などにも拡張されたと説明している。

批判はベンチマーク、計算資源、事前学習、代理目的、再現性に集中した。公開回路で論文の優位性を確認できなかった研究もあり、比較対象となる従来手法が十分に強かったかが問われた。Dean、Anna Goldie、Azalia Mirhoseini は、一部の再現実験が規定の事前学習を行わず、GPU と経験収集器が少なく、訓練時間も不足していたと反論した。

証拠は非対称である。Google は本番 TPU と独自の物理設計フローを持ち、外部研究者は公開ベンチマークとオープン実装に依存する。本番利用は工学的価値を示すが、公平な公開条件で最良の従来手法を上回るかを単独では証明できない。2026年8月時点で、Google 内での実利用は確認されている一方、独立して再現可能な優位性の大きさはなお議論中である。

Discovery Loop：次の抽象化

Dean の近年の発言は「AI が AI を改善すること」と自動化された科学発見へ向かっていた。Discovery Loop はその方向を組織にしたものだ。まず自社を顧客として機械学習の研究・工学実験を自動化し、長期的には材料、チップ、創薬、生物学などへ広げる。システムが複数の候補を提案し、大規模計算で多数の実験を並列実行し、結果を評価して次の反復へ進む。

これは Dean の初期の方法への回帰にも見える。MapReduce は分散タスクのループを自動化し、TensorFlow は計算グラフと勾配を自動化し、Pathways はアクセラレーター間の負荷を自動配置した。Discovery Loop は研究そのもののループを自動化しようとする。

ただし難易度ははるかに高い。実験目標は曖昧になりうる。モデルは評価指標を不正に利用する可能性がある。物理実験はソフトウェアタスクほど安価に複製できず、科学的発見には因果説明、検証、否定的結果の記録も必要になる。

四人の創業者は珍しい組み合わせである。Dean と Ghemawat は分散システム、ストレージ、計算基盤を担い、Quoc V. Le は Google Brain、ニューラルアーキテクチャ探索、大規模モデルに関わった。Vinyals は sequence-to-sequence、AlphaStar、Gemini、推論モデルに貢献した。Google は投資家であると同時に Google Cloud の計算パートナーでもある。

遺産

Dean の歴史的に最も重要な能力は、規模が問題の性質そのものを変える瞬間を見抜くことかもしれない。

十台のマシンでは、故障は例外に見える。十万台では、故障は日常になる。

>

一つのモデルでは、遅い要求は偶発的な外れ値にすぎない。数百のサービスに依存するシステムでは、それが利用体験を決める。

>

一枚の GPU では、ニューラルネットはアルゴリズムである。数千の TPU では、スケジューリング、通信、コンパイル、電力の問題にもなる。

>

巨大な計算資源を持つ企業では、研究判断は資源とキャリア機会の配分機構にもなる。

Dean は最初の三種類の問題で卓越した成果を残した。信頼できないマシンから信頼できる全体を構築し、複雑なハードウェアに単純なインターフェースを与え、巨大モデルのための拡張可能な環境を作った。第四の問題における評価はより複雑である。Gebru と AlphaChip をめぐる問題は、工学システムの耐障害原理が、そのまま組織の透明性、異議申し立て、科学的再検証へ変換されるわけではないことを示す。

Discovery Loop の将来は、「実験のスケール化」を検証可能な発見へ変換できるかにかかっている。初期に成果が出やすいのは、評価周期が短く、自動測定可能な機械学習アルゴリズム、コンパイラ、システム設定、チップ設計だろう。創薬、材料、生物科学では、実験設備、安全審査、因果検証、長期の反復が必要になる。

結果がどうであれ、Dean はすでに計算機史に位置を占めている。Ghemawat と築いたシステムはインターネット企業のデータ処理を形づくり、Google Brain と TensorFlow は現代 AI の工学的基盤を築いた。TPU、Pathways、Gemini は、チップから製品までのフルスタック協働を前線モデルの競争条件にした。そして Epi Info に関わった少年は、いま機械を科学的発見そのものへ参加させようとしている。

主な資料

• Discovery Loop — Continuous Exploration
• Reuters: Google shakes up AI leadership as DeepMind chief shifts role
• WIRED: Google’s Top AI Brains Are Leaving to Launch Discovery Loop
• Google Research: Jeff Dean
• The New Yorker: The Friendship That Made Google Huge
• USENIX: MapReduce
• USENIX: Bigtable
• USENIX: Spanner
• USENIX: TensorFlow
• Google Research: The Tail at Scale
• Google DeepMind: How AlphaChip transformed computer chip design
• ACM: Jeffrey A. Dean Award Profile