Kimiの創業者Yang Zhilin氏との対談：果てしなく続く未知の雪山へ進む

編集者注：この記事は、2024年3月1日にZhang Xiaojunが公表したYang Zhilinへのインタビューの英語訳です。翻訳はKimi K3によって生成され、著者が2026年7月にXで再投稿しました。本文は英語版のまま保持されています。

出典: Zhang XiaojunのXアカウント

これは、2024年初頭に行われ、Kimi創業1周年ちょうどの2024年3月1日に公開された、私がYang Zhilinに行った最初のインタビューだ。当時、Kimiの従業員はわずか80人で、彼らの最初のオフィスで仕事をしていたが、そのオフィスはかなり古びていた。入口にはロゴもなく、ドアのそばに白いピアノが一台、門番のように置かれているだけだった。

この記事は当時、中国のテック界でかなりの話題を呼んだ。

当時、私はまだ紙媒体の記者だったので、このインタビューはテキストと音声ポッドキャストの形でしか残っていない。

ご覧のとおり、この記事で述べられた多くの見解は、その後に裏付けられた。

2年前のこの文章を読み返すだけで、世界がいかに劇的に変わったかに、思わず圧倒されてしまう！

（この翻訳はKimi K3によって作成されました。）

Yang Zhilin: “もし誰もがあなたを普通の人だと思うなら——もしあなたの夢が、誰にでも持てる夢なら——それは人類の夢の総量に何も加えない。”

Zhang Xiaojunによる

わずか1年前、AI科学者のYang Zhilinはシリコンバレーで正確な計算を行っていた。もしAGIを目指すfoundation-modelのスタートアップを立ち上げると決めたなら、今後数か月以内に1億米ドル超を調達する必要がある、と彼は悟ったのだ。

だが、それはまだゲームに参加するための入場券にすぎなかった。1年後、その金額は13倍に膨れ上がっていた。

foundation-model企業にとって、競争は科学の競争というよりも、まず第一に、そして何よりも、熾烈な資金戦争である。投資家が財布のひもを締めるとき、企業はより速く次の資金を集め、より多くのGPUを買い、より多くの人材を獲得するために、競合より先に走らなければならない。

「それには、人材の集中と資本の集中が必要です」と、2023年3月1日に設立されたfoundation-model企業Moonshot AIの創業者兼CEOであるYang Zhilinは語る。

この1年、中国のfoundation-model企業は、きわどく、締め付けの強い生存ラインの上で生きているように見えた。表向きには、どの企業も相当な現金を手元に持っていた。しかし一方で、OpenAIを追いかけるために、そしてまずはGPT-3.5に追いつき、GPT-4に手が届く前にSoraが登場するという状況の中で、彼らは調達した新たな資金をすぐさま極めて高額な研究に投入しなければならなかった。他方で、実際に使えるユースケースを絶えず探し続け、自分たちが資金を燃やすだけの研究機関ではなく、あくまで企業なのだと証明しなければならなかった。それでもまだ十分ではない。こうした取り組みのたびに、出口がIPOであれM&Aであれ、抜け道は依然としてまったく見えなかった。

中国のfoundation-model企業の創業者の中で、Yang Zhilinは最年少で、1992年生まれである。業界は彼をAGIへの揺るぎない信奉者であり、めったにない技術的カリスマを備えた創業者だと評している。彼の学歴と職歴の大半は汎用AIに結びついており、彼の論文は累計22,000回以上引用されている。

2023年半ば、中国のテック界はfoundation modelsに対して、熱狂から一転して冷淡になり、実用化の加速が実利的な主旋律となった。これは必然的に、foundation-modelのCEOたちを理想と現実のあいだで激しく引き裂くことになった。

誰もがPMF（product/market fit）を叫び、誰もが商業化を叫ぶ中国AIエコシステムの中で、この——正規の訓練を受けたAI研究者である——創業者は、決して焦らなかった。

80人という規模で、Moonshot AIの人員は中国の主要foundation-model企業の中で最も少なかった。競合他社とは異なり、Yangはより安全なB2Bモデルを選ぶことも、医療やゲームのような垂直分野への展開を模索することもなかった。彼は1つだけ、そしてたった1つの消費者向け製品を作った。それがAIアシスタントKimiで、最大20万字の中国語入力に対応している。Kimiは、Yang Zhilinの英語名でもある。

Yangは、自分の会社を科学、技術、ビジネスが組み合わさったシステムとして捉えるのを好む。こう考えるとわかりやすい。人間の世界の上で、彼はAIの実験室を築いているのだ。片手では実験を回し、もう片方の手では先端技術を現実世界へと引き下ろし、人との相互作用を通じてアプリケーションを発見し、それを消費者の手に届ける。理想的には、前者は数十億から数百億ドル規模の資本を焼き尽くし、後者はその何百倍、何千倍もの金額を回収する。どう聞こえようとも、それは綱渡りのように、胸躍ると同時に危険でもある。

「AIというのは、1〜2年のうちに何らかのPMFを見つけるという話ではありません。10年から20年のあいだに、どうやって世界を変えるかという話です」と彼は言う。

こうした抽象的で理想主義的な考え方は、彼のために不安の汗をかかせる。若いAI科学者は、実利重視の中国で生き残る余地を切り開けるのだろうか？

2024年2月、Moonshot AIは市場の逆風にもかかわらず、大型の資金調達ラウンドを完了した。報道によれば、同社はAlibaba主導で、Monolith Management、Xiaohongshu、その他の投資家が参加した、プレマネー評価額15億米ドル超のSeries Bで10億米ドル超を調達した。取引完了時点で、Moonshot AIのポストマネー評価額は約25億米ドルとなり、その時点では中国のfoundation-model競争において最も高く評価されたユニコーンとなった。（同社はこの件についての回答またはコメントを拒否した。）

この3回目の資金調達ラウンドに際して、私たちはYang Zhilinと腰を据えて、彼の起業1年目について語り合った。これは、中国のfoundation-model企業がスタート地点から一気に加速していった、ある1年の縮図でもある。

彼の会社は、北京の Sohu Network Plaza にオフィスを構えていない。そこは foundation-model の企業が集まる場所だ。総資金調達額が約9億RMBの会社にしては、その Liangzi Xinzuo ビルにあるオフィスは質素で老朽化して見える。入口にさえ会社のロゴはなく、ドアのそばに白いピアノが一台、静かに立っているだけだ。

会議室は隅のほうにある。小さな窓しかなく、室内はかなり暗い。冬の寒さを押し返すように、ヒーターが温風を送り出しながら低くうなっている。

薄暗い光の中で、Yang はこの1年をどう感じていたかをこう語った。「ちょっと、雪山がずっと前方に連なっている道を運転しているような感じです。中に何があるのか分からない。ただ前へ進み続けるしかない。少しずつ、一歩ずつ。」

以下は Yang Zhilin へのインタビュー全文である。（読みやすくするため、著者が一部を編集している。）

この写真は2024年初頭、北京にあった Kimi の最初のオフィスで撮影された。彼らは今ではこの場所を離れている。廊下沿いにロゴはなく、白いピアノだけが入口のそばに静かに立っている。

第1部

出発点に立つ

「波に乗らなければならない」

Zhang Xiaojun:

最近はどうですか？

Yang Zhilin:

忙しいです——いろいろなことが同時に起きています。でも、気持ちはとても高ぶっています。私たちはひとつの産業のまさに出発点に立っていて、想像できる余地がまだ途方もなく大きい。

Zhang Xiaojun:

さっき入ってきたとき、会社の入口に真っ白なピアノが置いてあるのを見ました。

Yang Zhilin:

その上には Pink Floyd のアルバムもあります。誰がそこに置いたのかは私も知らなくて——数日前に偶然見つけたばかりで、まだ聞けていません。（Pink Floyd はイギリスのロックバンドで、アルバム

The Dark Side of the Moon

を発表したことで知られています。）

Zhang Xiaojun:

2022年11月に ChatGPT が公開されたとき、あなたは何をしていましたか？

Yang Zhilin:

私はそのための準備を前からしていました——人を採用し、チームを作り、新しいアイデアについて話し合っていました。ChatGPT を見たとき、ものすごく興奮しました。3年から5年前、あるいは2021年ですら、それはほとんど想像不可能でした。あのレベルの高次推論は、それ以前は非常に難しかった。

私は、資本が一方にあり、人材がもう一方にある——AI にとっての中核的な生産要素——市場の多くの変数が今まさに変わろうとしていると感じました。

もしそれらの変数が正しい位置に収まれば、このことに取り組むためのまともな会社を作ることができる。AGI のために作られた組織が、0から1へ進めるかもしれない。

それは大きな気づきでした。独立した会社のほうが理にかなっているように聞こえる。でも、それはやりたいと思った瞬間にすぐできるものではない。ChatGPT が変数を揺り動かし、生産要素を近づけたのです。波に乗らなければならない。

Zhang Xiaojun:

AGI の会社を立ち上げると決めたあと、何を準備したのですか？ 2つの生産要素——資本と人材——をどうやって集めたのでしょう？

Yang Zhilin:

それはかなり回りくどい過程でした。ChatGPT が広く浸透するには時間がかかりました。早く知る人もいれば、遅く知る人もいる。最初は懐疑的で、その後ショックを受け、やがて信奉者になる人もいました。人を見つけることも資金を見つけることも、どちらもタイミングと密接に結びついています。

私たちは2023年2月に最初の資金調達ラウンドに集中し始めました。もし4月まで遅れていたら、実質的にチャンスはなかったでしょう。でも2022年12月や2023年1月にやってもだめでした——その頃はまだパンデミックの影響が残っていて、人々もまだ消化しきれていなかったからです。

つまり、本当の窓はたった1か月しかなかったのです。

ある夜、アメリカで私はとても正確な計算をしました。計算し終えて、数か月以内に少なくとも1億ドルを調達する必要があると結論づけました。当時、市場の多くの人はまだ資金調達を始めておらず、その額を集められるとは思っていませんでした。でも、最終的にはできた——しかもそれ以上に。

人材市場も動き始めました。ChatGPT に刺激されて、2023年3月か4月には多くの人がこう認識するようになっていました。これこそ、今後10年で唯一やる価値のあることだ、と。正しいタイミングで正しい人にアプローチしなければなりません。1年か2年前なら、これほど人材は集まりませんでした。当時は、より多くの人が従来型の AI や AI 関連の分野に取り組んでいて、汎用人工知能ではありませんでした。

Zhang Xiaojun:

要するに、2月が資金調達の窓で、3月と4月が採用の窓ということですね？

Yang Zhilin:

だいたいそんな感じです。

Zhang Xiaojun:

アメリカでその計算をした夜、あなたはどこにいたのですか？ 具体的にはどう計算したのでしょう？

Yang Zhilin:

2022年末から2023年初めにかけて、私はアメリカに1〜2か月ほどいて、人々と話していました。そのとき住んでいた場所でやっていました。必要な FLOPs、学習コスト、推論コスト、そしてユーザー数を見積もったのです。

Zhang Xiaojun:

その時点で、シリコンバレーの主流の空気はどんな感じでしたか？

Yang Zhilin:

このプロダクトは、テック系コミュニティの中で早くから多くのユーザーを引きつけ始めていました。私たちもその輪の中にいたので、その感覚はとても強く伝わってきました。シリコンバレーの大手企業では、人々は6か月ごとにパフォーマンス評価を書かなければなりませんが、多くの人がそれを ChatGPT で書き始めていました。以前はあまり上手に文章を書けなかった人が ChatGPT で書いた評価を提出していて、誰もがやけに真面目に見えました。

水面下の動きが起きていました。多くの人が次の仕事や起業について考えていたのです。私たちと話したことのあるかなり多くの人が、その後スタートアップを立ち上げました。そして強い FOMO——機会を逃すことへの恐れ——がありました。誰も眠れていなかった。真夜中でも、1時でも、2時でも、連絡すればいつでもそこにいました。少し不安で、少し FOMO があり、そしてとても興奮していたのです。

Zhang Xiaojun:

1億ドルが必要だと計算した夜、何時まで起きていましたか？

Yang Zhilin:

まあまあでした——計算自体にはそれほど時間はかかりませんでした。でもその後は、あまり多くの人には言えませんでした。口にしてしまえば、そんなことができるとは誰も信じなかったでしょう。

第2部

技術系の系譜

「終わりのない彫刻から自分を解き放つ」

Zhang Xiaojun:

ベンチャー投資家があなたについて語るとき、彼らはこう言います。「創業者は非常に優秀で、技術的な気質があり、チーム全体も技術のスター揃いだ」と。ですから、あなたの foundation-model 企業について話す前に、まずはあなたの学術的な基盤から始めたいと思います。学部では清華大学でコンピュータサイエンスを学び、Carnegie Mellon の School of Computer Science で博士号を取得しました。AI は常にあなたの中心でしたか？

Yang Zhilin:

私は1992年生まれで、2011年に大学に入学しました。2年生のときから今まで——10年以上——この分野にいます。最初はかなり分散した方向で探求していて、あちこちを見ていました。グラフやマルチモーダルに関する仕事もいくつかしていました。2017年になると、言語モデルに収束しました。そのとき私は、言語モデルは比較的重要な問題だと感じていました。その後、次第にそれが唯一重要な問題だと考えるようになりました。

Zhang Xiaojun:

2017年当時、AI 業界は言語モデルを一般的にどう見ていましたか。そして、その認識はどのように変わっていきましたか？

Yang Zhilin:

当時は、音声認識結果を並べ替えるためのモデルにすぎませんでした。（笑）音声の断片を認識すると複数の候補結果が得られますが、そこで言語モデルを使ってどの結果の確率が最も高いかを見て、最も起こりやすい結果を出力するわけです。用途は非常に限定的でした。

しかし、やがてこれは根本的な問題だと気づきます。なぜなら、世界の確率をモデル化しているからです。言語は有限ですが、それは世界の投影です。理論的には、token 空間——あり得るあらゆる token の空間——を十分に大きくすれば、汎用的な world model を構築できます。この世界のあらゆるものがどのように形成され、発展していくかは、すべて確率として割り当てることができます。あらゆる問題は、確率の推定へと帰着できます。

Zhang Xiaojun:

あなたの指導教員は非常に有名です。博士課程の指導教員は Apple の AI 部門責任者 Ruslan Salakhutdinov と、Google AI の Chief Scientist である William W. Cohen でした。お二人とも産業界と学術界の中間にいます。

Yang Zhilin:

以前は産業界と学術界の結びつきはもっと強かったのですが、現在の流れは次のように移っています。

より価値の高いブレークスルーは産業界で起こるでしょう。

これは発展の必然的な法則です。探求的な研究から始まり、徐々により成熟した産業化のプロセスへ移っていくのです。もちろん、それは産業化の段階で研究が不要になるという意味ではありません。純粋な研究だけでは、価値の高いブレークスルーを生み出すのが難しい、ということです。

Zhang Xiaojun:

こうした著名な指導教員から、何を学びましたか？

Yang Zhilin:

最も多く学んだのは Google です。私はそこで長い期間インターンをしていました。2018年後半には Transformer ベースの言語モデルに取り組み始めました。

最も学んだことは、「彫り込み」——表面的な細部を過度に磨き込むことへの執着——から自分を解放することです。これは非常に重要です。

見るべきなのは、大きな方向性は何か、大きな gradient は何か、です。目の前に10本の道があるとき、普通の人はこの道で前を歩く歩行者をどうやって止めるか、といった短期的な細部に気を取られます。しかし、本当に重要なのは、その10本の道のうちどれを選ぶかです。

この分野には以前、まさにその問題がありました。例えば、たった100万 token か200万 token しかないデータセットで、どうやって perplexity をさらに下げるか、どうやって loss を下げるか、どうやって精度を改善するか、を考えているうちに、ひたすら彫り込みに陥ってしまうのです。人々は非常に奇妙なアーキテクチャをたくさん発明しましたが、それらはすべて彫り込みの小技でした。彫り込みをすると、その種のデータセットではより良い結果が出せますが、問題の本質を見失ってしまいます。

本質は、その分野に何が欠けているのかを分析することです。第一原理は何か。なぜ scaling law は第一原理になり得るのか。必要なのは、2つの条件を満たす構造を見つけることだけです。第一に、それが十分に汎用的であること。第二に、スケール可能であることです。汎用的とは、その枠組みの中であらゆる問題をモデル化できること。スケール可能とは、十分な compute を投入すれば、どんどん良くなり続けることです。

これが、私が Google で学んだ考え方です。より基本的なもので説明できるなら、上位の層で過度に彫り込むべきではありません。私が特に強く同意する非常に重要な言葉があります。もし scale で問題を解決できるなら、新しいアルゴリズムで解くべきではない。新しいアルゴリズムの最大の価値は、それによってどう scale しやすくなるかにあります。彫り込みから抜け出すと、はるかに多くのものが見えるようになります。

Zhang Xiaojun:

当時の Google も scaling law を追っていたのですか？ 彼らは第一原理の思考をどのように実践していたのでしょうか？

Yang Zhilin:

そのようなアイデアはたくさん存在していましたが、Google はそれを特にうまく実行できていたわけではありません。そうした考え方はあったものの、真の moonshot に組織化することはできませんでした。たとえば、ここに私の第一原理を追う5人がいて、あちらにも彼らの5人がいる、というような感じです。上からの強い指揮があるわけではありません。

Zhang Xiaojun:

博士課程の間に、Turing Award 受賞者の Yann LeCun や Yoshua Bengio と共同研究の論文を発表しています。しかも、その論文ではあなたが筆頭著者でした。それらの共同研究はどのように実現したのですか？ つまり、彼らは Turing laureate であり、あなたの指導教員でもないのに、どうやって彼らを巻き込んだのですか？

Yang Zhilin:

学術界はとてもオープンです。良いアイデアと意味のある問題があれば、それで十分です。2つの脳——あるいは n 個の脳——が生み出すものは、1つの脳よりたいてい多いのです。これは AGI を開発する際にも当てはまります。AI における重要な戦略のひとつに「ensembling」があります。つまり、複数のモデルや手法を使い、それらの予測を組み合わせて、より良い性能を得るというものです。本質的には同じことをしています。多様な視点が複数あるとき、新しいものを非常に多く引き出せるのです。協力は極めて大きな利益をもたらします。

Zhang Xiaojun:

まずアイデアを思いついてから、彼らに興味があるか聞く、という流れですか？

Yang Zhilin:

だいたいそんな感じです。

Zhang Xiaojun:

どちらが難しいですか：研究分野の学術的大御所を説得することですか、それとも資金調達で資本の大御所を説得することですか？ どんな共通点がありますか？

Yang Zhilin:

「説得」という言い方はあまりよくありません—その背後にある本質は協力です。協力とは双方が勝つことを意味します。相互利益こそが協力の前提だからです。なので、実際には違いはありません：あなたは他者に独自の価値をもたらす必要があるのです。

Zhang Xiaojun:

どうやって彼らの信頼を勝ち取るのですか？ 自分の持ち味は何だと思いますか？

Yang Zhilin:

特別な持ち味なんてありません—ただ一生懸命働くだけです。

第3部

旧来のシステムはもう機能しない

「AGIには新しい種類の組織が必要だ」

Zhang Xiaojun:

先ほど「より価値のあるブレークスルーは産業の中で起こる」と言っていましたが、それにはスタートアップや大手企業のAI研究所も含まれますか？

Yang Zhilin:

Labsは歴史のものです。Google Brainはかつて業界最大のAIラボでしたが、大企業の中にある研究組織でした。あの種の組織は新しいアイデアを発見することはできますが、優れたシステムを作るのは非常に難しいのです—Transformerは生み出せても、ChatGPTは生み出せません。

現在の発展の道筋が進化していくと、あなたは巨大なシステムを構築していることになり、それには新しいアルゴリズム、堅実なエンジニアリング、さらには製品化や商業化に関する膨大な作業まで必要になります。

それは2000年代初頭のようなものです。情報検索を研究室の中だけで研究することはできませんでした。それは現実世界に存在しなければならず、巨大なシステムとして、ユーザーのいる製品として—Googleのように—存在しなければならなかったのです。

したがって、研究機関や教育機関は、その役割を主に人材育成へと移していくことになります。

Zhang Xiaojun:

この新しいシステム形態をどう説明しますか？ OpenAIはその原型だと言えますか？

Yang Zhilin:

それは現時点で最も成熟したこの種の組織であり、なおも徐々に進化しています。

Zhang Xiaojun:

では、それは人類の偉大な科学的目標のために設立された組織だと理解してよいですか？

Yang Zhilin:

強調したいのは、これは純粋な科学ではないということです—科学、技術、ビジネスの組み合わせなのです。研究機関ではなく、商業的な組織、会社でなければなりません。しかしこの会社はzero to oneで構築されるのです。なぜならAGIには新しい種類の組織が必要だからです。第一に、生産方式がインターネット時代とは異なります。第二に、純粋な研究から、研究・技術・製品・ビジネスの組み合わせへと移行するからです。

その核心はmoonshotプログラムであるべきで、上から下への綿密な設計がたくさん必要です—しかしその枠組みの中には革新の余地も残ります。なぜなら、すべての技術があらかじめ定義されているわけではないからです。

下から上への要素は、上から下への枠組みの中に存在します。

このような組織はこれまで存在したことがありませんでしたが、その組織は技術に適応しなければなりません。技術が生産方式を決めるからです。もし両者が噛み合わなければ、効率的に生産することはできません。私たちは、それは最初から設計し直す必要がある可能性が非常に高いと考えています。

Zhang Xiaojun:

昨年のOpenAIの取締役会室でのクーデターの際、Sam Altmanにとっての選択肢の一つはMicrosoftに参加してMicrosoftの新しいAIチームを率いることでした。それとOpenAIのCEOになることとの本質的な違いは何ですか？

Yang Zhilin:

古い文化の中に新しい組織を育てなければならない—それは極めて難しいことです。

Zhang Xiaojun:

あなたは「中国のOpenAI」を作りたいのですか—そう言ってよいですか？

Yang Zhilin:

完全には正確ではありません。私たちは中国の何かでありたいわけではなく、OpenAIでありたいわけでも必ずしもありません。

第一に、真のAGIは間違いなくグローバルなものになります。少なくとも長期的には、市場保護の仕組みのせいで、あるAGI企業が特定の地域市場に限定されるということはありません。

グローバル化、AGI、そして巨大なユーザーベースを持つ製品：この3つは、最終的にはすべて必要条件です。

第二に、OpenAIであるべきか？ 2017–2018年を見れば、OpenAIの評判は非常に悪かったのです。私たちの周りで仕事を探していた人たちは、しばしばGoogleのような場所を検討していました。OpenAIのチーフサイエンティストであるIlya Sutskeverと話したことのある人の多くは、その後、この人は狂っていて過度に傲慢だと思ったものです—OpenAIは狂人か詐欺師の集まりだと。ですが彼らは非常に早い段階で信念を貫き、非同調的なものを見つけ出し、そして今AIで唯一機能している第一原理、つまり次のトークン予測によるscalingを見いだしたのです。

私は、OpenAIよりも大きな会社が現れると信じています。真に偉大な会社は、技術的な理想を素晴らしい製品と結びつけ、ユーザーと共創できるでしょう—AGIは最終的には、そのすべてのユーザーと一緒に働くことによって生み出されるものになるはずです。ですから、それは単なる技術の問題ではありません。それは実用性や現実世界での追求も必要とし—最終的にはその両者の完璧な融合なのです。

とはいえ、OpenAIのテクノロジー理想主義からは学ぶべきです。

もし誰もがあなたを普通だと思うなら—もしあなたの夢が誰にでも夢見られるようなものなら—それは人類の夢の総体に何の貢献もしません。

第4部

Moonshotの最初の一歩は「long context」だった—では次の一歩は何ですか？

「次の2つの大きなマイルストーンが迫っている」

Zhang Xiaojun:

会社を立ち上げると決めた時点に戻ると—中国に戻ってすぐに最初の資金調達ラウンドを始めたのですか？

Yang Zhilin:

それは2月（昨年）に米国で始まり、一部はリモートで進めました。最終的には、国内投資家が多数を占めました。

Zhang Xiaojun:

最初のラウンドで100 triệu USDを調達したんですよね？

Yang Zhilin:

最初のラウンドはそこまで多くありませんでした。後のラウンドはそれを上回りました。私たちは2023年に2回のラウンドを完了し、合計でほぼ2 tỷ RMBでした。

現在は第3ラウンドです。まだ正式に資金調達額を公表していないので、今はコメントできません。

Zhang Xiaojun:

2023年後半以降、基盤モデル企業に投資したい人はもういなくなったと言う人がいます。彼らは間違っていますか？

Yang Zhilin:

あります。確かに心理の変化は見て取れますが、投資する人が誰もいないわけではありません。少なくとも現時点では、市場にはかなりの投資関心があります。

Zhang Xiaojun:

資金と人材のほかに、2023年にあなたが下した他の重要な決定は何でしたか？

Yang Zhilin:

何をするかを決めることです。それが私たちのような会社の強みです。技術的な視野があるので、最上位レベルで意思決定ができます。

私たちは long context をやっています。それには将来についての判断が必要です。何が基盤で、その先すべてがどこへ向かうのかを知る必要があるからです。繰り返しますが、それは第一原理です。つまり “de-carving” のプロセスです。carving に集中してしまうと、OpenAI がやったことを見て、それを再現する方法を探すことしかできません。

Kimi における lossless long-text compression が、製品に独自の体験をもたらすことがわかるでしょう。英語の論文を読むとき、それを驚くほどよく理解する助けになります。今の Claude や GPT-4 を使っても、必ずしもそこまでうまくはできません。これには事前に土台を築いておく必要があります。私たちはそれに半年以上取り組んできました。これは、今日 long-context の流れを見て、慌てて2つのチームをまとめ、最大速度で開発することとは大きく違います。

もちろん、このマラソンはまだ始まったばかりです。今後さらに差別化が進みますし、そのためには「多数派とは違うが、なお正しい見解」と見なされるものを事前に見極める必要があります。

Zhang Xiaojun:

この決定は何月に下されたのですか？

Yang Zhilin:

2月か3月です。会社が設立された時点で、この決定はすでに固まっていました。

Zhang Xiaojun:

なぜ long context が moonshot の最初の一歩なのでしょうか？

Yang Zhilin:

それは基盤的だからです。新しいコンピュータにおけるメモリだからです。

旧来のコンピュータのメモリは、この数十年で何桁も増えてきましたし、新しいコンピュータでも同じことが起こります。それは今日の多くの問題を解決できます。たとえば、現在のマルチモーダル・アーキテクチャは依然として tokenizer を必要としますが、lossless に圧縮された長文コンテキストがあれば、それはもう不要です。生の入力を直接与えられます。さらに進めば、新しい計算モデルをより汎用的にするための基盤になります。

旧来のコンピュータはすべてを 0 と 1 で表現でき、あらゆるものをデジタル化できました。しかし今日の新しいコンピュータはまだそこまでできません。十分なコンテキストがないため、まだ十分に汎用的ではないのです。汎用的な world model になるには、長いコンテキストが必要です。

第二に、個人化を可能にします。AI の中核的価値は個人化されたインタラクションです。最終的な価値は個人化に帰着し、AGI は従来の推薦システム世代よりもさらに個人化されるでしょう。

ただし、個人化は fine-tuning では実現できません。非常に長いコンテキストを支えることで実現されます。機械とのあなたの全履歴がコンテキストであり、そのコンテキストが個人化のプロセスを決定します。それは複製できず、より直接的な対話、つまり情報を生み出す対話を生みます。

Zhang Xiaojun:

これをさらに拡張する余地はどれくらいありますか？

Yang Zhilin:

非常に大きいです。ひとつには、ウィンドウそのものを広げる余地がまだたくさんあります。何桁もです。

もうひとつは、ウィンドウを広げるだけでは不十分だということですし、数字だけを見てもいけません。いまのウィンドウが数百万 token なのか数十億 token なのか、それ自体には大きな意味はありません。そのウィンドウの中でどれだけの推論能力を発揮できるか、忠実度、つまり元の情報にどれだけ忠実か、そして指示に従う能力を見る必要があります。単一の指標を追いかけるべきではありません。指標と能力を組み合わせる必要があります。

この2つの軸がさらに改善されれば、非常に多くのことができます。数万語に及ぶ長い指示にも従えますし、その指示自体が多くの agents を定義できます。非常に個人化されています。

Zhang Xiaojun:

long context の背後にある技術と、GPT-4 を追いかけることは再利用できるのでしょうか？ それらは同じものですか？

Yang Zhilin:

そうは思いません。それは GPT-4 にはない新しい次元を追加するようなものです。

Zhang Xiaojun:

多くの人が、中国のトップ基盤モデル企業はどこも大まかには同じことをしていると言います。2023年は GPT-3.5 を追い、2024年は GPT-4 を追っている、と。あなたは同意しますか？

Yang Zhilin:

総合能力を高めるには、確かにいくつかの重要なマイルストーンがあります。ですから、その見方はある程度は正しいです。後発として、追いつく過程を必ず経験しなければなりません。ただ、それは一面的でもあります。総合能力のほかにも、特定の方向で特化能力を伸ばし、state-of-the-art を達成できる余地はたくさんあります。long context はその一例です。DALL-E 3 の画像生成能力は Midjourney V6 に完全に大きく引き離されています。したがって、両方の面で取り組む必要があります。

Zhang Xiaojun:

総合能力と新しい次元に割く時間とリソースの比率はどれくらいですか？

Yang Zhilin:

それらは組み合わせる必要があります。新しい次元は総合能力から切り離して存在できないので、直接的な比率を示すのはとても難しいです。ただし、新しい次元をしっかりやるためには、十分に大きな投資が必要です。

Zhang Xiaojun:

これらすべての新しい次元は Kimi が担うのでしょうか？

Yang Zhilin:

Kimi は私たちにとって確かに非常に重要な製品ですが、私たちは他にもいくつか試みを行う予定です。

Zhang Xiaojun:

Shixiang の創業者 Li Guangmi が、中国の基盤モデル企業の技術的な独自性はまだそれほど高くないと言っていたことについて、どう思いますか？

Yang Zhilin:

まあ、悪くないと思います。今のところ、私たちはかなり多くの差別化を生み出しています。主に時間の問題です。今年はさらに多くの方向性が見えてくるでしょう。去年は、皆まず足場を組んで、動くようにすることに集中していました。

Zhang Xiaojun:

moonshot の最初の一歩が long context なら、2番目の一歩は何ですか？

Yang Zhilin:

この先には2つの大きなマイルストーンがあります。第一に、真に統一された world model です。さまざまなモダリティを統合するモデルであり、真にスケーラブルで汎用的なアーキテクチャです。

第二に、人間からの入力データなしでも AI が進化し続けられるようにすることです。

Zhang Xiaojun:

この2つのマイルストーンに到達するにはどれくらいかかりますか？

Yang Zhilin:

2〜3年――もっと早いかもしれない。

Zhang Xiaojun:

それなら、3年後には、今とはまったく違う世界が見えるわけですね。

Yang Zhilin:

現在の発展速度なら、そうです。技術は今、芽吹きの段階にあり、非常に速く成長しています。

Zhang Xiaojun:

3年後に何があるか、イメージできますか？

Yang Zhilin:

ある程度のAGIが実現しているでしょう。今日私たちがしている多くのことを、AIもできるようになっているはずです――しかも私たちよりうまく。ですが、肝心なのはそれをどう使うかです。

Zhang Xiaojun:

では、あなたにとって――Moonshot AIという会社にとって――第2のステップは何ですか？

Yang Zhilin:

私たちはその2つをやります。残りの問題はすべて、この2つの要素に起因します。今日みんなが話している推論と agents は、この2つの問題を解くことの副産物です。もう少し調整は必要ですが、根本的な障壁はありません。

Zhang Xiaojun:

GPT-4に全力で追いつきに行くのですか？

Yang Zhilin:

GPT-4はAGIに至る道の上で必要な通過点です。重要なのは、GPT-4に並ぶだけで満足してはいけないということです。

まず、今本当にコンセンサスのないものは何かを問わなければなりません。GPT-4の次は何か？ GPT-5とGPT-6はどうあるべきか？ 次に、その中で自分にはどんな特有の能力があるのかを見るべきです――そしてそれがより重要です。

Zhang Xiaojun:

他の基盤モデル企業は、自社の能力やモデルのランキングを公表しています。あなたはまだそれをしていないようですが？

Yang Zhilin:

ランキングを追いかけてもあまり意味はありません。最良のランキングはユーザーです――ユーザーに投票してもらうべきです。多くのランキングには問題があります。

Zhang Xiaojun:

中国で最初にGPT-4に到達する基盤モデル企業になることが、あなたの目標ですか？ 早いか遅いかは違いを生みますか？

Yang Zhilin:

もちろんです。十分に長い時間軸で見れば、いずれ誰もが到達します。ですが問題は、どれだけ先行するか、あるいは遅れるかです。6か月以上の差には意味があります――そして、その時間で何ができるかにも左右されます。

Zhang Xiaojun:

いつGPT-4に到達する見込みですか？

Yang Zhilin:

おそらくかなり早いですが、具体的な時期を公表することはできません。

Zhang Xiaojun:

あなたたちが最速になるのですか？

Yang Zhilin:

それは柔軟に評価すべきですが――私たちには本当にチャンスがあります。

Zhang Xiaojun:

Kimiをリリースした後、あなたのNorth Star指標は何ですか？

Yang Zhilin:

今は、製品をより良くし、より多くの次元を追加することです。たとえば、検索という1つのシナリオだけで死闘を繰り広げるべきではありません――将来的には検索はこの製品の価値のごく一部にすぎなくなり、製品はもっと大きな成長を持つべきです。

従来の検索ツールより10%か20%良いだけでは大したことはありません――本当に破壊的なものだけが、3文字の "AGI" にふさわしいのです。

あなたの独自価値は、あなたの知能の増分です。この点はしっかり守らなければなりません。知能こそが常に中核的な付加価値です。もし製品のコア価値の10%–20%しかAI由来でないなら、それは成り立ちません。

第5部

商用化についてはまったく心配していない

「ユーザー規模とモデル規模は同時に進む必要がある」

Zhang Xiaojun:

2023年半ばは非常に大きな転換点でした――市場は熱狂から急速に冷めました。あなたはそれをどう見ていますか？

Yang Zhilin:

その表現には完全には同意しません――私たちは年後半にも資金調達ラウンドを完了しましたし、新しいものも引き続き現れています。現在のモデル能力は、昨年末には想像もできなかったものです。ますます多くのAI企業で、ユーザー数と売上は伸び続けています。それは絶えず自らの価値を証明しています。

Zhang Xiaojun:

あなたにとって、年の前半と後半で何が違いましたか？

Yang Zhilin:

あまり変化はありません。もちろん変数はありますが、結局は第一原理に立ち返ります――どうすればユーザーに良い製品を届けられるか、です。最終的には、私たちは競争に勝つのではなく、ユーザーのニーズに応えなければなりません。

私たちは競争のために作られた会社ではありません。

Zhang Xiaojun:

この業界では、2023年の前半と後半の顕著な違いは重点の移行だと考えられています。前半はよりAGI寄りで、後半はアプリケーションをいかに実用化し、商用化するかへ移った、と。あなたもその移行を行いましたか？

Yang Zhilin:

もちろん私はAGIをやります――それが今後10年で唯一意味のあることだからです。でも、それは私たちがアプリケーションを作らないという意味ではありません。むしろ、それは「アプリケーション」と定義すべきではありません。

「アプリケーション」というと、すでに技術があって、それを使う場所を探し、商業的なループが閉じているように聞こえます。でも「アプリケーション」は正確な言葉ではありません。それとAGIは相互補完的です。それはAGIに到達するための手段であり、同時に到達すること自体の目的でもあります。

「アプリケーション」はむしろ目的のように聞こえます。私はそれを役立つものにしたいのだ、と。東洋と西洋の哲学を組み合わせなければなりません――お金を稼がなければならず、理想も持たなければなりません。

今日、ユーザーは私たちが考えもしなかったシナリオを見つけるのを手伝ってくれます。履歴書のふるい分けに使う人もいます――製品設計のときには私たちがまったく想定していなかった使い方ですが、自然に機能しています。逆に、ユーザーからの入力がモデルをより良くします。なぜ Midjourney はあれほど優れているのでしょうか？ それはユーザー側で拡大してきたからです――ユーザー規模とモデル規模は同時に進まなければなりません。逆に、アプリケーションだけに集中してモデル能力の反復改善をおろそかにし――AGIを無視すれば――あなたの貢献は非常に限定的になります。

Zhang Xiaojun:

GSR VenturesのジェネラルパートナーであるZhu Xiaohuは、基盤モデルのアプリケーションにしか投資しない。彼の見解の一つはこうだ。最も難しい核心課題はAIGCのPMFだ——10人でPMFを見つけられないなら、100人いても同じことだ。それは人員数やコストとは何の関係もないのだから、そこに金を燃やすな、ということだ。彼はこう言う、「LLaMAの上で2〜3か月学習すれば、少なくともトップ30人の水準には到達できる——人を即座に置き換えられる」と。あなたはこの見解をどう思いますか？

Yang Zhilin:

AIは、1年や2年のうちに私がどんなPMFを見つけられるかという話ではない。10年から20年先に、いかに世界を変えるかという話だ。これは二つの異なる思考様式です。

私たちは徹底した長期主義者です。AGI、あるいはそれ以上のものが実現すれば、今日のすべては書き換えられる。PMFは確かに重要ですが、PMFを急いで探そうとすると、もう一つの「次元削減攻撃」を受ける可能性が高い——より高い次元の技術に押しつぶされるのです。それは何度も起きてきました。過去には、多くの人がカスタマーサービスや対話システム、スロットフィリングのシステムを作り、そこそこ大きい会社もありました。しかし、すべてがより高い次元からの一撃で一掃されました。とても痛烈です。

それが一度も機能しなかったと言っているわけではありません。たとえば、今日あなたが現行技術で十分なシナリオを見つけたとします。そこで0-to-1の付加価値が非常に大きく、1-to-nの空間がそれほど大きくない——そういうシナリオなら大丈夫です。Midjourneyはそうですし、広告コンテンツ生成もそうです——0-to-1の効果が非常にはっきりした比較的単純なタスクです。そこがアプリ専業側のチャンスです。しかし最大のチャンスはそこにはありません。商用化を前提にするなら、AGIと切り離して考えることはできません。もし今私がアプリだけを作るとしても——それはよいですが、1年以内に押しつぶされるかもしれません。

Zhang Xiaojun:

でも、下で基盤モデルをこっそりアップグレードすることはできるのでは？

Yang Zhilin:

しかし、そのやり方がモデル自体を上回ることは決してありません。テクノロジーこそがこの時代の唯一の新しい変数であり、他の変数は変わりません。第一原理に立ち返れば、AGIがすべての核心です。そこから私たちは、スーパーアプリには間違いなく最強の技術力が必要だと導き出します。

Zhang Xiaojun:

オープンソースのモデルを使うことはできないのでしょうか？（最新ニュースでは、GoogleがオープンソースモデルGemmaを発表しました。）

Yang Zhilin:

オープンソースはクローズドソースに遅れを取っている——それもまた事実です。

Zhang Xiaojun:

その遅れは、一時的なものかもしれませんか？

Yang Zhilin:

少なくとも現時点では、そうは見えません。

Zhang Xiaojun:

なぜオープンソースはクローズドソースに追いつけないのでしょうか？

Yang Zhilin:

現在のオープンソースの開発方法が以前とは違うからです。以前は誰もがオープンソースに貢献できましたが、今のオープンソース自体はまだ集中的です。

オープンソースへの多くの貢献は、たぶん計算資源による検証を経ていません。クローズドソースは人材と資本の集中から利益を得るので、最終的にはクローズドソースの方が必ず良くなります——それは集中化のプロセスです。

もし今日私がリードしているモデルを持っているなら、それをオープンソースにするのは非常に非合理的かもしれません。たぶん、そうするのは後れを取っている側だけでしょうし、あるいは小さなモデルをオープンソース化して市場を活性化させるだけです。結局のところ、オープンソースにしないなら、それ自体に価値はほとんどありません。

Zhang Xiaojun:

中国での焦りにどう対処しますか？ みな、基盤モデル企業が早く商用シーンや投資家の期待に応える製品を出せなければ、次のラウンドを調達しにくいと言っています。

Yang Zhilin:

長期と短期のバランスが必要です。

ユーザーが全くいなくて収益もゼロでは、もちろんだめです。

ご存じのように、GPT-3.5からGPT-4への移行で多くのアプリケーションが解放されました。GPT-4からGPT-4.5、そしてGPT-5へと進むにつれて、さらに多く、しかも指数関数的に解放される可能性が高いです。いわゆる「シナリオのムーアの法則」とは、利用可能なシナリオの数が時間とともに指数関数的に増えるという意味です。私たちはモデル能力を向上させると同時に、さらにシナリオを探す必要があります——そういうバランスです。

それは一つのスパイラルです。あなたの投資のうち、短期にどれだけ、長期にどれだけ割くかにかかっています。生き残れることを条件に、長期を追求するのです。長期は絶対に無視できません。さもなければ、時代そのものを逃してしまいます。今この時点で結論を出すのは、本当にまだ早すぎます。

Zhang Xiaojun:

Meituanの共同創業者でありLight Yearの創業者でもあるWang Huiwenが提唱した「二輪駆動」の考え方に賛成しますか？

Yang Zhilin:

良い質問です。ある程度、そのロジックには理があります。しかし、実際にどう実行するかで大きな違いが生まれます。あなたは本当に、非コンセンサスで期待値のある賭けを実行できるのでしょうか？

Zhang Xiaojun:

私の理解では、彼らの二輪駆動も、新しいアプリケーションシナリオを早急に見つける必要があるはずです。そうでなければ、技術を着地させる方法がありません。

Yang Zhilin:

結局のところ、モデルのスケールアップとユーザーのスケールアップの違いです。

Zhang Xiaojun:

中国で、あなた以外にモデルのスケールアップ路線を取っている人はいますか？

Yang Zhilin:

それは私が評価できることではありません。

Zhang Xiaojun:

たぶん大多数はユーザーのスケールアップ路線ですよね。あるいは、別の言い方をすれば、これはアカデミック側と商用化側の違いなのでしょうか？

Yang Zhilin:

私たちはアカデミック側ではありません。アカデミック側は確かに効率が悪いです。

Zhang Xiaojun:

多くの基盤モデル企業はB2Bを通じて商用化しています——結局、B2Bの方が確実性が高いからです。では、あなた方はどうですか？

Yang Zhilin:

私たちは違います。初日から、B2Cを進むと決めていました。

それは、あなたが何を望むかによります。自分が望んでいないものだと分かっていれば、FOMOにはなりません——たとえそれを手に入れても、あまり意味がないからです。

Zhang Xiaojun:

この1年で、心配はありましたか？

Yang Zhilin:

興奮や高揚感のほうが大きかったです。というのも、私はこのことをずっと前から考えていたからです。たぶん私たちは、月の裏側を探りたいと最も早く考えた人たちの一人でしょう。今日になると、自分が本当にロケットを作っているのだと実感し、毎日、このロケットをもっと速く走らせるにはどんな燃料を加えるべきか、そしてどうすれば爆発しないかを議論しているわけです。

Zhang Xiaojun:

要するに、これまでに行った「反コンセンサスで優位性のある賭け」――B2C と long context 以外には、ほかに何かありますか？

Yang Zhilin:

まだいろいろ進行中です。近いうちに皆さんに共有できることを期待しています。

Zhang Xiaojun:

中国の前世代の起業家たちは、アプリケーションとシナリオで成功を経験してきたので、製品、ユーザー、データフライホイールにより重点を置いていました。あなたが代表する新しい AI 起業家世代は、新しい未来を切り開けるのでしょうか？

Yang Zhilin:

私たちもユーザーを非常に重視しています。ユーザーは私たちの最終的な目標ですが、それは同時に共同創造のプロセスでもあります。

最大の違いは、今回はよりテクノロジー主導になるということです。

やはり馬車と自動車の比喩です。私たちは馬車から自動車へ移る飛躍の途上にいて、ユーザーにどうやって自動車を届けるかに最大限集中すべきなのです。

Zhang Xiaojun:

孤独だと感じますか？

Yang Zhilin:

ははは……なかなか面白い質問ですね。私は大丈夫だと思います。というのも、まだ数十人――ほぼ100人近く――の仲間が私のそばで一緒に戦っているからです。

パート6

私たちがGPT-4に追いつく前に、Soraが登場した

「今は動画生成にとってGPT-3.5の時期のようだ」

Zhang Xiaojun:

Sora は今年突然登場しましたが、これはどの程度予想していたことで、どの程度予想外でしたか？

Yang Zhilin:

生成AIがこのような効果を達成しうること自体は予想の範囲内でした。予想外だったのはタイミングで、私たちが見積もっていたより早く来たことです。

それはまた、AI が今どれほど速く発展しているかを示しています。スケール化から得られる利益の多くは、まだ十分に刈り取られていないのです。

Zhang Xiaojun:

昨年、業界では、2024年の基盤モデルは間違いなくマルチモーダルの物語で激しく競争し、動画生成の品質は2023年の text-to-image のように急速に向上すると見られていました。Sora の技術力は、あなたの期待を上回りましたか、満たしましたか、それとも下回りましたか？

Yang Zhilin:

これまで非常に難しかった多くの問題を解決しました。たとえば、比較的長い時間にわたって生成過程の一貫性を維持すること――これは核心的なポイントであり、非常に大きな改善です。

Zhang Xiaojun:

それはグローバルな業界構図にとって何を意味するのでしょうか？2024年、基盤モデルにはどのような新しい物語が現れるでしょうか？

Yang Zhilin:

第一に、短期的な応用価値です。生産プロセスの効率をさらに高めることができるでしょうし、もちろん、既存の能力の上に構築されるさらなる拡張も期待しています。第二に、他の手段との組み合わせです。それ自体が世界モデルなので、その知識を踏まえると、既存のテキストに対する非常に良い補完になります。その上で、agent においても、あるいは物理世界との接続においても、かなり多くの余地と機会があります。

Zhang Xiaojun:

全体として、Sora をどう評価しますか？

Yang Zhilin:

私たちも同様の方向性を計画したことがあり、しばらくその上で作業していました。方向性としてはそれほど驚くものではなく、主に技術的な細部の問題です。

Zhang Xiaojun:

どの技術的細部が学ぶ価値がありますか？

Yang Zhilin:

OpenAI もその多くを十分には説明していません。大きな輪郭だけを示していて、重要な細部については、出力から推測するか、利用可能な情報と私たちのこれまでの実験を組み合わせて読み解くしかありません。少なくとも私たちにとっては、開発プロセスに新しいデータポイントを与えてくれます――データ入力が増えるのです。

Zhang Xiaojun:

テキスト生成と比べて、動画生成の主なボトルネックは何ですか？今回、OpenAI はどのような解決策を見つけたと見ていますか？

Yang Zhilin:

最大のボトルネック――核心はやはりデータです。大規模なデータとどう整合させるか。それはこれまで検証されていませんでした。特に、動きが複雑で、生成結果が写真のようにリアルな場合はなおさらです。

その条件下でスケールを拡大できること――それが今回解決されたことです。

まだ解決されていないものとしては、たとえば統一的なアーキテクチャへの需要があります。DiT はまだ十分に汎用的なアーキテクチャではありません。

純粋に視覚信号の周辺確率をモデル化することは非常にうまくできますが、それをどうやって汎用的な新しいコンピュータへと一般化するのか。より統一されたアーキテクチャがまだ必要で、そこにはまだ余地があります。

Zhang Xiaojun:

OpenAI の Sora レポート、“Video generation models as world simulators” は読みましたか？その中で特に強調すべき点は何でしょうか？

Yang Zhilin:

読みました。現在の競争状況を踏まえると、彼らが最も重要な点を書くことはまずないでしょう。それでも学ぶ価値は非常にあります。基本的には、これはすでに支払い済みの内容です――本来なら、多くの実験費用を払って学ぶしかなかったものです。今は実験にお金を払わずに、その一部を知り、初歩的な理解を形作ることができます。

Zhang Xiaojun:

そこから、どのような重要なシグナルを読み取りましたか？

Yang Zhilin:

この種のものはある程度スケールできる、ということです。それに、アーキテクチャがどのように構築されているかについても、かなり具体的な説明が示されています。ただし、異なるアーキテクチャ間で、この問題に本質的な違いを生み出さない可能性もあります。

Zhang Xiaojun:

彼らの「動画生成モデルのスケーリングは、物理世界の汎用シミュレータを構築するための有望な方向である」という一文に同意しますか？

Yang Zhilin:

完全に同意します。これら2つは同じ目的関数を最適化している――そこにはほとんど疑いの余地がありません。

Zhang Xiaojun:

Yann LeCun が再び生成AIに反対の声を上げたことについて、どう思いますか？ 彼の見解はこうです。「ピクセルを生成することで世界をモデル化するのは無駄であり、必ず失敗する。生成は本来、テキストに対しては機能する。なぜならテキストは離散的で、記号の数も有限だからだ。その場合、予測における不確実性の処理は容易だが、多次元の連続的な感覚入力における予測の不確実性を扱うのは解決不能だ。」

Yang Zhilin: 今では、動画の周辺確率をモデル化することは本質的に損失のない圧縮だと考えています。言語モデルにおける次トークン予測と本質的な違いはありません。十分にうまく圧縮できれば、この世界において説明可能なものは何でも説明できるはずです。

ただし、まだ重要な未完了課題があります。それが、すでに圧縮された能力とどう結びつくのか、という点です。これを2種類の圧縮として見ることができます。ひとつは、粗い元の世界を圧縮することです。これは動画モデルが行っていることです。もうひとつは、人間が生み出す行動を圧縮することです。なぜなら、人間の行動は人間の脳を通ってきたものであり、世界で知能を生み出す唯一のものだからです。

動画モデルは前者を、テキストモデルは後者を担っていると見ることができます。ただし動画モデルにも後者の要素が含まれています。人間が作った一部の動画には、その制作者の知能が宿っているからです。最終的には、おそらく混合になるでしょう。両方のアプローチを通じて多面的に学ぶ必要があり、どちらも知能の成長に寄与します。

したがって、生成はおそらく目的ではありません。それは単なる圧縮関数です。十分にうまく圧縮できれば、最終的に生成も非常に良くなります。逆に、あるモデルがそもそも生成できないなら、極めてうまく圧縮することはできるのでしょうか？ それは疑わしいです。非常に良い生成が、非常に良い圧縮の必要条件である可能性があります。

Zhang Xiaojun:

昨年の Sora と ChatGPT は2つの異なるマイルストーンでした。どちらのほうが大きいですか？

Yang Zhilin:

どちらも非常に重要です。

今の状況は、動画生成にとっての GPT-3.5 の時期にかなり似ています。ひとつの段階的な飛躍です。

モデルはまだ比較的小さく、さらに大きなモデルが登場することは見えており、それは能力向上が確実であることを意味します。

Zhang Xiaojun:

マルチモーダルという観点では、Google Gemini のブレークスルーのほうがさらに重要だという人もいます。

Yang Zhilin:

Gemini は GPT-4V の方向性に沿っており、その理解も含んでいます。どちらも重要です。最後の段階は、これらすべてをひとつのモデルに統合することですが、それはまだ解決されていません。

Zhang Xiaojun:

なぜそれらをひとつのモデルに統合するのはそんなに難しいのでしょうか？

Yang Zhilin:

現時点では、誰もその方法を知りません。まだ検証済みのアーキテクチャはありません。

Zhang Xiaojun:

Sora + GPT は何を生み出しますか？

Yang Zhilin:

Sora はすぐに動画制作に応用できますが、言語モデルと組み合わせれば、デジタル世界と物理世界をつなぐことができます。また、より end-to-end にタスクを完了することもできます。なぜなら、今やあなたの世界モデルは以前より良くなっているからです。マルチモーダル入力の理解能力を高めるためにも使えるでしょう。したがって最終的には、さまざまなモダリティ間をかなり柔軟に行き来できるようになります。

要するに、世界をよりよく理解できるようになり、デジタル世界ではより多くの end-to-end タスクを実行でき、さらには物理世界への橋を架けて、そこでタスクを完了することさえできます。これが出発点です。

たとえば自動運転や、いくつかの家事などです。理論上、それらはすべて物理世界と接続するケースです。したがって、デジタル世界でのブレークスルーは確実ですが、それは同時に物理世界へ進む道となる可能性も秘めています。

Zhang Xiaojun:

Sora は中国の基盤モデル企業にとって何を意味しますか？ どう対応するのが正しいのでしょうか？

Yang Zhilin:

それほど変わりません。もともとずっと、これは確実な方向性でした。

Zhang Xiaojun:

中国の基盤モデルはまだ GPT-4 に追いついていませんし、今や Sora も登場しました。どう考えますか？ 2つの世界はますます離れているように見えますが、心配していますか？

Yang Zhilin:

それは単に客観的な事実です。しかし実際のギャップは、おそらく徐々に縮まっていくでしょう。それが技術発展の法則です。

Zhang Xiaojun:

どういう意味ですか？ 技術曲線は最初は急で、その後だんだん平坦になるということですか？

Yang Zhilin:

その通りです。私もあまり驚いていません。OpenAI はずっと次世代モデルを開発してきましたから。客観的に見て、その差はしばらく残るでしょうし、中国の各社間の差も当面は残るでしょう。これは技術が爆発的に伸びる時期だからです。

しかしあと2〜3年もすれば、中国のトップ企業は、おそらくここでの基盤的な仕事をよりうまくこなせるようになるはずです。技術インフラ、人材蓄積、組織文化の沈殿を含めてです。そのような磨き込みを経れば、いくつかの側面で先行できる可能性は高まります。ただし、少しの忍耐が必要です。

Zhang Xiaojun:

中国と米国は、最終的にまったく異なる AI 技術エコシステムを形成する可能性がありますか？

Yang Zhilin:

製品と商用化の観点から見れば、エコシステムは異なるかもしれません。しかし技術の観点では、汎用能力がまったく異なる技術経路をたどることはありません。基本的な汎用能力は確実に似たものになります。AGI の空間は広大なので、汎用能力を土台にした差別化のほうが起こりやすいでしょう。

Zhang Xiaojun:

シリコンバレーでは長い議論があります。「ひとつのモデルがすべてを支配する」のか、それとも「複数の専用モデル」なのか。つまり、あらゆるタスクに対応する汎用モデルなのか、特定タスク向けの小さな専用モデルを多数持つのか、ということです。あなたの考えは？

Yang Zhilin:

私は前者の立場です。

Zhang Xiaojun:

この点について、中国と米国は大きく分かれるのでしょうか？

Yang Zhilin:

長期的には、そうは思いません。

第7部

失敗もあり得ると受け入れる

「それは私の人生を変えた」

Zhang Xiaojun:

中国の基盤モデル系スタートアップはかなり特殊な生き物です。あなたは莫大な資金を調達しましたが、その大半はどうやら科学実験に使われているように見えます。そうした状況で、どうやって投資家に財布の紐を緩めてもらうのですか？

Yang Zhilin:

米国と変わりません。

これまでに調達した資金も、まだそれほど多くはありません。

ですから、私たちはまだOpenAIから学ぶべきことがたくさんあります。

Zhang Xiaojun:

知りたいのは、GPT-4に到達するにはあといくら必要なのか、Soraに到達するにはいくら必要なのか、ということです。

Yang Zhilin:

GPT-4もSoraも、それほど多くは必要ありません。今の資金の主な用途は、次世代—あるいはその次の世代—のモデルのため、フロンティアの探求のためです。

Zhang Xiaojun:

中国の基盤モデル系スタートアップは大手企業から資金を受けていますが、大手企業自身も自社でモデルを訓練しています。基盤モデル系スタートアップと大手企業の関係をどう見ていますか？

Yang Zhilin:

競争でもあり、協力でもあります。大手企業とスタートアップでは、最優先事項が異なります。今日のどんな大手テック企業を見ても、彼らの最優先事項はAGI企業の最優先事項とは違います。最優先事項は行動と成果を形づくり、最終的にはエコシステム内のさまざまな関係性を決定します。

Zhang Xiaojun:

なぜ大手企業は、一社に強く賭けるのではなく、多くの基盤モデル企業に少額ずつ投資するのでしょうか？

Yang Zhilin:

それは段階の問題です。

将来的には、さらに統合が進み—会社の数はもっと少なくなるでしょう。

Zhang Xiaojun:

基盤モデル企業の行き着く先は大手企業による買収だと言う人もいます。あなたは同意しますか？

Yang Zhilin:

必ずしもそうとは思いません。ですが、非常に深いパートナーシップを築く可能性は高いです。

Zhang Xiaojun:

たとえば、どのように協力し得るのでしょうか？

Yang Zhilin:

OpenAIとMicrosoftは、協業の典型的なモデルです。多くは参考にでき、一部は改善できます。

Zhang Xiaojun:

この1年で、起業の曲がり角はどこに現れましたか？

Yang Zhilin:

外部変数は非常に多いです—資金、人材、GPU、製品、R&D、技術。目立った局面もあれば、乗り越えるべき困難もあります。GPUを例に挙げましょう。

上下動は何度もありました。供給がしばらく逼迫し、その後改善したりしました。

最も極端だった時期は、価格が日々変わることでした—あるマシンが今日は260で、翌日は340、さらに2日後にはまた下がる、といった具合です。常に変動する状況でした。常に追いかける必要がありました。

価格が絶えず変わるので、戦略も絶えず変わります。どのチャネルを使うか、買うのか借りるのか—選択肢は非常に多いです。

Zhang Xiaojun:

この変動を促した要因は何ですか？

Yang Zhilin:

地政学的な理由、生産自体がロットごとに行われること、そして市場心理も関係しています。私たちは、多くの企業がGPUを返却し始めたのを見ました。必ずしもこのモデルの訓練にそれらを使う必要はないと気づいたからです。市場心理や人々の判断が変われば、需給もそれに応じて変わります。良いニュースは、全体として最近は供給がかなり改善していることです。

私の個人的な評価では、少なくとも今後1〜2年は、GPUは大きなボトルネックにはならないでしょう。

Zhang Xiaojun:

あなたは常に組織について考えているように見えます。チームはどのように作ったのですか？

Yang Zhilin:

私たちの採用方法は、時間とともに変わってきました。世界中でAGI人材は極めて希少で、関連経験を持つ人はなおさら少ないです。初期の採用方針は、直接関連するスキルを持つ天才を探すことに集中していました。それは非常に成功したと証明されています。モデルを「手術」した経験があり、超大型モデルの訓練を実戦で経験した人は、何でも非常に速くこなせます。Kimiのリリースも含めて、資本効率と組織効率は本当に高かったです。

Zhang Xiaojun:

いくらかかりましたか？

Yang Zhilin:

かなり少額です—他の多くの支出と比べると、少ないお金で大きな仕事をしたということです。長い間、私たちは30〜40人しかいませんでした。今は80人です。私たちは人材密度を追求しています。

その後、人材構成は変わりました。初期には、私たちは天才を採用し、彼らの能力の上限は非常に高いと信じていました—会社の能力の上限は、その中の人間の能力の上限によって決まるからです。その後、より多面的な人材をチームに加えました。プロダクト・オペレーション側の人材、リーダータイプの人材、物事を極限まで押し上げられる人材です。今では、より完成度が高く、持久力があり、戦えるチームになっています。

Zhang Xiaojun:

中国で基盤モデルの起業をして1年、今のマイルストーンの結果をどう評価しますか？

Yang Zhilin:

私たちはロケットの試作品を作り、今まさに試射しているところです。チームを集め、いくつかの燃料配合を見つけ、基本的には初期のPMFも見えてきました。月面ミッションの第一歩を踏み出したと言えるでしょう。

Zhang Xiaojun:

Yann LeCunの見解をどう思いますか？彼は現在の技術路線に楽観的ではありません—自己教師あり言語モデルは世界についての真の知識を獲得できず、モデルが大きくなるほど誤りの確率—機械の幻覚—はむしろ増えると考えています。彼は「world model」というアイデアを提唱しています。

Yang Zhilin:

根本的なボトルネックはありません。トークン空間が十分に大きくなれば、一般的な問題を解くための新しい種類のコンピュータになります—それが一般的なworld modelです。

彼の発言の背後にある重要な点は、人は誰でも現在の限界を見て取れるということです。しかし、解決策に必ずしもまったく新しい枠組みは必要ありません。AIで機能する唯一のものは、次のトークン予測とscaling lawです。トークンが十分に完全である限り、あらゆることが可能です。もちろん、彼が指摘する問題が今実際に存在するのは確かです—しかし、それらはトークン空間を真に一般的なものにすることで解決します。それだけです。

Zhang Xiaojun:

では、彼は限界を誇張しているのですね。

Yang Zhilin:

そう思います。基本原理は正しいです。ただ、まだ解決されていない細かな技術的問題がいくつか残っています。

Zhang Xiaojun:

deep learningのゴッドファーザーであるGeoffrey Hintonが、AIの安全性に継続的に注意を促していることをどう思いますか？

Yang Zhilin:

彼が安全性に注目しているということは、実は近い将来に技術能力が大きく向上することを強く信じている、ということでもあります。この二つは対立するものです。

Zhang Xiaojun:

幻覚の問題はどう解決すればいいのでしょうか？

Yang Zhilin:

やはりscaling lawです。ただし、スケールアップされるものが別のものになる、というだけです。

Zhang Xiaojun:

最終的に、scaling lawが行き止まりだという可能性はどれくらいありますか？

Yang Zhilin:

確率はほぼゼロです。

Zhang Xiaojun:

元CMUの卒業生であるQi Luの見解、つまりOpenAIはGoogleより確実に大きくなる——ただし1倍、5倍、それとも10倍なのか？についてはどう思いますか？

Yang Zhilin:

将来最も成功するAGI企業は、間違いなく今日のあらゆる企業よりも大きくなるでしょう——それは疑いようがありません。

最終的には、GDPの2倍か3倍規模の話になるかもしれません。OpenAIである必要はなく、別の会社かもしれません。しかし、そういう会社は必ず現れます。

Zhang Xiaojun:

もしあなたがたまたまこのAI帝国のCEOになったら、人類を守るために何をしますか？

Yang Zhilin:

今その প্রশ্নを考えるには、まだいくつか前提条件が足りません。ただ、私たちは社会のさまざまな主体と協力し、そこから学ぶ準備は十分にできています。モデルの中にさらに多くの安全対策を組み込むことも含まれます。

Zhang Xiaojun:

2024年の目標は何ですか？

Yang Zhilin:

第一に、技術的ブレークスルーです。今なら、2023年よりはるかに優れたモデルを作れるはずです。第二に、ユーザーと製品です。より大規模なユーザー数と、より強い継続率を期待しています。

Zhang Xiaojun:

2024年の世界の基盤モデル業界について、あなたの予測は何ですか？

Yang Zhilin:

今年はより多くの能力が出てきますが、全体の構図は今とそれほど変わらないでしょう——上位の数社は引き続き上位にいます。能力面では、後半にかなり大きなブレークスルーがいくつか起こるかもしれません。OpenAIから多くのブレークスルーが出てくるでしょう。次世代モデルを確実に持っているはずです——4.5かもしれないし、5かもしれません。それは起こる可能性が高い出来事のように感じます。動画生成モデルも、引き続き拡大していけるはずです。

Zhang Xiaojun:

では、2024年の中国の基盤モデル業界についてはどう予測しますか？

Yang Zhilin:

第一に、新しい、差別化された能力が現れるでしょう。中国のモデルは、より早い投資と適切なチームのおかげで、いくつかの次元では世界トップレベルの能力を達成するはずです。第二に、はるかに大きなユーザー基盤を持つ製品が出てくるでしょう——その可能性は非常に高いです。第三に、路線選択の面で、さらに統合と分化が進むでしょう。

Zhang Xiaojun:

この会社を起業したとき、あなたが最も恐れていたことは何ですか？

Yang Zhilin:

実際にはあまりありませんでした——ただ恐れずに前へ突き進むだけです。

Zhang Xiaojun:

同僚たちに何か伝えたいことはありますか？

Yang Zhilin:

一緒に努力し続けましょう。

Zhang Xiaojun:

まだ答えを知らないけれど、いちばん知りたい基盤モデル業界に関する質問を一つ挙げてください。

Yang Zhilin:

AGIの限界がどう見えるのかは分かりません——それはどんな種類の会社を生み出し、その会社はどんな製品を生み出すのか。今いちばん知りたいのはその点です。

Zhang Xiaojun:

AGIがこのまま進化し続ける中で、あなたが最も見たくないものは何ですか？

Yang Zhilin:

私はその点についてかなり楽観的です。それは人類文明を次の段階へ押し上げるかもしれません。

Zhang Xiaojun:

あなたは理想主義的すぎると言われたことはありますか？

Yang Zhilin:

私たちはかなり現実的でもあります。実際、すでにいくつか本当に成果を出しています——口だけではありません。

Zhang Xiaojun:

今日調達した資金が、あなたがこれまでに持つ最後のお金だとしたら、どう使いますか？

Yang Zhilin:

それが決して起きないことを願っています。なぜなら、将来私たちはさらに多くの資金を必要とするからです。

Zhang Xiaojun:

もし成功しなかったら、自分を失敗者だと思いますか？

Yang Zhilin:

それもそれほど重要ではありません——失敗もあり得ることだと受け入れています。

この旅は私の人生を完全に変えました。本当に感謝しています。

(終了)