Kimi創業者・楊植麟との対話：連なり続く未知の雪山へ進む
月之暗面の創業者・楊植麟が、AGI、Scaling Law、Kimi、商業化、Sora、そして汎用人工知能に新しい組織が必要な理由について語る。
編者注：本稿は、張小珺が 2024 年 3 月 1 日に公開した楊植麟インタビューの英訳であり、翻訳は Kimi K3 により生成され、著者によって 2026 年 7 月に X 上で再公開された。本文は英語版を保持する。
これは、私が楊植麟に行った最初のインタビューでした。2024 年初頭に実施され、Kimi 創業ちょうど 1 周年にあたる 2024 年 3 月 1 日に公開されました。当時、Kimi の社員はわずか 80 人で、最初の、やや古びたオフィスで働いていました。入口にロゴはなく、ドアのそばに白いピアノが一台、門番のように立っているだけでした。
この記事は当時、中国のテックコミュニティでかなりの反響を呼びました。
当時の私はまだ紙媒体の記者だったので、このインタビューはテキストと音声ポッドキャストとしてしか残っていません。
ご覧のとおり、この記事で述べられた多くの見解は、その後現実のものとなりました。
2 年前に書いたこの言葉を読み返すだけでも、世界がどれほど劇的に変わったか、思わず感嘆せずにはいられません。
（この翻訳は Kimi K3 により生成されました。）
楊植麟：「もし皆があなたを普通だと思うなら、——もしあなたの夢が誰にでも持てるような夢なら、それは人類の夢の総量に何も加えない。」
張小珺
ちょうど 1 年前、AI 科学者の楊植麟はシリコンバレーで緻密な計算を行っていた。彼は、AGI を目指す基盤モデルのスタートアップを立ち上げると決めたなら、向こう数か月で 1 億ドル超を調達しなければならないと悟ったのだ。
しかし、それは単にゲームに参加するための切符にすぎなかった。1 年後、その金額は 13 倍に膨れ上がっていた。
基盤モデル企業にとって、競争は科学競争というより、何よりもまず資金をめぐる苛烈な競争だ。投資家が財布の紐を固く締めるなか、より多くの資金を集め、より多くの GPU を買い、より多くの人材を確保するために、競合に先んじなければならない。
「そこには、才能の集中と資本の集中が必要です」と、2023 年 3 月 1 日に設立された基盤モデル企業 Moonshot AI の創業者兼 CEO である楊植麟は語る。
この 1 年、中国の基盤モデル企業は、張り詰めた、窮屈な生存の縁で暮らしてきたように見える。表面上は、どの企業も巨額の現金を抱えている。しかし一方で、彼らは調達したばかりの資金を即座に、OpenAI を追いかけるための極めて高コストな研究に注ぎ込まなければならない。まず GPT-3.5 に追いつき、GPT-4 にもまだ手が届かないうちに、今度は Sora が現れるのだ。他方で、彼らは休むことなく実際のユースケースを見つけ出し、自分たちが単に資本を食い尽くすだけの研究機関ではなく、企業なのだと証明しなければならない。そしてそれだけでは足りない。これらのベンチャーにとって、出口が IPO であれ買収であれ、出口戦略はいまだにまったく見通せない。
中国の基盤モデル企業の創業者たちのなかで、楊植麟は最年少で、1992 年生まれだ。業界では、彼は揺るぎない AGI 信奉者であり、まれな技術的カリスマを備えた創業者だと評されている。彼の学術・実務の経歴の多くは汎用 AI に結びついており、彼の論文は 22,000 回以上引用されている。
2023 年半ば、中国のテックコミュニティは基盤モデルに対して、熱狂から一転して冷ややかな空気へと急速に傾き、実際の導入を加速させることが現実主義的な主流のメロディーとなった。これは必然的に、基盤モデル企業の CEO たちを理想と現実のあいだで激しく引き裂くことになった。
誰もが PMF（product/market fit）を唱え、誰もが商業化を唱える中国の AI エコシステムにおいて、この創業者——AI 研究者として育った人物は、特に急いではいない。
80 人の体制で、Moonshot AI は中国の主要な基盤モデル企業のなかで最も人員が少ない。競合他社とは異なり、楊はより安全な B2B 事業を選ばず、医療やゲームのような垂直分野での導入も追わなかった。彼が作った消費者向け製品はただ 1 つ、200,000 文字まで入力できる AI アシスタント Kimi だ。Kimi はまた、楊植麟の英語名でもある。
楊は、自身の会社を科学、エンジニアリング、ビジネスを組み合わせたシステムとして捉えたいと考えている。こう想像するとわかりやすいかもしれない。人間世界の上に、彼は AI の実験台を築いている。一方の手で実験を行い、もう一方の手で最先端技術を現実世界へと引き下ろし、人々との相互作用を通じて応用を見つけ、その応用を消費者の手元へ届けるのだ。理想的には、前者が数十億、数百億ドルの資本を燃やし、後者がその資金を何百倍、何千倍にもして回収する。どう聞いても、それは綱渡りのようにスリリングであり、同時に危うい。
「AI は、私が向こう 1 年か 2 年でどんな PMF を見つけられるかという話ではありません。向こう 10 年から 20 年で、どう世界を変えるかという話です」と彼は言う。
こうした抽象的で理想主義的な考え方は、思わず彼の身を案じて冷や汗をかかせる。若い AI 科学者は、現実主義の中国で生き残る余地を切り開けるのだろうか。
2024 年 2 月、Moonshot AI は市場の逆風のなかで大型資金調達を完了した。報道によれば、同社は Alibaba が主導し、Monolith Management、Xiaohongshu などが追加参加する形で、プレマネー評価額 15 億ドルで 10 億ドル超の Series B を調達したという。取引完了後の Moonshot AI のポストマネー評価額はおよそ 25 億ドルとなり、この時点で中国の基盤モデル競争における最高評価額のユニコーンとなった。（同社はこの件に対する回答やコメントを拒否した。）
この 3 回目の資金調達のさなか、私たちは楊植麟と会い、彼の起業 1 年目について語り合った。それは、中国の基盤モデル企業がスタートラインから一気に走り出した 1 年を、縮図のように切り取ったものだった。
彼の会社は、基盤モデル企業が集積する北京の Sohu Network Plaza には入居しなかった。総調達額が約 RMB 9 billion ある会社にしては、この梁子新座ビルのオフィスは粗末で、古びて見える。入口に会社ロゴすらなく、ドアのそばに白いピアノが一台、門番のように立っているだけだ。
会議室は隅にあり、小さな窓しかないので中は暗く、ヒーターは冬の寒さに向けて温風を送りながら低く唸っている。
薄暗い光の中で、Yangはこの1年をどう感じているかをこう語る。「雪山が連なる道を走っているようなものです。その中に何があるのかは分からない。ただ一歩ずつ前へ進み続けるだけです。」
以下はYang Zhilinとのインタビュー全文です。（読みやすさのため、著者が一部テキストを編集しています。）
この写真は2024年初頭に北京にあったKimiの最初のオフィスで撮影された。現在はこの場所から移転している。入口にロゴはなく、白いピアノがドアのそばに静かに置かれているだけだった。
第1部
出発点に立つ
「波に乗らなければならない」
Zhang Xiaojun:
最近はどうですか？
Yang Zhilin:
忙しいです。やることがたくさんあります。でも、いまもとてもワクワクしています。私たちはある産業のまさに始まりに立っていて、想像の余地は非常に大きいんです。
Zhang Xiaojun:
さっき入ってきたとき、会社の入口に真っ白なピアノが置いてあるのを見ました。
Yang Zhilin:
その上にはPink Floydのアルバムも置いてあります。誰が置いたのかは全く分かりません。数日前に突然気づいたのですが、まだ誰が置いたのか聞く機会がないんです。（Pink Floydは、アルバム The Dark Side of the Moon を発表した英国のロックバンドです。）
Zhang Xiaojun:
2022年11月にChatGPTが公開された日、あなたは何をしていましたか？
Yang Zhilin:
私はすでにそのための準備をしていました。人を採用し、チームを作り、新しいアイデアを交換していました。ChatGPTを見たときは本当に胸が躍りました。3年から5年前、2021年でさえ、そんなことは考えられませんでした。その種の高次の推論は、実現が非常に難しかったんです。
私は、市場の多くの変数がこれから動くと感じました。片方に資本、もう片方に人材――AIにとっての生産要素です。
それらの変数が整えば、これをきちんとやる会社を作ることが可能になる。AGIのために作られた組織なら、0から1へ到達できる。
それは大きなひらめきでした。独立した会社のほうが理にかなっている。でも、やりたいと思ったその瞬間にできるわけではありません。ChatGPTが変数を動かし、生産要素を引き寄せたんです。波に乗らなければならない。
Zhang Xiaojun:
AGI企業を立ち上げると決めたあと、どんな準備をしましたか？ 資本と人材という2つの生産要素をどう集めたのですか？
Yang Zhilin:
曲がりくねったプロセスでした。ChatGPTが広がるには時間がかかりました。早く知った人もいれば遅く知った人もいる。最初は懐疑的だった人が、衝撃を受け、やがて信じるようになった人もいました。人を探すことと資金を探すことは、タイミングと強く結びついていました。
私たちは2023年2月に最初の資金調達ラウンドに注力し始めました。もし4月まで遅れていたら、基本的に機会はなかったでしょう。でも、2022年12月や2023年1月にやってもダメでした。まだパンデミックの渦中で、人々がそれを消化できていなかったからです。
つまり、本当の窓はたった1か月だったんです。
アメリカにいたある夜、私は正確に計算しました。計算を終えたとき、数か月以内に少なくとも1億ドルを調達する必要があると結論づけました。市場の多くの人はまだ資金調達を始めておらず、そんな大金を本当に集められるとは思っていなかった人も多かった。でも、結果としては可能でした。しかも、それ以上も。
人材市場も動き始めました。ChatGPTに刺激されて、多くの人が2023年3月か4月にこう気づいたんです。次の10年でやる価値があるのは、これしかない、と。適切な時期に適切な人に声をかけなければなりません。1年か2年早ければ、人材はここまで集まりませんでした。当時は、より多くの人が従来型AIやAI周辺の事業をやっていましたが、どれも汎用AIではありませんでした。
Zhang Xiaojun:
まとめると、2月が資金調達の窓で、3月と4月が採用の窓だった、ということですか？
Yang Zhilin:
だいたいその通りです。
Zhang Xiaojun:
そのアメリカでの夜、どこでこの計算をしたのですか？ 具体的にはどうやって計算したのですか？
Yang Zhilin:
2022年末から2023年初めにかけて、私はアメリカに1～2か月いて、人と会っていました。住んでいた場所で計算しました。必要なFLOPs、学習コスト、推論、そしてユーザー数を見積もるんです。
Zhang Xiaojun:
その時、シリコンバレー全体の雰囲気はどうでしたか？
Yang Zhilin:
プロダクトは、主にテック界隈に集中していた初期ユーザーを多く獲得し始めました。私たち自身もその輪の中にいたので、より強くそれを感じていました。シリコンバレーの大企業では、みんな6か月ごとに業績評価を書かなければなりませんが、その評価文をChatGPTで書き始める人がたくさん出てきました。普段はあまりプロフェッショナルではない文章を書く人がChatGPTで書いた評価を提出すると、誰もが異様に真剣な口調になっていたんです。
潮流が動いていました。次の仕事を考える人もいれば、起業を考える人もいました。後で私たちと話した友人のかなりの数が、その後スタートアップを立ち上げに行きました。そして、強烈なFOMO――取り残されることへの恐怖――がありました。誰も眠れなかったんです。深夜でも、午前1時でも、2時でも、連絡をすれば、いつも誰かがそこにいました。少し不安で、少しFOMOで、とても興奮していたんです。
Zhang Xiaojun:
1億ドルを調達する必要があると計算したあの夜、何時まで起きていましたか？
Yang Zhilin:
大丈夫でした。計算自体はそれほど時間がかからなかったので。でもその後は、あまり多くの人に話せませんでした。話してしまったら、そんなことが実現できるなんて誰も信じなかったでしょう。
第2部
技術的系譜
「終わりなき削り込みから自由になれ」
Zhang Xiaojun:
ベンチャーキャピタルの世界では、あなたについて「創業者は優秀で、技術的なカリスマがあり、チームは技術のスター揃いだ」と言われています。そこで、基盤モデルの事業について話す前に、まずはあなたの学歴から始めたいと思います。学部ではTsinghuaでコンピュータサイエンスを学び、博士号はCarnegie Mellon’s School of Computer Scienceで取得しました。AIはずっとあなたの関心分野だったのですか？
Yang Zhilin:
私は1992年生まれで、2011年に学部に入学しました。大学2年生のときから今に至るまで——10年以上——この分野にいます。最初はより発散的にいろいろ見て回っていて、グラフやマルチモーダルに関連する仕事もしていました。2017年に、言語モデルへと収束しました。当時は、言語モデルは比較的重要な問題だと感じていましたが、その後、唯一重要な問題だと感じるようになりました。
Zhang Xiaojun:
2017年当時、AI業界は一般的に言語モデルをどう理解していて、その理解はどう変化しましたか？
Yang Zhilin:
当時は、音声認識の結果を並べ替えるために使うモデルでした。（笑）音声の一部分が認識されたあと、たくさんの候補結果が出てきて、言語モデルでどれが最も確率が高いかを見て、最もありそうなものを出力するんです。用途は非常に限られていました。
でも、やがてそれが根本的な問題だと気づくんです。なぜなら、あなたは世界の確率をモデル化しているからです。言語には限界がありますが、それは世界の射影です。理論上、トークン空間——あり得るすべてのトークンの空間——を十分に大きくすれば、一般的な世界モデルを構築できます。世界のあらゆる事象がどのように生まれ、発展するかに確率を割り当てることができます。あらゆる問題は、どう確率を推定するかに帰着できます。
Zhang Xiaojun:
あなたの学術的な指導者は非常に著名です。PhD の指導教官は Apple の AI責任者である Ruslan Salakhutdinov と、Google AI のチーフサイエンティストである William W. Cohen でした。お二人とも産業界とアカデミアの両方にまたがっています。
Yang Zhilin:
以前は産学がより一体化していましたが、いまはトレンドが変わりつつあります。
より価値のあるブレークスルーは産業界で起こるでしょう。
それは発展の必然的な法則です。まず探索的研究から始まり、徐々により成熟した産業化のプロセスへ移っていくのです。だからといって、産業化の過程で研究が不要になるわけではありません。純粋研究だけでは価値あるブレークスルーを生み出しにくくなる、ということです。
Zhang Xiaojun:
その著名な指導者たちから、何を学びましたか？
Yang Zhilin:
最も多く学んだのは Google でした。私はそこで長期間インターンをしていて、2018年後半に Transformer ベースの言語モデルに取り組み始めました。
一番大きかった学びは、終わりのない「彫刻」から自分を解放することでした。つまり、表面的な細部を執拗に磨き上げることです。これは極めて重要でした。
大きな方向性、大きな勾配を見るべきです。目の前に10本の道があるとき、普通の人はこの1本の道で、前方の歩行者にどうブレーキをかけるか——といった短期的な細部を気にします。しかし、10本のうちどの道を選ぶかのほうが、はるかに重要です。
この分野は以前、まさにその問題を抱えていました。たとえば、トークン数が100万か200万しかないデータセットで、どうやって perplexity を下げるか、どうやって loss を下げるか、どうやって accuracy を上げるかを見ているうちに、終わりのない彫刻に陥っていたのです。人々は奇妙なアーキテクチャをたくさん発明しました。あれらは彫刻の技巧でした。彫刻をすれば、その種のデータセットでは多少よくなるかもしれませんが、問題の本質を見失ってしまうのです。
本質は、この分野に何が足りないのかを分析することです。第一原理は何か。なぜ scaling law は第一原理になり得るのか。必要なのは、二つの条件を満たす構造を見つけることだけです。第一に、十分に一般的であること。第二に、スケーラブルであること。一般的、とはこの枠組みの中ですべての問題をモデル化できるということです。スケーラブル、とは十分な計算資源を注ぎ込めば、さらに良くなり続けるということです。
これが Google で学んだ考え方です。もし、より根本的なもので説明できるなら、上位層で過度に彫刻すべきではない。私は強く賛同する重要な言葉があります。スケールで問題を解けるなら、新しいアルゴリズムで解こうとするな、と。新しいアルゴリズムの最大の価値は、よりうまくスケールさせる方法にあるのです。彫刻から自由になれば、もっと多くのものが見えるようになります。
Zhang Xiaojun:
当時の Google も scaling law の追随者だったのですか？ どのように第一原理の思考を実装していたのでしょうか？
Yang Zhilin:
そのような考え方はすでに多くありましたが、Google はそれを特にうまく実装していたわけではありませんでした。そういう思考はあったものの、真のムーンショットへと組織化することはできなかったのです。どちらかというと、私の第一原理を追っている人が5人、あちらに彼の第一原理を追っている人が5人いる、といった感じでした。トップダウンではなかったのです。
Zhang Xiaojun:
博士課程の間に、チューリング賞受賞者の Yann LeCun と Yoshua Bengio と共同で論文を発表しています——しかもその論文ではあなたが筆頭著者でした。こうした共同研究はどのように実現したのですか？ つまり、彼らはチューリング賞受賞者で、しかもあなたの指導教官ではなかったわけですが、何を頼りに彼らを引きつけたのですか？
Yang Zhilin:
アカデミアはとても खुलかれています。良いアイデアと意味のある問題があれば、それで十分です。2つの脳、あるいは n 個の脳が生み出すものは、1つの脳だけよりも大きいのです。これは AGI を開発するときにも当てはまります。AI における重要な戦略のひとつに「ensembling」があります。つまり、複数の異なるモデルや手法を使い、その予測を組み合わせて性能を高めることです。本質的には同じことをしているのです。多様な視点があると、多くの新しいものを引き起こせます。協力は非常に有益です。
Zhang Xiaojun:
まずあなたがアイデアを出してから、彼らに興味があるかどうか尋ねたのですか？
Yang Zhilin:
だいたいそんな感じでした。
Zhang Xiaojun:
研究で大物アカデミアを説得するのと、資金調達で大物資本を説得するのとでは、どちらが難しいですか？ その共通点は何でしょう？
Yang Zhilin:
「説得する」という表現はあまりよくありません。その背後にある本質は協力です。協力とは双方が勝つことを意味します。相互利益が協力の前提だからです。なので、実際には違いはありません。他者にしかない価値を提供する必要があるのです。
Zhang Xiaojun:
どうやって彼らの信頼を得るのですか？ あなた自身の強みは何だと思いますか？
Yang Zhilin:
特別な強みなんてありません。ただ一生懸命働くだけです。
Part 3
旧システムはもはや機能しない
「AGI には新しい種類の組織が必要だ」
Zhang Xiaojun:
先ほど「より価値のあるブレークスルーは産業界で起こる」とおっしゃいましたが、それにはスタートアップや巨大企業の AI研究所も含まれますか？
Yang Zhilin:
ラボは過去のものだ。Google Brainはかつて業界最大のAIラボだったが、大企業の中に組み込まれた研究組織だった。そうした組織は新しいアイデアを探ることはできても、優れたシステムを生み出すのは非常に難しい。Transformerは生み出せても、ChatGPTは生み出せなかった。
今の開発の進み方は、巨大なシステムを構築することだ。それには新しいアルゴリズム、堅牢なエンジニアリング、さらには多くのプロダクト化と商業化の仕事まで必要になる。
これは2000年代初頭のようなものだ。情報検索をラボの中だけで研究することはできず、巨大なシステムとして、ユーザーを持つプロダクトとして、現実世界の中に存在しなければならなかった——Googleのように。
だから研究と教育のシステムは、主に人材を育成する方向へ機能を移していくだろう。
Zhang Xiaojun:
この新しい形のシステムをどう説明しますか？OpenAIはそのプロトタイプなのでしょうか？
Yang Zhilin:
今日では、これに最も近い成熟した組織ですし、なおも少しずつ進化しています。
Zhang Xiaojun:
つまり、人類の壮大な科学目標のために設立された組織として理解できるのでしょうか？
Yang Zhilin:
強調したいのは、これは純粋な科学ではないということです。科学、エンジニアリング、ビジネスの組み合わせです。研究機関ではなく、商業組織、つまり会社でなければなりません。ただしこの会社はゼロから1への構築であり、なぜならAGIには新しい種類の組織が必要だからです。第一に、生産様式がインターネット時代とは異なる。第二に、純粋な研究から、研究・エンジニアリング・プロダクト・ビジネスの組み合わせへと移るからです。
本質的にはムーンショット計画であるべきで、非常に多くのトップダウンの設計が必要です。ただしその設計の中にはイノベーションの余地があります。なぜなら、すべての技術が事前に決まっているわけではないからです。
トップダウンの枠組みの中に、ボトムアップの要素が存在します。
そのような組織は以前には存在しませんでしたが、組織は技術に適応しなければなりません。なぜなら技術が生産様式を決めるからです。両者が一致しなければ、効果的に生産することはできません。私たちは、それはおそらくゼロから再設計する必要があると考えています。
Zhang Xiaojun:
昨年のOpenAIの取締役会クーデターのとき、Sam Altmanにとっての選択肢の一つはMicrosoftに移り、新しいMicrosoftのAIチームを率いることでした。それとOpenAIのCEOであることの本質的な違いは何でしょうか？
Yang Zhilin:
古い文化の中で新しい組織を育てなければならないわけで、それは極めて難しいことです。
Zhang Xiaojun:
あなたは「中国版OpenAI」を作りたいのですか？そう言ってもいいでしょうか？
Yang Zhilin:
それはあまり正確ではありません。私たちは中国の何かになりたいわけではないし、必ずしもOpenAIになりたいわけでもありません。
第一に、本当のAGIは必ずグローバルなものになります。少なくとも長期的には、市場保護の仕組みのせいで特定の地域市場に閉じ込められたAGI企業などというものは存在しません。
グローバル化、AGI、そして非常に大きなユーザーベースを持つプロダクト——この3つは、最終的には必要条件です。
第二に、OpenAIであるべきなのか。2017–2018年を見れば、OpenAIの評判はひどいものでした。私たちの周りで仕事を探していた人たちは、ふつうGoogleのようなところを考えていました。OpenAIのチーフサイエンティストであるIlya Sutskeverと話した多くの人は、その男は狂っていて、あまりにも自信過剰だという印象を持って帰ってきました——OpenAIは狂人か詐欺師のどちらかだ、と見られていたのです。しかし彼らは非常に早い段階で賭けに出て、非コンセンサスを見つけ、そして今ではAIで機能する唯一の第一原理、つまり次トークン予測によるスケーリングを見つけました。
私は、OpenAIを超える会社が必ず現れると思います。本当に優れた会社は、技術的理想主義と優れたプロダクトを結びつけ、ユーザーと共創できるはずです。AGIは最終的には、すべてのユーザーと協働することで生み出されるものになるでしょう。つまり、技術だけではなく、実利主義と現実世界での追求も必要であり、最終的にはその二つの完璧な組み合わせです。
とはいえ、OpenAIの技術的理想主義からは学ぶべきです。
もし誰もがあなたを普通だと思うなら——あなたの夢が誰でも思いつくようなものなら——それは人類の夢の総量には何も加えません。
第4部
ムーンショットの第一歩は「長文コンテキスト」——では次は何か？
「次に大きな節目が2つ来る」
Zhang Xiaojun:
会社を始めると決めた瞬間に戻りますが、中国に戻った直後に最初の資金調達ラウンドをすぐ始めたのですか？
Yang Zhilin:
それはアメリカで2023年2月に始まり、一部はリモートで進めました。最終的には、国内投資家が大半を占めました。
Zhang Xiaojun:
最初のラウンドで1億ドルを調達したのですか？
Yang Zhilin:
最初のラウンドはそれほどではありませんでした。後のラウンドのほうがその金額を超えています。2023年には2回のラウンドを完了し、総額はほぼRMB 2 billionでした。
これは今、3回目のラウンドです。正式には資金調達を発表していないので、現時点ではコメントできません。
Zhang Xiaojun:
2023年下半期以降、基盤モデル企業にはもう投資したがる人はいない、という人もいます。それは間違いなのでしょうか？
Yang Zhilin:
そんなことはありません。確かにセンチメントの変化は見て取れますが、誰も投資していないというわけではありません。少なくとも今のところ、市場にはかなり多くの投資意欲があります。
Zhang Xiaojun:
資本と人材以外に、2023年にあなたが下した他の重要な決定は何でしたか？
Yang Zhilin:
何をするかを決めることです。それが私たちのような会社の強みであり、最上位の意思決定について技術的なビジョンを持てることです。
私たちは長文コンテキストをやっています。それには未来に対する判断が必要です。何が本質で、次に何が向かっているのかを知る必要があるからです。ここでもやはり第一原理、つまり「脱彫刻」のプロセスです。彫刻に集中していると、OpenAIがすでにやったことだけを見て、それをどう再現するかを考えることしかできません。
Kimiで損失のない長文テキスト圧縮を行うと、プロダクトに独特の体験が生まれることがわかるでしょう。英語の論文を読むとき、理解を驚くほど助けてくれます。今のClaudeやGPT-4を使っても、必ずしも同じようにはいきません。これには事前の土台づくりが必要でした。私たちはそれに半年以上取り組みました。それは、今日になって長文コンテキストのトレンドに気づき、慌てて2チームを組んで、最大速度で開発することとはまったく違います。
もちろん、マラソンはまだ始まったばかりで、今後さらに差別化が進む。そのためには、何が「本当に成り立つ非コンセンサス」なのかを前もって見極めておく必要がある。
Zhang Xiaojun:
この決定は何月に下されたのですか？
Yang Zhilin:
2月か3月です。会社が設立されるとすぐに決まりました。
Zhang Xiaojun:
なぜロングコンテキストがムーンショットの第一歩なのですか？
Yang Zhilin:
それが基礎だからです。新しいコンピュータのメモリだからです。
旧来のコンピュータのメモリは、この数十年で桁違いに増大してきましたが、新しいコンピュータでも同じことが起こります。そうなれば、今日の多くの問題を解決できます。たとえば、現在のマルチモーダル・アーキテクチャはまだトークナイザーを必要としますが、損失なく圧縮されたロングコンテキストがあれば、それは不要で、元の入力をそのまま直接入れられます。さらに進めば、新しい計算パラダイムをより汎用的にするための基盤になります。
旧来のコンピュータは0と1であらゆるものを表現でき、すべてをデジタル化できました。しかし、今日の新しいコンピュータはまだそこまでいきません。十分なコンテキストがないので、それほど汎用的ではないのです。汎用的な世界モデルになるには、ロングコンテキストが必要です。
第二に、パーソナライズを可能にします。AIの中核価値は個別最適化された対話にあり、価値は最終的にパーソナライズに帰着します。そしてAGIは、前世代のレコメンドエンジンよりもさらにパーソナライズされたものになるでしょう。
しかし、パーソナライズはファインチューニングで実現するのではなく、非常に長いコンテキストを支えることで実現します。機械とのこれまでのやり取りのすべてがコンテキストであり、そのコンテキストがパーソナライズのプロセスを形作ります。それは複製できず、より直接的な対話、すなわち情報を生み出す対話を可能にします。
Zhang Xiaojun:
これを拡大する余地はどれくらいありますか？
Yang Zhilin:
非常に大きいです。ひとつには、ウィンドウ自体の拡張にはまだ大きな伸びしろがあり、桁違いです。
もうひとつには、ウィンドウを広げるだけでは不十分で、数字だけを見ても意味がありません。今日のウィンドウが数百万トークンなのか数十億トークンなのかは、それ自体では意味がないのです。見るべきなのは、そのウィンドウ内で実現される推論能力、忠実性――元の情報への忠実さ――そして指示追従能力です。単一の指標を追い求めるべきではなく、指標と能力を組み合わせて見なければなりません。
この2つの次元が継続的に向上すれば、できることは非常に多いです。数万語に及ぶ指示に従うこともでき、その指示自体が多くのエージェントを定義できるようになります。非常にパーソナライズされたものです。
Zhang Xiaojun:
ロングコンテキストとGPT-4に追いつくための技術は、相互に再利用できますか？ 同じものですか？
Yang Zhilin:
そうは思いません。むしろ、新しい次元を加えているのです。GPT-4にはない次元です。
Zhang Xiaojun:
中国の基盤モデル企業の先行組は、みな大体同じことをしている――2023年はGPT-3.5を追い、2024年はGPT-4を追っている――という声があります。これに同意しますか？
Yang Zhilin:
一般能力を高めることには確かに重要なマイルストーンがあるので、その見方はある程度正しいです。後発である以上、追いつく過程を必ず経ます。ただ、それは一面的でもあります。一般能力のほかにも、差別化された能力を伸ばし、特定の方向で最先端に到達できる余地は大きいです。ロングコンテキストがその一例です。DALL-E 3の画像生成は、Midjourney V6に完全に及びません。だから、両面で取り組む必要があります。
Zhang Xiaojun:
一般能力と新しい次元に、それぞれどれくらいの時間とリソースを割いていますか？
Yang Zhilin:
両者は組み合わせて考える必要があります。新しい次元は一般能力から切り離しては存在できないので、単純な比率を直接示すのは難しいです。ただし、その新しい次元をうまくやるには十分な投資が必要です。
Zhang Xiaojun:
これらの新しい次元はすべてKimiが担うのでしょうか？
Yang Zhilin:
Kimiは私たちにとって間違いなく非常に重要な製品であり、他にもいくつか試みを行う予定です。
Zhang Xiaojun:
Shixiangの創業者であるLi Guangmi氏が、中国の基盤モデル企業の技術的な独自性は今なおそれほど高くないと述べたことをどう見ますか？
Yang Zhilin:
問題ないと思います。私たちはすでに今日かなり多くの差別化を生み出していますから。あとは時間の問題です。今年はさらに多くの次元が見えてくるはずです。昨年は、皆ただ足場を組んで、まず動くようにしていただけでした。
Zhang Xiaojun:
ムーンショットの第一歩がロングコンテキストだとしたら、第二歩は何ですか？
Yang Zhilin:
この先には大きなマイルストーンが2つあります。第一に、真に統合された世界モデル――あらゆるモダリティを統合し、真にスケーラブルで汎用的なアーキテクチャです。
第二に、人間のデータ入力なしでAIが進化し続けられるようにすることです。
Zhang Xiaojun:
この2つのマイルストーンに到達するまで、どれくらいかかりますか？
Yang Zhilin:
2年から3年――もっと早い可能性もあります。
Zhang Xiaojun:
ということは、3年後には、今とはまったく違う世界をすでに見ていることになるわけですね。
Yang Zhilin:
現在の開発スピードなら、そうです。技術はいま、芽吹き始めた急成長期にあります。
Zhang Xiaojun:
3年後に何が存在しているか、想像できますか？
Yang Zhilin:
ある程度のAGIがあるでしょう。今私たちがしていることの多くを、AIもできるようになり、私たちよりもうまくできるものもあるはずです。ただ、重要なのはそれをどう使うかです。
Zhang Xiaojun:
そして、あなたにとって――企業としてのMoonshot AIにとって――第二歩は何ですか？
Yang Zhilin:
その2つをやりにいきます。残りの問題はすべて、この2つの要素から派生します。今人々が語っている推論やエージェントは、この2つの問題を解くことで生まれる副産物です。多少の追加調整は必要ですが、根本的な障害はありません。
Zhang Xiaojun:
GPT-4に追いつくことに全力を注ぐのですか？
Yang Zhilin:
GPT-4はAGIへの道の途中にある必須の通過点です。重要なのは、GPT-4と単に同じレベルになることに満足しないことです。
まず、今の本当の非コンセンサスは何かを問う必要があります。GPT-4の先に何があるのか？ GPT-5とGPT-6はどうあるべきなのか？ 第二に、その中で自分たちが持つ差別化された能力は何かを見極める必要があります。そして、それのほうが重要です。
Zhang Xiaojun:
他の基盤モデル企業は、自社モデルの能力やランキングを公開していますよね。あなた方はそれをしていないようですが？
Yang Zhilin:
ランキングの上位を追いかけることに、ほとんど意味はありません。最高のランキングはユーザーです。ユーザーに投票してもらえばいいのです。多くのランキングには問題があります。
Zhang Xiaojun:
中国の基盤モデル企業の中で、GPT-4 に最も早く到達することが目標ですか？ 速いか遅いかは違いを生みますか？
Yang Zhilin:
もちろんです。十分に長い時間軸で見れば、誰もが最終的にはそこに到達します。でも、リードや遅れがどれくらいあるか次第です。6か月以上の差は意味がありますし、その時間を使って何ができるかにもよります。
Zhang Xiaojun:
いつ GPT-4 に到達すると見ていますか？
Yang Zhilin:
かなり近いはずですが、具体的な時期は公表できません。
Zhang Xiaojun:
最速になるのでしょうか？
Yang Zhilin:
それは動的に評価しないといけませんが、実際にチャンスはあります。
Zhang Xiaojun:
Kimi をリリースした後、あなたの North Star metric は何ですか？
Yang Zhilin:
今は、プロダクトをより良くして、より多くの次元を加えることです。たとえば、検索ユースケースを巡って血みどろの競争をするだけではいけません。検索は後に、このプロダクト価値のほんの一部にすぎなくなるでしょう。プロダクトには、もっと大きな増分があるべきです。
従来の検索エンジンより 10% や 20% 良いだけでは、大した価値はありません。本当に破壊的なものだけが、"AGI" という3文字に値します。
独自の価値は、あなたの増分知能です。この点をしっかり持っていなければいけません。知能こそが、常にコアとなる増分価値です。もしプロダクトのコア価値のうち AI が占める割合が 10%～20% しかないなら、それは成り立ちません。
Part 5
I’m Not at All Anxious About Commercialization
“User Scaling and Model Scaling Need to Happen at the Same Time”
Zhang Xiaojun:
2023年半ばは大きな分岐点でした。市場は、熱狂から一気に冷え込みました。その変化をどう感じましたか？
Yang Zhilin:
その表現には完全には同意しません。私たちは年後半に資金調達ラウンドも完了しましたし、新しいものも出続けていました。今日のモデル能力は、昨年末には想像もできなかったものです。AI企業のユーザー数や売上も、ますます増え続けています。価値は継続的に証明されてきました。
Zhang Xiaojun:
あなたにとって、年の前半と後半で何が違って感じられましたか？
Yang Zhilin:
あまり変わっていません。変数は確かにありますが、結局は第一原理に立ち返ることになります。どうやってユーザーに良いプロダクトを提供するか、です。最終的には、レースに勝つのではなく、ユーザーのニーズを満たさなければなりません。
私たちは競争のために作られた会社ではありません。
Zhang Xiaojun:
業界では、2023年の前半と後半の大きな違いの一つは、焦点の移り変わりだったと見られています。前半は AGI が中心で、後半はどうやってアプリケーションを実装し、商用化するかに移った、という見方です。あなたもその変化をしましたか？
Yang Zhilin:
もちろん AGI はやります。それは向こう10年で意味のある唯一のことだからです。でも、それはアプリケーションを作らないという意味ではありません。というより、「アプリケーション」と定義すべきではないのです。
「アプリケーション」だと、技術があって、それを使う場所を探していて、商業ループを閉じる、という意味に聞こえます。でも「アプリケーション」は正確な言葉ではありません。アプリケーションと AGI は相補的です。それは AGI を達成する手段であり、同時に、それを達成する目的でもあります。
「アプリケーション」は、どちらかというと目的に聞こえます。私はそれを役立つものにしたい。東洋と西洋の哲学を組み合わせなければなりません。稼がなければならないし、理想も持たなければならないのです。
今では、私たちが考えもしなかったシナリオをユーザーが見つけてくれています。たとえば、履歴書のスクリーニングに使う人がいます。これはプロダクト設計時にはまったく想定していなかったものですが、自然にうまく機能します。逆に、ユーザーからの入力がモデルをより良くしていきます。Midjourney がなぜあれほど優れているのか？ ユーザー側でスケールしたからです。ユーザーのスケーリングとモデルのスケーリングは同時に起こらなければなりません。逆に、アプリケーションだけに集中してモデル能力の反復、つまり AGI を無視すれば、あなたの貢献は限られたものになります。
Zhang Xiaojun:
GSR Ventures のマネージングパートナーである Zhu Xiaohu は、基盤モデルのアプリケーションにしか投資しません。彼の見解の一つは、AIGC における最も難しいコア問題は PMF だということです。10人で PMF が見つからないなら、100人でも見つからない。人数やコストとは関係がないので、そこに金を燃やすな、と。彼は「LLaMA で2、3か月学習させれば、少なくともトップ30の人間と同等のレベルに達し、人をすぐに置き換えられる」と言っています。この見解をどう思いますか？
Yang Zhilin:
AI は、来年や再来年にどんな PMF を見つけられるか、という話ではありません。今後10年から20年で世界をどう変えるか、という話です。これはまったく別の考え方です。
私たちは筋金入りの長期主義者です。AGI やそれ以上のものが実現すれば、今日のすべては書き換えられます。PMF が重要なのは確かですが、PMF を急いで探そうとすると、また別の「次元削減の一撃」──より高次元の技術に押しつぶされる──を食らう可能性が非常に高いのです。それは何度も起きてきました。過去には、多くの人が顧客対応や対話システム、スロットフィリングを作っていて、中にはかなりの規模の会社もありました。でも、みな高次元からの一撃で一掃されました。痛かったです。
だからといって、そのやり方が決して機能しないと言っているわけではありません。たとえば、今の技術で十分対応できる場面を見つけたとします。0から1への増分価値が非常に大きく、1から n の空間がそれほど大きくないような場面です。そういう場面は問題ありません。Midjourney はそのようなものですし、コピーライティング生成もそうです。比較的単純なタスクで、0から1の効果が非常に見えやすい。そういうものは、アプリケーション専業組の機会です。でも、最大の機会はそこにはありません。前提が商用化であるなら、AGI と切り離して考えることはできません。今アプリケーションだけを作るとしても──まあ、それはそれでいいですが、1年後には押しつぶされているかもしれません。
Zhang Xiaojun:
裏で静かに基盤モデルをアップグレードすればいいのではないですか？
Yang Zhilin:
しかし、そのやり方はモデル自体を超えて大きくなることは決してできない。この時代で新しい変数はテクノロジーだけで、ほかの変数は変わっていない。原点に立ち返れば、AGIこそがすべての中核だ。そこから私たちは導き出した。スーパーアプリには、間違いなく最強の技術力が必要だ。
Zhang Xiaojun:
オープンソースモデルは使えますか？（最新のニュースでは、GoogleがオープンソースモデルGemmaを発表しました。）
Yang Zhilin:
オープンソースはクローズドソースに遅れを取っている――それも事実です。
Zhang Xiaojun:
その遅れは一時的なものにすぎないのでは？
Yang Zhilin:
今のところ、そうは見えません。
Zhang Xiaojun:
なぜオープンソースはクローズドソースに追いつけないのでしょうか？
Yang Zhilin:
今のオープンソース開発はやり方が違うからです。昔は誰でもオープンソースに貢献できましたが、今はオープンソース自体がまだ中央集権的です。
多くのオープンソースの貢献は、おそらく計算資源による検証を受けていません。クローズドソースには人材と資本が集中しているので、最終的にはクローズドソースのほうが必ず優れていきます――これは集約です。
もし私が今トップモデルを持っていたら、それをオープンソース化するのはかなり非合理的でしょう。そうするのはむしろ後発組かもしれませんし、あるいは小さなモデルをオープンソース化して、話題をつくるためかもしれない。結局のところ、オープンソースにしなければ価値はないのですから。
Zhang Xiaojun:
中国にある不安に、どうやって対抗しますか？ 基盤モデル企業が、投資家の期待に応える商用シナリオや製品を早く出せなければ、次のラウンドの資金調達は難しい、とよく言われます。
Yang Zhilin:
長期と短期のバランスが必要です。
ユーザーも収益もまったくないのは、さすがにダメです。
これまで見てきたように、GPT-3.5 から GPT-4 に進むと多くのアプリケーションが解放されました。GPT-4 から GPT-4.5、そして GPT-5 へ進めば、さらに多く――おそらく指数関数的に多く――の可能性が解放されるでしょう。いわゆる「シナリオのMoore’s law」とは、使えるシナリオの数が時間とともに指数関数的に増えていくことを意味します。私たちはモデル能力を高めながら、より多くのシナリオを見つけていく必要がある。そういうバランスです。
これはらせんです。投資のうちどれだけを短期に、どれだけを長期に振り向けるかにかかっています。生き残れることを前提に、長期を追うのです。長期を絶対に捨ててはいけません。そうしないと、この時代そのものを逃してしまいます。いま結論を出すのは、本当に早すぎます。
Zhang Xiaojun:
Meituanの共同創業者で、Light Yearの創業者であるWang Huiwenが提唱した「two-wheel drive」の考え方に同意しますか？
Yang Zhilin:
いい質問です。ある程度は、そのロジックは成り立ちます。ただ、実際にどう実行するかで大きな違いが出ます。本当に「non-consensus bets with favorable odds」を打てるのでしょうか？
Zhang Xiaojun:
私の理解では、彼らのtwo-wheel driveも、新しいアプリケーションシナリオを素早く見つけることが必要です。さもなければ、技術を着地させる方法がありません。
Yang Zhilin:
結局は、モデルスケーリングとユーザースケーリングの違いに帰着します。
Zhang Xiaojun:
中国で、あなた以外にモデルスケーリング路線を取っている人はいますか？
Yang Zhilin:
それは私が判断することではありません。
Zhang Xiaojun:
たぶん多くの人はユーザースケーリング路線を取っています。あるいは、こう言い換えられるでしょうか。これは学術派と商用化派の違いなのでしょうか？
Yang Zhilin:
私たちは学術派ではありません。学術派は絶対に通用しません。
Zhang Xiaojun:
多くの基盤モデル企業はB2Bで商用化します。やはりB2Bのほうが確実性が高いからです。あなたはどうですか？
Yang Zhilin:
私たちはやりません。最初からB2Cに行くと決めていました。
それは、何を望むか次第です。自分が欲しくないものだと分かっていれば、FOMOにはなりません。手に入れたところで、それほど大した意味はないからです。
Zhang Xiaojun:
この1年、不安を感じましたか？
Yang Zhilin:
むしろ興奮と高揚のほうが大きいです。というのも、私はこのことをとても長い間考えてきたからです。私たちは、おそらく月の裏側を探検したいと考えた最初期の人たちの一員だったのでしょう。いまや本当にロケットを作っているんだと実感しますし、毎日、どういう燃料を足せばもっと速く進めるか――そしてどうすれば爆発しないかを議論しているのです。
Zhang Xiaojun:
あなたが打ってきた「non-consensus bets with favorable odds」をまとめると――B2Cと長いコンテキスト以外には、ほかにありますか？
Yang Zhilin:
ほかにも進行中のものがあります。できるだけ早く皆さんに共有したいです。
Zhang Xiaojun:
中国の前世代の起業家たちは、アプリケーションやシナリオで成功を味わったので、よりプロダクト、ユーザー、そしてデータフライホイールに注目します。あなたが代表する新世代のAI起業家は、新しい未来を示せるのでしょうか？
Yang Zhilin:
私たちもユーザーをとても重視しています。ユーザーは最終目標ですが、同時に共創のプロセスでもあります。
最大の違いは、今回はよりテクノロジードリブンになるということです。
結局のところ、これは馬車か自動車か、という問いです。私たちは今、馬車から自動車への飛躍の中にいるので、できる限りユーザーにどうやって自動車を提供するかに集中すべきです。
Zhang Xiaojun:
孤独を感じますか？
Yang Zhilin:
ハハハ……それは面白い質問ですね。私は大丈夫だと思います。なぜなら、今でも何十人、ほぼ100人に近い仲間が、私と一緒に戦ってくれているからです。
Part 6
Before We’ve Even Caught Up with GPT-4, Sora Arrives
“Right Now It’s Like the GPT-3.5 Moment for Video Generation”
Zhang Xiaojun:
今年Soraが突然登場したことについて、どのくらいが予想内で、どのくらいが予想外でしたか？
Yang Zhilin:
生成AIがこのような効果を実現できること自体は予想内でした。予想外だったのはタイミングで、私たちの見積もりよりも早く来たことです。
これはまた、今のAIの進化の速さを反映しています。スケーリングの配当の多くは、まだ十分に刈り取られていないのです。
Zhang Xiaojun:
昨年、業界では2024年の基盤モデルはマルチモーダルの物語をめぐって必然的に激しい競争になると判断され、動画生成の品質も2023年のtext-to-imageと同じくらい急速に向上すると見られていました。Soraの技術力は、あなたの期待を上回りましたか、期待どおりでしたか、それとも下回りましたか？
Yang Zhilin:
それは、これまで難しかった多くの問題を解決した。たとえば、比較的長い時間枠にわたって生成の一貫性を保つこと——そこが核心であり、非常に大きな改善だ。
Zhang Xiaojun:
世界の産業構造にとって、どういう意味を持ちますか？ 2024年、foundation modelsにはどんな新しいストーリーが見えるでしょうか？
Yang Zhilin:
まず、短期的な応用価値としては、生産プロセスの効率をさらに高められることです。もちろん、現在の能力の上にさらに多くの拡張が積み上がることも期待しています。第二に、他のモダリティとの組み合わせです。Sora自体が世界のモデルであり、その知識を持つことで、既存のテキストを補完する非常に優れた存在になります。その土台の上には、エージェントでも、物理世界との接続でも、かなり大きな余地と機会があります。
Zhang Xiaojun:
全体として、Soraをどう評価しますか？
Yang Zhilin:
私たちも似た方向を計画していて、しばらく取り組んでいました。方向性としては、それほど驚きではありませんでした——むしろ技術的な細部の問題です。
Zhang Xiaojun:
どの技術的な細部から学ぶ価値がありますか？
Yang Zhilin:
OpenAI自身も、その多くを完全には説明していません。大枠は示されていますが、重要な細部はその出力や公開されている情報、さらに私たち自身の以前の実験を組み合わせて推測する必要があります。少なくとも私たちにとっては、開発プロセスにより多くのデータ点を加えることになります——データ入力が増えるということです。
Zhang Xiaojun:
テキスト生成と比べて、動画生成の主なボトルネックは何でしたか？ 今回OpenAIはどのような解決策を見つけたように見えますか？
Yang Zhilin:
主なボトルネック——本質はやはりデータです。大規模にデータをどう当てはめるか。これはこれまで検証されていませんでした。特に、動きが複雑で、生成結果が写実的である場合にはなおさらです。
そうした条件下でスケールできること——それを今回解決したのです。
まだ解決されていないものとしては、たとえば統一されたアーキテクチャの必要性があります。DiTは、まだそれほど汎用的なアーキテクチャではありません。
純粋な視覚信号の周辺確率をモデル化することは非常にうまくできますが、それをどうやって普遍的な新しいコンピュータへ一般化するのか。そこには、まだより統一的なアーキテクチャが必要です——まだ余地があります。
Zhang Xiaojun:
OpenAIのSoraレポート、『Video generation models as world simulators』は読みましたか？ その中で、特に強調すべきポイントは何ですか？
Yang Zhilin:
読みました。現在の競争状況を考えれば、彼らが最も重要な点を書き出すことはまずありません。それでも学ぶ価値はあります。要するにこれは“有料コンテンツ”のようなもので、本来なら多くの実験にお金をかけて学ぶような内容です。今は実験にお金を払わなくても、その一部を知り、おおまかな理解を形成できます。
Zhang Xiaojun:
そこから、どんな重要なシグナルを読み取りましたか？
Yang Zhilin:
これがある程度スケーラブルだということです。加えて、アーキテクチャがどのように構成されているかについて、かなり具体的な説明も与えています。ただ、この問題では、異なるアーキテクチャがそれほど本質的な違いを生まない可能性もあります。
Zhang Xiaojun:
彼らのこの一文——「Scaling video generation models is a promising path towards building general-purpose simulators of the physical world」——に同意しますか？
Yang Zhilin:
強く同意します。これら二つは同じ目的関数を最適化しています——そこにあまり疑いはありません。
Zhang Xiaojun:
Yann LeCunが再び生成AIに反対する発言をしたことを、どう思いますか？ 彼の見解はこうです。「ピクセルを生成することで世界をモデル化するのは無駄が多く、失敗に終わる。生成がテキストでうまくいくのは、テキストが離散的で、シンボルの数が有限だからだ。その場合、予測における不確実性の扱いは簡単だが、高次元の連続的な感覚入力における予測不確実性を扱うのは困難だ。」
Yang Zhilin: 今は、動画の周辺確率をモデル化するというのは、本質的にはロスレス圧縮だと考えています——言語モデルのnext-token predictionと本質的な違いはありません。十分によく圧縮できれば、この世界で説明可能なものは何でも説明できます。
しかし、まだ重要な作業があります。すでに圧縮された能力とどう組み合わせるのか、ということです。これは二種類の異なる圧縮だと考えられます。一つは生の世界を圧縮するもので、動画モデルがやっているのはこれです。もう一つは人間が生み出す行動を圧縮するものです。なぜなら、人間の行動は人間の脳を通っているからです——この世界で知能を生み出す唯一のものです。
動画モデルは前者、テキストモデルは後者を担っていると考えられます。ただし、動画モデルにも後者の要素が少し含まれています。人間が作った動画の中には、作り手の知能が宿っているものもあるからです。最終的には、おそらく両者の混合になるでしょう——両方のアプローチを通じて異なる角度から学ぶ必要があり、どちらも知能の成長に寄与します。
したがって、生成は目的ではないのかもしれません。それは単なる圧縮関数です。十分によく圧縮できれば、最終的には生成も非常に良くなります。逆に、モデル自体が生成できないなら、極めてうまく圧縮することは可能なのでしょうか？ それは疑わしいです。非常にうまく生成できることが、非常にうまく圧縮するための必要条件である可能性があります。
Zhang Xiaojun:
Soraと昨年のChatGPTは、二つの異なるマイルストーンです。どちらの方が大きいですか？
Yang Zhilin:
どちらも非常に重要です。
今は動画生成におけるGPT-3.5の瞬間のようなもので、段差的な改善です。
モデルはまだ比較的小さく、今後もっと大きなモデルが出てくることは見通せますし、それは能力の確実な向上です。
Zhang Xiaojun:
マルチモダリティに関しては、Google Geminiのブレークスルーの方が重要だという人もいます。
Yang Zhilin:
GeminiはGPT-4Vの流れを踏襲しており、その理解も取り込んでいます。どちらも重要です。最後のステップは、これらすべてを同じモデルに入れることですが、それはまだ解決されていません。
Zhang Xiaojun:
なぜ、それらを同じモデルに入れるのはそんなに難しいのですか？
Yang Zhilin:
まだ誰も方法を知りません。検証済みのアーキテクチャは、まだありません。
Zhang Xiaojun:
Sora + GPTは何を生み出すのでしょうか？
Yang Zhilin:
Soraはすぐに映像制作に応用できますが、言語モデルと組み合わせれば、デジタル世界と物理世界をつなぐこともできます。世界のモデリングが以前より良くなっているので、タスクをよりエンドツーエンドに完了することもできるでしょう。マルチモーダル入力への理解を深めるためにも使えます。そうして最終的には、モダリティ間をかなり流動的に行き来できるようになります。
要するに、世界をより深く理解できるようになり、デジタル世界ではより多くのエンドツーエンドのタスクをこなせるようになり、さらには物理世界へ橋を架けてそこでのタスクも完了できるようになる。これが出発点です。
たとえば自動運転や、いくつかの家事など、理論上はこれらすべてが物理世界とつながる事例です。つまり、デジタル世界でのブレークスルーは確実であり、同時に物理世界へ至る道の可能性も秘めています。
Zhang Xiaojun:
Soraは中国の基盤モデル企業にとって何を意味しますか？どう対応するのが正しいのでしょうか？
Yang Zhilin:
あまり変わりません。これはもともと確実な方向性でした。
Zhang Xiaojun:
中国の基盤モデルはまだGPT-4に追いついていないのに、今度はSoraまで登場しました。どう思いますか？ 2つの世界はますます離れていっているように見えますが、不安はありますか？
Yang Zhilin:
それは単なる客観的事実です。ただ、実際の差はまだ縮まっているかもしれません――それが技術発展の法則です。
Zhang Xiaojun:
どういう意味ですか？ 技術曲線は最初は急で、その後だんだん平坦になるということですか？
Yang Zhilin:
はい。私はそれほど驚いていません――OpenAIはずっと次世代モデルの開発を続けてきましたから。客観的に見て、差はしばらく残るでしょうし、中国企業同士の差も当面は残るでしょう。これは技術爆発の時期です。
ただ、あと2、3年もすれば、中国のトップ企業は、この分野で土台となる仕事をより多く、うまくこなせるようになる可能性があります――技術インフラ、人材の蓄積、組織文化の沈殿も含めてです。そうした研鑽を経れば、ある面では先行しやすくなるでしょう。ただ、少し忍耐が必要です。
Zhang Xiaojun:
中国と米国は、最終的にまったく異なるAI技術エコシステムになるのでしょうか？
Yang Zhilin:
製品化や商業化の観点で見れば、エコシステムは異なるかもしれません。ただ、技術の観点では、汎用能力がまったく異なる技術ルートをたどることはありません――基本的な汎用能力は必ず似たものになります。AGIの空間は広大なので、汎用能力の上にある差別化のほうが起こりやすいです。
Zhang Xiaojun:
シリコンバレーでは長年、"one model rules all" と "many specialized (smaller) models" の議論があります。つまり、あらゆるタスクに1つの汎用モデルを使うのか、それとも特定のタスクごとに多数の専用の小型モデルを使うのか、ということです。あなたはどう考えますか？
Yang Zhilin:
私は前者の立場です。
Zhang Xiaojun:
この点について、中国と米国は大きく分かれるのでしょうか？
Yang Zhilin:
最終的には、そうは思いません。
第7部
失敗の可能性は受け入れている
「すでに私の人生は変わった」
Zhang Xiaojun:
基盤モデルの起業は、中国ではかなり特殊な存在です。これほど多くの資金を調達していても、そのかなりの部分が科学実験に使われているように見えます。このような状況で、どうやって投資家に財布を開かせるのですか？
Yang Zhilin:
米国と変わりません。
私たちが今調達した資金は、実際にはそれほど多くもありません。
だから、まだOpenAIから学ぶべきことはたくさんあります。
Zhang Xiaojun:
聞きたいのですが、GPT-4に到達するにはあとどれくらい資金が必要ですか？ Soraに到達するにはどれくらいですか？
Yang Zhilin:
GPT-4もSoraも、それほど多くの資金は必要ありません。今の資金はむしろ、次世代、あるいはその次の世代のモデルのために取っておく、フロンティア探索のためのものです。
Zhang Xiaojun:
中国の基盤モデルのスタートアップは大手企業のお金を受け取っていますが、その大手企業も自社モデルを訓練しています。基盤モデルのスタートアップと大手企業の関係をどう見ますか？
Yang Zhilin:
競争と協力の両方があります。大手企業とスタートアップでは、最優先事項が異なります。今の大手テック企業を見ればわかりますが、その第一優先はAGI企業の第一優先とは違います。第一優先が行動と成果を規定し、最終的にはエコシステム内の異なる関係を形作ります。
Zhang Xiaojun:
なぜ大手企業は、1社に大きく賭けるのではなく、複数の基盤モデル企業に少額ずつ分散投資するのでしょうか？
Yang Zhilin:
段階の問題です。
今後はさらに統合が進み、企業数は減っていくでしょう。
Zhang Xiaojun:
基盤モデル企業の最終的な行き先は、大手企業に買収されることだと言う人もいます。あなたはどう思いますか？
Yang Zhilin:
必ずしもそうではないと思います。ただ、非常に深い協業関係を築く可能性は十分あります。
Zhang Xiaojun:
たとえば、どういう形で協力するのでしょうか？
Yang Zhilin:
OpenAIとMicrosoftは、協力の典型的なモデルです。多くは参考にでき、一部はさらに改善できます。
Zhang Xiaojun:
この1年で、起業の紆余曲折はどこに表れましたか？
Yang Zhilin:
資本、人材、GPU、製品、R&D、技術など、外部変数はたくさんありました。見どころのある瞬間もあれば、乗り越えるべき困難もありました。たとえばGPUです。
かなり行き来がありました。しばらく供給が逼迫し、その後改善しました。
最も極端だった時期は、価格が日々変動しました――ある機械はある日260で、次の日には340になり、その2日後にはまた下がる、といった具合です。常に動き続ける状況でした。注意深く見ていなければなりませんでした。
価格が変わり続けるので、戦略も変わり続けました。どのチャネルを使うか、買うか借りるか――選択肢はたくさんありました。
Zhang Xiaojun:
この変動を引き起こしたのは何ですか？
Yang Zhilin:
地政学的な理由、製造自体がバッチ単位で行われること、そして市場心理が作用している。私たちは、多くの企業がGPUを返却し始めているのを見てきた。実際にはこのモデルを学習する必要が必ずしもなかったと気づいたのだ。市場心理と人々の意思決定が変わるにつれ、需給もそれに伴って変化した。良いニュースは、全体として供給が最近大幅に改善していることだ。
私の個人的な判断では、少なくとも今後1〜2年は、GPUが大きなボトルネックになることはない。
张晓军：
あなたは組織のことを常に考えているように見えます。チーム作りはどのように進めてきましたか？
杨植麟：
採用のアプローチは進化してきました。AGI人材は世界的に非常に限られており、関連経験を持つ人はまれです。私たちの最初期の採用プロファイルは、直接関連するスキルを持つ天才を見つけることに重点を置いていました。それは大成功でした。以前にモデルに「手術」を施したことがあり、超大規模モデルの学習を実地で経験した人は、非常に速く物事を構築できました。Kimiの立ち上げには、資本効率と組織効率が実際に非常に高かったのです。
张晓军：
いくらかかりましたか？
杨植麟：
かなり少額でした。ほかの多くの支出と比べると、少ないお金で大きなことをしていたという感じです。長い間、私たちは30〜40人でした。今は80人です。私たちは人材密度を追求しています。
人材のプロファイルは後に変わりました。初期には天才を採用し、その上限の高さを信じていました。会社の上限は、その人材の上限で決まるからです。その後は、人材の幅を広げ、プロダクト・運営側の人材、リーダータイプ、物事を極限まで持っていける人などを加えました。今では、より完全で、より頑健で、戦えるチームになっています。
张晓军：
中国で基盤モデルの起業が始まってから1年、ここまでの節目の成果をどう評価しますか？
杨植麟：
私たちはロケットの試作機を作り、今それを試射しているところです。チームを組み上げ、燃料の配合もいくつか把握し、初期段階のPMFもおおよそ見えてきました。月面着陸級の挑戦の最初の一歩は踏み出したと言えるでしょう。
张晓军：
Yann LeCunの立場をどう見ますか？彼は現在の技術ルートに楽観的ではありません。自己教師ありの言語モデルは世界に関する真の知識を獲得できず、モデルが大きくなるほど誤り、つまり機械の幻覚の確率はむしろ増えると考えています。彼は「world model」という概念を提案しています。
杨植麟：
根本的なボトルネックはありません。トークン空間が十分に大きくなれば、それは一般的な問題を解く新しい種類のコンピュータになり、それが一般的な world model です。
彼の発言の背後にある重要な点は、誰もが現時点の限界を見ているということです。しかし、解決策が必ずしもまったく新しい枠組みを必要とするわけではありません。AIで機能するのは、next-token prediction と scaling law だけです。トークンが十分に完全である限り、すべては可能です。もちろん、彼が指摘する問題は今の時点では確かに存在しますが、それはトークン空間を非常に汎用的にすることで解決します。それだけです。
张晓军：
つまり、彼は限界を誇張しているのですね。
杨植麟：
そう思います。根底にある第一原理は正しいのです。ただ、いくつかの小さな技術的問題がまだ未解決なだけです。
张晓军：
深層学習のゴッドファーザーであるGeoffrey Hintonが、AI安全性について繰り返し警鐘を鳴らしていることをどう思いますか？
杨植麟：
彼が安全性に注目しているということは、実は今後の技術能力の向上に非常に大きな自信を持っていることを示しています。両者は対立するものです。
张晓军：
幻覚の問題はどう解決しますか？
杨植麟：
やはり scaling law です。ただし、スケールする対象が違うだけです。
张晓军：
最終的に、scaling law が行き止まりで終わる可能性はどのくらいありますか？
杨植麟：
確率はほぼゼロです。
张晓军：
あなたのCMUの同窓生であるQi Luの見方、つまりOpenAIは必ずGoogleより大きくなる——あとは1倍、5倍、それとも10倍の違いだけ、という見方をどう思いますか？
杨植麟：
将来最も成功するAGI企業は、間違いなく今日のあらゆる企業より大きくなります。それは疑いありません。
最終的には、GDPの2倍や3倍という規模になるかもしれません。OpenAIである必要はなく、別の会社かもしれません。しかし、そういう会社は必ず現れます。
张晓军：
もしあなたがたまたまこのAI帝国のCEOになったら、人類を守るために何をしますか？
杨植麟：
今その質問を考えても、まだいくつか前提条件が足りません。ただ、私たちは間違いなく社会のさまざまな主体と協力し、そこから学ぶことに前向きですし、モデルにより多くの安全対策を組み込むことも含まれます。
张晓军：
2024年の目標は何ですか？
杨植麟：
第一に、技術的ブレークスルーです。2023年よりもはるかに良いモデルを今なら作れるはずです。第二に、ユーザーとプロダクトです。より多くのユーザーを大規模に獲得し、継続率も高めたいです。
张晓军：
2024年の世界の基盤モデル業界をどう予測しますか？
杨植麟：
今年はより多くの能力が登場しますが、景色は今日と大きくは変わらないでしょう。上位数社が依然としてリードします。能力面では、年後半にかなり大きなブレークスルーがいくつかあるはずで、その多くはOpenAIから出るでしょう。OpenAIには間違いなく次世代モデルがあります。4.5かもしれないし、5かもしれない。それは高確率の出来事に感じます。動画生成モデルは引き続きスケールしていくでしょう。
张晓军：
では、2024年の中国の基盤モデル業界についてはどう予測しますか？
杨植麟：
第一に、新しく際立った能力が現れるでしょう。中国のモデルは、先行投資と適切なチームがあるため、いくつかの次元で世界トップクラスの能力を達成するはずです。第二に、はるかに大きなユーザーベースを持つ製品が登場します——その可能性は非常に高いです。第三に、ルート選択のさらなる集約と分化が起こるでしょう。
张晓军：
この会社を始めるにあたって、最も恐れていることは何ですか？
杨植麟：
実のところ、あまりありません。恐れずに前へ突き進むだけです。
张晓军：
同業の皆さんに何か言いたいことはありますか？
Yang Zhilin:
一緒に頑張り続けましょう。
Zhang Xiaojun:
まだ答えを知らないけれど、最も知りたい基盤モデル業界に関する質問を一つ挙げてください。
Yang Zhilin:
AGIの上限がどのようなものなのか分かりません。それがどんな会社を生み出し、その会社がどんな製品を作るのか。今いちばん知りたいのはそこです。
Zhang Xiaojun:
AGIがこのまま発展し続けるとして、いちばん見たくないものは何ですか？
Yang Zhilin:
かなり楽観的に見ています。人類文明を次の段階へ進められると思います。
Zhang Xiaojun:
あなたは理想主義的すぎると言われたことはありますか？
Yang Zhilin:
私たちはかなり地に足もついています。実際にいくつか本物を作ってきました。ただ語っているだけではありません。
Zhang Xiaojun:
今日調達したお金が、これから先あなたが得られる最後のお金だとしたら、どう使いますか？
Yang Zhilin:
そんなことは起きてほしくありません。なぜなら、将来はもっと多くの資金が必要になるからです。
Zhang Xiaojun:
もしうまくいかなかったら、自分を失敗者だと思いますか？
Yang Zhilin:
それほど大きな問題ではありません。失敗が起こりうることは受け入れています。
この挑戦はすでに私の人生を完全に変えましたし、私は深く感謝しています。
(End)
情報提供のみを目的としており、投資・法律・税務・財務上の助言ではありません。