コーディングエージェントが完了した仕事をどう測るか
McKinseyとCognitionの提携が成果測定に焦点を当てる。生成コードの増加だけでは、納品価値の向上は証明できない。

11月16日、McKinseyとCognitionは、Devinと企業変革サービスを組み合わせ、ソフトウェア開発を拡大し事業価値を測る提携を発表した。発表
これは商業提携であり、全企業が同じ利益を得ると証明した実験ではない。コード生成が容易になる中、買い手は活動の増加と完了した仕事の増加をどう見分けるのか。以下はOpen Market Notesの分析であり、Devinの独立した性能試験ではない。
プルリクエストはまだ事業成果ではない
開発ツールは、コード行数、作成したタスク、提案した変更など数えやすい記録を残す。それらは利用量を表すが、価値を単独では示さない。変更は確認後に配備されることも、要件変更で廃棄されることもある。どちらも活動記録を作るが経済的意味は異なる。
受け入れ単位は、合意した互換性とテスト条件を満たすインターフェース移行など、範囲を定めた変更にできる。これは仮想の管理例であり、提携企業の顧客事例ではない。計測にはタスク定義、環境準備、人による審査、修正、公開後の手戻りを含めたい。エージェントの実行時間だけでは、他の参加者の費用が帳簿から抜ける。
高速生成を否定しているわけではない。局所的な効率を全体の工程につなぐ必要がある。テスト環境の確保に三日かかるなら、実装二時間の節約が納品を二時間早めるとは限らない。どこで時間を節約し、後続工程が増えた仕事を受け入れられるかを見るべきだ。
古い結論と新しい測定問題を一緒に見る
METRの2025年初期ツールに関する無作為化研究では、参加した熟練オープンソース開発者がAIを使える条件で19%長く時間を要した。特定の人、案件、時期の結果だ。原研究
2026年2月、METRは参加者の選択効果や並列エージェント利用時の計時問題から、追試で当時の生産性効果を信頼できる形で推定できないと説明した。更新
両者を併せて読む必要がある。以前の結果を今の製品へ直接当てはめればツールの変化を無視する。開発者がAIを手放したがらないことを、利益の正確な測定と扱うのも証拠の範囲を超える。企業は単一の外部数値ではなく、自分の仕事に合う観察を必要としている。
並行作業は特に誤算しやすい。エンジニアが五つの作業を割り当てても、五エージェントの実行時間を足して削減労働とすることはできない。人は待っているか、他の仕事をしているか、集中したレビュー依頼に対応しているかもしれない。経過時間、実際の人的投入、完了量を別々に記録したい。
試行には失敗した仕事も残す
開始前に、範囲が明確でリスクを管理できる作業を選び、従来の方法と受け入れ条件を保存できる。難度、コードベースへの習熟、依存条件をできるだけ比較可能にする。無作為割当が難しければ観察的な試行と明記し、全ての差をツールの効果としない。
未完了、手戻り、中止も記録に残す必要がある。成功例だけを報告すれば、最初から有利な答えを選んでいる。失敗は製品が無価値という意味ではなく、不向きな作業、権限不足、テスト不足を示すこともある。原因を分類すれば次の割当を改善できる。
DORAの2025年研究は、AIが組織の既存の強みと弱みを増幅すると述べる。研究報告 どの会社にも一定の結果を保証する法則ではない。ただし、明確な要件、安定したテスト、実行可能な審査ルールを説明から消せないと示唆する。それらも評価対象の導入の一部である。
節約時間には使い道が必要
実装時間を節約したチームを考えよう。経済効果は、残業や外注の削減、先送り案件の完成、品質への追加の注意という形を取れる。いずれも価値を持ち得るが同じ利益ではなく、二重計上してはいけない。
節約時間に給与を掛けるのは能力の見積もりであり、自動的な現金支出削減ではない。人員と支出が変わらなければ、得られたのは費用減ではなく余力かもしれない。その価値は次に何をし、顧客が必要とし、保守負担が増えるかによる。
評価には契約料、モデル利用、実行環境、接続、研修、人による監督も含めるべきだ。全費用を正確に配賦できなくても、不確実性を記す方がゼロ扱いよりよい。初期試行では幅と前提を示し、安定した収益倍率を早々に約束せず、運用証拠で更新できる。
出荷後も検証は続く
提携は製品能力と導入サービスを組み合わせ、企業向け購入経路を作る。その有効性は顧客案件が示す必要がある。まず同じ品質基準で受け入れ、後には増えた成果物が障害、レビュー待ち、保守を増やしていないかを見る。
商業的な検証は、エンジニアの削減人数である必要はない。予算不足だった有用な案件を今は確実に完了できるなら、それも利益になり得る。どの目標でも、事前の完了定義、全費用の記録、時間を置いた結果確認が必要だ。コード生成は出発点であり、買い手が求めるのは説明可能な納品改善である。
情報提供を目的とした内容です。投資・法律・税務・財務上の助言には該当しません。