非営利研究グループのMETR(モデル評価・脅威研究)が2025年7月10日に公表した研究で、AIコーディングツールが経験豊富な開発者の作業を遅らせることが判明しました。
2025年2月から6月にかけて実施されたこの研究には、16人の開発者が参加し、自身が精通する大規模オープンソースプロジェクトの課題246件に取り組んでいます。
使用されたツールは主に、Anthropic社のClaude 3.5および3.7 Sonnetを搭載したAIコードエディタのCursor Proです。
AIの使用を許可した場合、作業完了時間は実際には19%増加しました。これは、開発者が事前に予測した24%の速度向上という期待とは逆の結果です。さらに開発者は、研究後もAIによって作業が20%速くなったと認識しており、体感と現実の間に大きな乖離が見られました。
From: AI coding tools make developers slower but they think they’re faster, study finds
【編集部解説】
今回のMETRによる「AIコーディングツールは開発者の作業を19%遅らせる」という研究結果は、AIによる生産性向上の潮流に一石を投じる、非常に興味深い内容です。特に注目すべきは、作業が遅くなったにもかかわらず、開発者本人は「速くなった」と信じていたという、認識と現実の大きなギャップです。
これは、AIが単なる道具ではなく、私たちの仕事の進め方や「達成感」の感じ方そのものを変質させている可能性を示唆しています。AIの提案を修正・編集する作業は、ゼロからコードを構築するよりも精神的な負担が少なく、より「快適」だと感じられるためかもしれません。
では、なぜこのような逆転現象が起きたのでしょうか。研究が指摘するように、今回は「大規模で複雑なリポジトリを熟知した、経験豊富な開発者」という、非常に特殊な条件下での実験でした。彼らにとって、AIが生成する、方向性は合っていても細部が不正確なコードは、助けになるどころか、むしろデバッグに時間を要する「手戻り」の原因となったようです。AIが、コードの背後にある暗黙的な文脈や設計思想を、まだ完全には理解しきれていない証左と言えるでしょう。
もちろん、この結果をもって「AIコーディングツールは役に立たない」と結論づけるのは早計です。他の研究では、AIがコーダーを56%高速化させた事例や、タスク完了数を26%増加させたという報告も存在します。
初心者や、未知の分野に取り組む開発者にとって、AIが強力な武器であることは依然として変わりありません。
今回の研究が示すのは、AI開発の次なる挑戦です。単にコードを生成するだけでなく、プロジェクト全体の文脈を深く理解し、開発者の「思考のパートナー」として真に機能する能力が求められています。この「生産性の罠」は、AIがまだ発展途上であることの証明であり、同時に、人間とAIがより高度に協業する未来への重要なマイルストーンとなるでしょう。
【用語解説】
ハルシネーション (Hallucination)
AIが、事実に基づかない情報を、もっともらしく生成する現象のこと。AIの「幻覚」とも訳されます。
リポジトリ (Repository)
ソースコードやドキュメント、変更履歴など、ソフトウェア開発に関するあらゆる情報を一元的に保存・管理する場所のことです。
ランダム化比較試験 (Randomized Controlled Trial – RCT)
評価したい介入を行うグループと行わないグループをランダムに分け、結果を比較することで、介入の効果を客観的に評価する研究手法です。
コンテキスト (Context)
文脈。ソフトウェア開発においては、プロジェクト全体の設計思想、コード間の依存関係など、コードの字面だけでは読み取れない暗黙的な情報を指します。
プロンプト (Prompt)
AIに対して、特定の応答やタスクの実行を促すための指示や入力のことです。
レイテンシー (Latency)
遅延時間。AIの文脈では、プロンプトを入力してからAIが応答を生成し終えるまでの時間を指します。
オープンソース (Open Source)
ソースコードが公開されており、誰でも自由に利用、修正、再配布が可能なソフトウェア、またはその開発手法のことです。
【参考リンク】
METR(外部)
フロンティアAIモデルの評価を専門とする非営利の研究機関。
Cursor(外部)
AIファーストで設計されたコードエディタ。本研究で主に使用されました。
Anthropic(外部)
本記事に登場するAIモデル「Claude 3.5 Sonnet」を開発した企業。
【参考記事】
AI slows down some experienced software developers, study finds(外部)
ロイターによるMETR研究の報道。バランスの取れた視点を提供しています。
AI coding tools may not speed up every developer, study shows(外部)
TechCrunchによる解説記事。AIの生産性向上が普遍的ではない可能性を論じています。
【編集部後記】
AIに仕事を任せることで、私たちは本当に楽になっているのでしょうか。今回の研究は、そんな素朴な問いを私たちに投げかけます。
日々AIに触れている読者の皆さんは、その利便性の裏側にある「新たな手間」や「思考の変化」を感じたことはありませんか?生産性だけではない、AIとの新しい関係性について、皆さんの考えをぜひお聞かせください。