データは、Gen AI がソフトウェアの生産性を向上させることを示唆しています - これらの開発者にとって

新しい研究では、個人レベルでの世代 AI 導入の成功と不一致が浮き彫りになっています。

近年、生成 AI (gen AI) がオンデマンドでコード スニペット、提案、関連ドキュメントを生成するため、ソフトウェア開発者の作業がどのように楽になるかについて大騒ぎになっています。もちろん、多くの開発者は生産性が直感的に求められていると感じています。今、私たちはその前提を裏付ける確かなデータを手に入れました。

しかし、注目に値するのは、AI は上級開発者よりもこの仕事に新人の開発者を助けるということです。MIT、マイクロソフト、プリンストン大学、ペンシルバニア大学の研究者らが行った新しい調査では、次のように結論付けています。研究者らは、マイクロソフト、アクセンチュア、およびフォーチュン 100 に名を連ねる電子機器製造会社（匿名）で 4,867 人の開発者が参加して実施された 3 つの試験のデータを分析しました。残念なことに、アクセンチュア部門の参加者の40％が実験の途中で解雇されたと研究者らは指摘した。したがって、現実世界では AI の栄光が緩和されます。

これらの実験は、インテリジェントなコード補完を提案するオープンソースの AI ベースのコーディング アシスタントである GitHub Copilot を開発者が使用して、通常の業務の一環として両社によって実施されました。 「私たちの分析では、AI ツールを使用している開発者の間で完了したタスクの数が 26% 増加していることが明らかになりました」と研究者らは述べています。

重要なのは、経験の浅い開発者ほど AI の導入率が高く、生産性が大幅に向上していることです。 「Copilot は、最近採用された人やより下位の職にある開発者のタスク完了率を大幅に向上させますが、在職期間が長い開発者やより上級の職にある開発者には影響を与えません」と研究者らは指摘しています。在職期間が短い開発者は生産量を 27% ～ 39% 増加させましたが、在職期間が長い開発者は 8% ～ 13% のわずかな増加でした。

研究者らは、成熟した開発者が最初に CoPllot を試した後に放棄したのではないかとさえ推測しました。 「Copilot は、職場で使用される他の AI ツールと比べて、比較的簡単でコストも低い」と彼らは述べています。 「Copilot は補完的な投資を必要とせず、個人レベルで導入でき、すでにソフトウェア開発環境に統合されています。」

しかし、これらの利点にもかかわらず、CoPilotの採用率は「3回の実験すべてで100％を大幅に下回っており、約30％から40％のエンジニアは製品を試しさえしていない」と彼らは指摘した。 「さらに、導入率は実験全体で驚くほど類似しています。これは、個人の好みやツールの有用性の認識など、アクセス以外の要素が、エンジニアがこのツールを使用するかどうかを決定する際に重要な役割を果たしているということを示唆しています。」

この調査では、全体的な生産性の向上に加えて、特定のコーディング タスクの向上も明らかになりました。コード更新 (コミット) の数は 14% 増加し、コードのコンパイル回数は 38% 増加しました。

幸いなことに、ソフトウェアの作業は、高度に構造化されたワークフローに従って比較的簡単に測定でき、バージョン管理ソフトウェアを通じて特定のタスクが定義および追跡されます。 「したがって、内部で定義された目標とタスクは定量化できる」と研究者らは指摘した。