開発加速への新星、StarCoder2: 600言語超のコード生成モデル発表

Nvidia、Hugging Face、ServiceNowは、コード生成のための新しい大規模言語モデル（LLM）であるStarCoder2を発表した。このモデルは、開発ワークフロー内の様々なコード関連タスクを加速するために、600以上のプログラミング言語でトレーニングされている。StarCoder2は、BigCodeプロジェクトの一環として開発され、大規模言語モデルの責任ある開発と使用を目指している。Open Responsible AI Licenses（OpenRAIL）の下で、ロイヤリティフリーで提供される。

StarCoder2は、3B、7B、15Bの3つの異なるサイズで提供され、619のプログラミング言語でトレーニングされている。新しいトレーニング技術を使用しており、COBOLなどの低リソース言語も理解し生成できる。最小の3BモデルはServiceNowのFast LLMフレームワークで、7BモデルはHugging Faceのnanotronフレームワークで開発された。一方、最大の15Bモデルは、Nvidia NeMoクラウドネイティブフレームワークとNvidia TensorRT-LLMソフトウェアでトレーニングおよび最適化されている。

これらのモデルは、企業が組織データにさらに微調整を行い、アプリケーションソースコード生成、ワークフロー生成、テキスト要約、コード補完、高度なコード要約、コードスニペットの取得など、さまざまな用途に使用できる。モデルは、より広範で深いトレーニングにより、リポジトリのコンテキストを提供し、正確でコンテキストに応じた予測を可能にする。

StarCoder2ファミリーのすべてのモデルは、Open RAIL-Mライセンスの下でロイヤリティフリーでアクセスおよび使用可能であり、サポートコードはBigCodeプロジェクトのGitHubリポジトリで利用できる。また、Hugging Faceからもすべてのモデルをダウンロードして使用できる。Nvidiaによってトレーニングされた15Bモデルは、Nvidia AI Foundationでも提供され、開発者はブラウザやAPIエンドポイントから直接実験できる。

【ニュース解説】

Nvidia、Hugging Face、ServiceNowの3社が、開発ワークフロー内の様々なコード関連タスクを加速するために設計された新しい大規模言語モデル（LLM）であるStarCoder2を発表しました。このモデルは、600以上のプログラミング言語でトレーニングされており、特にCOBOLのようなリソースが少ない言語にも対応しています。StarCoder2は、3つの異なるサイズ（3B、7B、15B）で提供され、それぞれ異なるフレームワークを使用して開発されています。これにより、企業は自社のニーズに合わせてモデルを選択し、組織データにさらに微調整を行うことができます。

この技術の導入により、開発者はコード生成、ワークフロー生成、テキスト要約などのタスクを自動化し、より効率的に作業を進めることが可能になります。また、リポジトリのコンテキストを提供することで、より正確でコンテキストに応じた予測が可能となり、開発プロセスの加速に貢献します。

この技術のポジティブな側面としては、開発者の生産性の向上や、低リソース言語のサポートによる多様なプログラミング環境への対応が挙げられます。一方で、潜在的なリスクとしては、自動生成されたコードの品質管理やセキュリティ問題が考えられます。また、このような技術の普及により、プログラミングスキルの要求水準が変化する可能性もあります。

規制に与える影響としては、AIによるコード生成の透明性や責任の所在に関するガイドラインが必要になるかもしれません。将来的には、この技術がさらに進化し、より複雑な開発タスクを自動化することで、ソフトウェア開発のパラダイムを変える可能性があります。

StarCoder2は、Open RAIL-Mライセンスの下でロイヤリティフリーで提供され、GitHubやHugging Face、Nvidia AI Foundationを通じてアクセス可能です。これにより、開発者は容易にこの技術を試し、自身のプロジェクトに適用することができます。このようなオープンなアクセスは、技術の普及とイノベーションを促進する重要な要素です。

from Nvidia, Hugging Face and ServiceNow release new StarCoder2 LLMs for code generation.