Microsoft Researchが切り開く、LLMの新境地とその未来展望

Microsoft Researchは、最新の研究成果やイベント、新規採用など、研究コミュニティ全体の注目すべきマイルストーンを紹介する「Research Focus」シリーズのブログ投稿を公開しました。

最近の研究では、大規模言語モデル（LLM）が最新情報を取得し、外部環境で意味のある行動を取るためにツールが不可欠であることが示されています。しかし、LLMが訓練されたツールをどれだけ正確に使用できるかという問題は、これまであまり研究されていませんでした。Microsoftの研究者たちは、GPT-4や特定のツール使用に特化して微調整されたオープンソースのLLMを含む既存のLLMが、実用的な使用には信頼性が低すぎる30%から60%の正確さしか達成していないことを発見しました。彼らは、試行錯誤、想像力、記憶の3つのメカニズムを組み合わせた、生物学に触発された方法であるシミュレーション試行錯誤（STE）を提案しています。STEはツールの使用に関する妥当なシナリオをシミュレートし、LLMがその実行フィードバックから学習するようにします。短期および長期記憶の両方が、探索の深さと幅を改善するために使用されます。ToolBenchでの実験により、STEはコンテキスト内学習と微調整の設定の両方でLLMのツール学習を大幅に改善することが示されました。

また、Microsoftの研究者たちは、最新のLLMが複数のタスクとベンチマークで古い言語モデルのパフォーマンスを上回り、時には人間のパフォーマンスに近づく、またはそれを超えることがあるが、これがモデルの能力の向上によるものなのか、データセットのアーティファクトやテストデータセットの汚染、真の能力を測定するデータセットの欠如などの他の効果によるものなのかは常に明らかではないと指摘しています。このため、LLMの能力と限界を理解するための研究が最近増加していますが、多くは英語に限定されており、非英語言語でのLLMの構築と評価は比較的未探索のままです。最近導入されたいくつかの新しいLLMを非英語言語で評価する必要があります。MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasksという論文では、GPT-3.5-Turbo、GPT-4、PaLM2、Mistral、Gemini、Gemma、Llama2などの最先端のLLMの非英語能力を、同じセットの多言語データセットで比較することにより、徹底的な評価を行うことを目指しています。彼らのベンチマークには、いくつかの低リソースのアフリカ言語を含む81言語をカバーする22のデータセットが含まれています。また、ベンチマークには2つのマルチモーダルデータセットも含まれており、LLaVA-v1.5とGPT-4-Visionのパフォーマンスを比較しています。実験により、GPT-4とPaLM2がさまざまなタスクでLlamaとMistralモデルを上回り、特に低リソース言語でGPT-4がPaLM2を上回ることが示されました。しかし、非英語言語でのLLMのパフォーマンスを正確に評価するためには、データ汚染などの問題に対処する必要があります。

さらに、オーディオ記録のテキスト説明を作成するプロセスである自動オーディオキャプション（AAC）に関する研究があります。従来のAACシステムは、オーディオとテキストのペアの高価なキュレーションされたデータを必要としますが、これは適切なデータの不足を引き起こし、モデルトレーニングを妨げることがあります。Microsoftとカーネギーメロン大学の研究者は、テキストの説明のみを使用してAACシステムをトレーニングする新しいパラダイムを提案しています。これにより、ペアのオーディオとテキストの説明の要件がなくなります。彼らのアプローチは、オーディオとテキストのエンコーダーを使用してオーディオとテキストの間に共有ベクトル表現を作成するコントラスト学習モデルであるCLAPを活用しています。たとえば、「サイレンが鳴っている」というテキストとその対応するオーディオ録音は、同じベクトルを共有します。モデルは、事前訓練されたCLAPテキストエンコーダーに条件付けされたGPT言語デコーダーがキャプションを生成するテキストキャプションでトレーニングされます。推論中には、オーディオ入力が最初に事前訓練されたCLAPオーディオエンコーダーを使用してそのベクトルに変換され、次にテキストキャプションが生成されます。研究者は、提案されたテキストのみのフレームワークが、テキストとオーディオの両方でトレーニングされたトップティアのモデルと競合することを発見し、効率的なテキストからオーディオへの変換が可能であることを証明しました。彼らはまた、特定の分野にキャプション生成を調整するために有益な、さまざまな執筆スタイルを組み込む能力を実証しました。最後に、LLM生成テキストでトレーニングを豊かにすることでパフォーマンスが向上し、語彙の多様性を増やす可能性があることを強調しました。

【ニュース解説】

Microsoft Researchが最新の研究成果やイベントなどを紹介する「Research Focus」シリーズの一環として、大規模言語モデル（LLM）の進化とその応用に関する興味深い研究が公開されました。この中で、特に注目されるのは、LLMが外部環境でのタスク実行に必要なツールの使用方法を学習する新しいアプローチ、多言語でのLLMの性能評価、そしてオーディオキャプションの生成に関する研究です。

まず、LLMがツールを使用する際の正確性を向上させるために、シミュレーション試行錯誤（STE）という方法が提案されました。このアプローチは、試行錯誤、想像力、記憶の3つのメカニズムを組み合わせることで、LLMがツールの使用方法をより効果的に学習できるようにします。これにより、LLMが外部環境でより正確に行動することが可能になり、例えば、自動的な情報収集やタスクの自動化など、より複雑な作業を実行できるようになります。しかし、この技術の発展には、ツールの使用における倫理的な問題や、誤った情報に基づく行動のリスクなど、慎重な検討が必要です。

次に、非英語言語でのLLMの性能を評価する研究では、多言語データセットを用いたベンチマークが行われました。この研究は、LLMが英語以外の言語においても高い性能を発揮することを示していますが、特に低リソース言語での性能向上が注目されます。これにより、多言語での自然言語処理技術の普及が進み、言語の壁を越えた情報アクセスやコミュニケーションが容易になることが期待されます。ただし、データセットの質や多様性の問題、文化的なニュアンスの理解など、さらなる課題も残されています。

最後に、オーディオキャプションの生成に関する研究では、テキストのみを用いた新しいトレーニングパラダイムが提案されました。これにより、オーディオとテキストのペアが不足している状況でも、効率的にオーディオキャプションモデルをトレーニングできるようになります。この技術は、例えば、ビデオコンテンツのアクセシビリティ向上や、環境音の自動認識など、幅広い応用が考えられます。しかし、実際のオーディオとテキストのマッチングの精度や、生成されるキャプションの自然さなど、さらなる改善が求められるでしょう。

これらの研究は、LLMの応用範囲を広げ、より実用的な技術へと進化させるための重要な一歩を示しています。しかし、技術の進歩に伴う倫理的な問題や、社会への影響など、様々な側面からの検討が必要です。これらの研究成果が将来にどのような影響を与えるか、引き続き注目が集まります。

from Research Focus: Week of April 1, 2024.