Microsoftは、顧客のAIアプリケーションにおける「幻覚」を検出する新しい安全システムを開発しました。このシステムは、Azure AI Studioツールを通じて、悪意のあるプロンプト攻撃やサポートされていない応答、いわゆる「幻覚」をリアルタイムでスクリーニングします。Microsoftの責任あるAIのチーフプロダクトオフィサー、Sarah Birdによると、このシステムはAzureの顧客がAIサービスを構築する際に、専門的な知識がなくても使用できるように設計されています。
この安全システムには、プロンプトシールド（Prompt Shields）、根拠検出（Groundedness Detection）、安全評価の3つの機能があり、それぞれがプロンプト注入や悪意のあるプロンプトのブロック、幻覚の検出とブロック、モデルの脆弱性評価を行います。これらは現在、Azure AIでプレビューとして利用可能です。さらに、モデルを安全な出力に導くための機能や、問題のあるユーザーを特定するためのプロンプト追跡機能も近日中に追加される予定です。
ユーザーがプロンプトを入力する際や、モデルがサードパーティのデータを処理する際に、この監視システムは禁止された単語のトリガーや隠されたプロンプトがないかを評価し、その後でモデルに応答を求めます。そして、モデルの応答をチェックして、文書やプロンプトにない情報を「幻覚」していないかを確認します。
Microsoftは、特にAzureを使用してAIモデルにアクセスする顧客が増える中、ソフトウェアの安全性とセキュリティを強化するためにAIに注力しています。また、強力なAIモデルの提供範囲を拡大するために、最近ではフランスのAI企業Mistralとの独占契約を結び、Mistral LargeモデルをAzureで提供することになりました。
【ニュース解説】
Microsoftが開発した新しい安全システムは、顧客が作成したAIアプリケーション内で発生する「幻覚」を検出することができます。このシステムは、Azure AI Studioツールを使用して、悪意のあるプロンプト攻撃やサポートされていない応答をリアルタイムで識別し、対処することが可能です。この技術は、AIの応答が不適切または意図しない結果を引き起こすことを防ぐために設計されています。
この安全システムには、プロンプトシールド、根拠検出、安全評価の3つの主要機能が含まれています。これらの機能は、AIモデルが不適切な指示に従うことを防ぎ、サポートされていない情報に基づく応答をブロックし、モデルの脆弱性を評価することができます。これにより、AIが生成するコンテンツの品質と安全性が向上します。
このシステムの導入により、AI技術の利用が拡大する中で生じる可能性のある問題、例えば、不適切なコンテンツの生成や偏見のある情報の拡散などを防ぐことができます。また、ユーザーが意図的にAIを悪用しようとする試みも防ぐことが可能になります。
しかし、このような安全システムの導入には、AIモデルが何を「不適切」と判断するかについての透明性や、表現の自由に対する潜在的な影響など、考慮すべき課題も存在します。Microsoftは、ユーザーがフィルタリングの設定を調整できるようにすることで、これらの懸念に対処しようとしています。
長期的には、このような安全システムの発展と普及が、AI技術の責任ある使用を促進し、AIによるイノベーションが社会にポジティブな影響をもたらすことを確実にするための重要なステップとなるでしょう。同時に、技術の進化に伴い、これらのシステムを継続的に更新し、新たな脅威や課題に対応する必要があります。
from Microsoft’s new safety system can catch hallucinations in its customers’ AI apps.
“Microsoft、AI「幻覚」検出の新安全システムを開発” への2件のフィードバック
Microsoftが開発したAIアプリケーションの「幻覚」を検出する新しい安全システムは、教育分野においても大きな可能性を秘めていると考えます。私たち教育者は、生徒たちに最新のテクノロジーを活用した学習体験を提供したいと常に考えていますが、その過程で生じうるセキュリティリスクや不適切なコンテンツへの露出は常に懸念の対象です。この新しいシステムによって、AIを利用した教育ツールがより安全に、かつ責任を持って使用できるようになることは、教育現場にとって非常に価値のある進歩だと思います。
特に、プロンプトシールドや根拠検出などの機能は、生徒たちが学習中に遭遇する可能性のある不適切な情報や偏見をフィルタリングする上で非常に役立つでしょう。また、安全評価機能は、教育者が使用するAIツールのセキュリティを定期的にチェックし、生徒たちを守るための追加の保護層を提供します。
しかし、このようなシステムの導入にあたっては、フィルタリングの基準に関する透明性や、教育内容への不当な介入がないことを保証する必要があります。私たちは、生徒たちに多様な視点を提供し、批判的思考を育むことを目指していますので、AIによるフィルタリングが教育の質に悪影響を及ぼさないよう、慎重な配慮が求められます。
最終的には、このような安全システムが、教育者と生徒双方にとって有益なツールとなり、教育の質の向上に貢献することを期待しています。AIの可能性を最大限に活用しながらも、そのリスクを適切に管理することが、私たち教育者の責任であり、この新しいシステムはその実現に向けた重要な一歩となるでしょう。
Microsoftが開発したAIアプリケーションの「幻覚」を検出する新しい安全システムは、技術の進化における重要な一歩であると認識しています。このシステムは、AIの生成するコンテンツの品質と安全性を向上させることで、AI技術の責任ある使用を促進することに貢献します。しかし、私はAIが芸術や文化に及ぼす影響について懐疑的な立場を取っています。AIによるコンテンツ生成が、人間の創造性や感情を完全に再現することはできないと信じており、このような安全システムがAI技術の進化を促進する一方で、人間の芸術家や文化的な表現の価値を脅かす可能性もあると懸念しています。
特に、AIが何を「不適切」と判断するかについての透明性や、表現の自由に対する潜在的な影響は、私たちが注意深く監視する必要がある課題です。テクノロジーが進化するにつれて、人間の感性や文化的価値を尊重し、これらを保護する方法を見つけることが重要です。私たちは、テクノロジーが私たちの生活を豊かにするためのツールであることを忘れてはならず、それが私たちの創造性や文化的な表現を置き換えることがないようにする必要があります。
Microsoftの取り組みは、AI技術の安全性とセキュリティを強化する上で価値があるものですが、私たちは同時に、これらの技術が人間の芸術や文化に与える影響についても、引き続き議論し、考慮する必要があります。AIと人間の創造性の共存のバランスを見つけることが、これからの大きな課題であると考えています。