企業がプライベートLLMやチャットボットを使用する際、適切なセキュリティコントロールを実装しなければ、データ汚染やデータ漏洩のリスクが生じる可能性がある。Synopsysは、SamurAIが作成したEmbedAIコンポーネントに影響を与えるCSRFの脆弱性を公開し、攻撃者がユーザーを騙して汚染されたデータをアップロードできるリスクを指摘している。AIシステムやサービスの脆弱性は、モデル自体ではなく、使用されるソフトウェアコンポーネントやツールに起因することが多い。
AIシステムやサービスは、セキュリティ設計やレビューが限定的なオープンソースコンポーネントをベースにしているため、攻撃のリスクが存在する。Rayフレームワークを悪用した攻撃が報告されており、プライベートなAIパワードLLMやチャットボットも攻撃の対象となり得る。そのため、AIシステムを開発する際には、セキュリティ設計とレビューを徹底し、ソフトウェアアセットを最小限に抑え、定期的にアップデートすることが重要である。
データセキュリティを確保するためには、プライベートLLMやチャットボットを使用する企業はデータセグメンテーションを行い、アクセス権限に基づいて構築されたLLMサービスにのみ従業員がアクセスできるようにする必要がある。また、データのクリーニングを重視し、大量のデータにアクセスできるLLMへのアクセス権限を制限することが推奨される。企業は、AIツールのコンポーネントを最小限に抑え、ソフトウェアアセットを定期的にアップデートし、攻撃を困難にするためのコントロールを実装することが求められる。
【ニュース解説】
企業がプライベートな大規模言語モデル（LLM）やチャットボットを利用して、従業員が非構造化データから情報を得る手段としている現在、セキュリティの脆弱性がデータ汚染やデータ漏洩のリスクを引き起こす可能性があるという問題が浮上しています。特に、AIプロバイダーSamurAIが作成したEmbedAIコンポーネントに影響を与えるクロスサイトリクエストフォージェリ（CSRF）の脆弱性が指摘されており、攻撃者がユーザーを騙して汚染されたデータをアップロードすることが可能になるという警告が出されています。
この問題は、AIモデル自体よりも、AIアプリケーションやインターフェースを開発するために使用されるソフトウェアコンポーネントやツールに起因することが多いとされています。例えば、Rayという人気のAIフレームワークを悪用した攻撃が報告されており、これはプライベートなAIパワードLLMやチャットボットも攻撃の対象となり得ることを示しています。
このような背景から、企業がAIシステムを安全に利用するためには、セキュリティ設計とレビューを徹底することが重要です。具体的には、使用するソフトウェアコンポーネントを最小限に抑え、定期的にアップデートを行い、攻撃を困難にするためのコントロールを実装する必要があります。
また、データセキュリティを確保するためには、データセグメンテーションを行い、従業員がアクセス権限に基づいて構築されたLLMサービスにのみアクセスできるようにすることが推奨されます。これにより、大量のデータにアクセスできるLLMへのアクセス権限を制限し、データのクリーニングを重視することが求められます。
この問題への対応は、単に技術的な側面だけでなく、企業がAIをビジネスプロセスに統合する際のセキュリティ意識の向上も含めた包括的なアプローチが必要です。AIの利用が拡大する中で、セキュリティリスクへの対策は企業にとって避けて通れない課題となっています。
from Flawed AI Tools Create Worries for Private LLMs, Chatbots.
