メリーランド大発、AI攻撃手法「BEAST」が安全性に警鐘

メリーランド大学のコンピュータサイエンティストが、大規模言語モデル（LLM）から有害な応答を引き出すための新しい方法を開発した。この技術はBEASTと呼ばれ、従来の方法よりも速く、1分間のGPU処理時間で89％の攻撃成功率を達成している。BEASTは公開されているモデルに対しても使用可能で、トークンの確率スコアがあれば攻撃が行える。さらに、読みやすい敵対的なプロンプトを作成でき、ソーシャルエンジニアリング攻撃に利用される可能性がある。

BEASTによる攻撃は、LLMの安全性トレーニングによって緩和される可能性がある。この技術はモデルの誤応答を引き出すことができ、特定のデータがトレーニングセットの一部であるかをテストすることも可能である。また、BEASTの攻撃はプライバシー攻撃の性能を向上させ、言語モデルの監査ツールに影響を与える可能性がある。証明可能な安全保証の開発が、安全な展開を可能にするために重要である。

BEASTの研究は、言語モデルが高速な攻撃に脆弱であることを示している。AIモデルはアライメントトレーニングによって安全にすることができるが、より強力なAIモデルの安全な展開を実現するためには、証明可能な安全保証が必要である。

【ニュース解説】

メリーランド大学の研究チームが、大規模言語モデル（LLM）に対する新しいタイプの攻撃手法「BEAST」を開発しました。この手法は、従来の攻撃よりもはるかに高速で、わずか1分間のGPU処理時間を使用して、LLMから有害な応答を引き出すことが可能です。BEASTは、特定のトークンの確率スコアが得られる限り、公開されているモデルに対しても攻撃を行うことができます。この技術は、読みやすい敵対的なプロンプトを生成することが可能であり、これによりソーシャルエンジニアリング攻撃に利用されるリスクがあります。

BEASTによる攻撃は、LLMの安全性トレーニングによってある程度緩和される可能性がありますが、この研究は言語モデルが高速な攻撃に対して脆弱であることを示しています。この技術は、モデルが誤った応答をするように仕向けることができるだけでなく、特定のデータがモデルのトレーニングセットの一部であるかどうかをテストすることにより、プライバシーに関する攻撃の性能を向上させることができます。

この技術の開発は、AIモデルの安全性を高めるためのアライメントトレーニングの重要性を浮き彫りにしています。しかし、より強力なAIモデルを安全に展開するためには、証明可能な安全保証の開発が必要であると研究チームは指摘しています。これは、AIの安全性を確保するための新たな課題を提示しており、今後のAI技術の発展において重要な考慮事項となるでしょう。

この技術のポジティブな側面としては、AIモデルの脆弱性を明らかにし、それに対する防御策を強化することが挙げられます。一方で、潜在的なリスクとしては、悪意のある利用者がこの技術を使用して、有害な情報を拡散させたり、プライバシーを侵害する可能性があります。また、この技術の登場により、AIモデルの規制や監督に関する議論が加速する可能性があります。将来的には、AIモデルの安全性を確保するための新たな基準やガイドラインが設けられることが期待されます。

from Gone in 60 seconds: BEAST AI model attack needs just a minute of GPU time to breach LLM guardails.