悪意あるAIモデル100超、Hugging Faceで発見！全世界にリスク

Hugging Faceプラットフォームで100以上の悪意のある人工知能(AI)/機械学習(ML)モデルが発見された。これらのモデルは、pickleファイルの読み込みによってコード実行が可能となる事例を含む。ソフトウェアサプライチェーンセキュリティ会社JFrogによると、これらのモデルのペイロードは攻撃者に被害者のマシン上でシェルを提供し、いわゆる「バックドア」を通じて被害者のマシンを完全に制御することを可能にする。このような静かな侵入は、個々のユーザーだけでなく、全世界の組織全体に影響を及ぼす可能性があり、大規模なデータ漏洩や企業スパイ行為の道を開く可能性がある。

特に、悪質なモデルは、Korea Research Environment Open Network (KREONET)に属するIPアドレス210.117.212[.]93へのリバースシェル接続を開始する。他のリポジトリでも同様のペイロードを持つものが観察されている。一部のモデルの作者は、ダウンロードしないようユーザーに促しており、この公開が研究者やAI実践者によるものである可能性がある。しかし、セキュリティ研究の基本原則は、実際に機能する悪意のあるコードやエクスプロイトを公開しないことであるが、この原則は、実際のIPアドレスに接続しようとする悪意のあるコードが試みられた時点で破られた。

また、研究者たちは、大規模言語モデル(LLMs)から有害な反応を引き出すために使用できるプロンプトを効率的に生成する方法を考案している。これには、ビームサーチベースの敵対的攻撃(BEAST)という技術が使用されている。関連する開発として、セキュリティ研究者たちは、データを盗み、マルウェアを複数のシステムに拡散する能力を持つ、ジェネレーティブAIワーム「Morris II」を開発した。Morris IIは、最も古いコンピュータワームの一つに基づいており、画像やテキストなどの入力にエンコードされた敵対的自己複製プロンプトを利用して、GenAIモデルに処理させることで、「入力を出力として複製（複製）し、悪意のある活動（ペイロード）に従事させる」。さらに、ジェネレーティブAIエコシステム内の接続性を悪用することで、新しいアプリケーションに悪意のある入力を配信するためにモデルを武器化することができる。

【ニュース解説】

Hugging Faceプラットフォームで、100以上の悪意のある人工知能(AI)/機械学習(ML)モデルが発見されました。これらのモデルは、pickleファイルを読み込むことでコード実行を可能にし、攻撃者による被害者のマシンの完全な制御を可能にする「バックドア」を提供します。この問題は、個人だけでなく、世界中の組織に大規模なデータ漏洩や企業スパイ行為のリスクをもたらす可能性があります。

特に注目すべきは、これらの悪質なモデルが、Korea Research Environment Open Network (KREONET)に属する特定のIPアドレスへのリバースシェル接続を開始することです。このような行為は、セキュリティ研究の基本原則に反しており、実際に機能する悪意のあるコードやエクスプロイトを公開するべきではありません。

さらに、大規模言語モデル(LLMs)を悪用する新たな攻撃方法が研究されています。これには、有害な反応を引き出すためのプロンプトを効率的に生成するビームサーチベースの敵対的攻撃(BEAST)や、データを盗みマルウェアを拡散する能力を持つジェネレーティブAIワーム「Morris II」などが含まれます。これらの攻撃は、ジェネレーティブAIエコシステム内の接続性を悪用し、新しいアプリケーションに悪意のある入力を配信することで、さらなる脅威を生み出す可能性があります。

このような発見は、オープンソースリポジトリ内に潜む脅威を再び浮き彫りにし、ソフトウェアサプライチェーンのリスクや、ゼロクリックワームなどの新たな脅威に対する警戒を促します。AI/MLモデルの安全性を確保するためには、開発者や研究者、そして利用者が共に意識を高く持ち、セキュリティ対策を講じることが重要です。また、このような攻撃手法の発展は、AI技術の進化に伴うリスクを理解し、適切な規制やガイドラインの策定に向けた議論を促進する必要があります。将来的には、AI/MLモデルの安全性を確保するための新たな技術や手法の開発が求められるでしょう。

from Over 100 Malicious AI/ML Models Found on Hugging Face Platform.