生成AIの弱点が相次ぎ発覚　ChatGPTやGeminiがサイバー攻撃の標的に　情報流出や不正操作の恐れも：この頃、セキュリティ界隈で

[鈴木聖子，ITmedia]

　米OpenAIの「ChatGPT」やGoogleの「Gemini」など、主要生成AIの弱点や脆弱性が次々に発覚している。企業や個人の日常生活に浸透している生成AIが悪用されれば、社外秘情報や個人情報の流出を招いたり、悪用防止対策がかわされて偽情報の作成に利用されたりする恐れもある。

　イスラエルのベングリオン大学の研究チームは、生成AIとユーザーの間に割り込んでデータパケットを傍受し、AIの回答内容を高い精度で復元する攻撃に成功したと発表した。この攻撃は、生成AIがユーザーの質問に回答する際のデータ処理に存在する脆弱性を突いている。

（関連記事：他人がGPT-4とやりとりしたテキストを盗む攻撃　成功率50％以上　イスラエルの研究者らが発表）

　ChatGPTなどの生成AIがユーザーの指示や質問に対して答えを返す際は、文章を単語や文字ごとにトークン化し、個々のトークンを連続的にユーザーに送信している。そのプロセスは暗号化されているものの、研究チームは個々に送信されるトークンのパケットのサイズから、単語の長さを推測できることに目を付けた。

　このデータパケットを、暗号化された情報解読の手掛かりとなるサイドチャネルとして利用し、大規模言語モデル（LLM）を使って解析することで内容を類推。その結果、傍受した生成AIの回答の29％を正確に再現でき、55％はトピックを類推することに成功したとしている。

　この攻撃はOpenAIのChatGPTや米Microsoftの「Copilot」を含め、Gemini以外の主要生成AIに対して有効だという。米メディアのArs Technicaによれば、この脆弱性についてMicrosoftは対応を表明し、OpenAIは対策について説明している。

Geminiにも不正操作の脆弱性

　GoogleのGeminiもこうした脆弱性と無縁ではない。AIセキュリティ対策を手掛ける米HiddenLayerは、攻撃者がGeminiを不正操作できてしまう脆弱性が見つかったと伝えた。この問題は、Geminiを使うに当たってさまざまな条件を事前に設定する「システムプロンプト」に関係している。

　Geminiは通常、システムプロンプトに関する質問には答えない仕組みになっている。実験では、最初のプロンプトで秘密のパスフレーズを与え、誰にも明かさないよう指示。このパスフレーズについて直接的に質問しても、漏えいさせることはできなかった。

　しかし類義語を使ったり、箇条書きで表示するよう命令したりするなどして質問の仕方を調整した結果、秘密にすべきパスフレーズも含めて、プロンプトで指示した内容を明かしてしまったという。

　この問題を突かれれば、Gemini APIを使っている企業などからプロンプトに含まれる社外秘情報が流出する恐れがあるとされる。同様の方法で、偽情報の生成を防ぐGeminiの対策をかわして選挙に関する偽情報を生成させる「ジェイルブレーク」攻撃も実行できたという。

　今回の実験には「Gemini Pro」を利用しているが、この脆弱性はGeminiだけでなくほとんどのLLMに存在するという。「LLMの規模が大きくなるほど、あらゆる種類の攻撃に対して調整することが難しくなり、同義語や類義語を使う攻撃に対して脆弱になる傾向がある」（HiddenLayer）

　他にも生成AIの脆弱性や弱点については、研究者やサイバーセキュリティ企業がさまざまな論文やブログで指摘している。生成AIそのものだけでなく、プラグインを使ってGitHubやGoogle Drive、Salesforceなど多種多様なサービスに生成AIが組み込まれるようになる中で、そうした「生成AIエコシステム」を通じてユーザーのアカウントに不正アクセスされるリスクも指摘されている。