生成AIでできることがどんどん増えてきました。
文章だけでなく、画像や映像、曲も生成してくれる時代です。

LLM(=大規模言語モデル)の導入で飛躍的に向上した生成AIの技術をわたしたちは便利に使うことができますが、それはサイバー攻撃を仕掛けるハッカーにとっても同じことです。

生成AIでウイルスを生成する、あるいはAIがAIを騙すというサイバー攻撃の形も多様化しつつあります。

どのような手口があるのかご紹介します。

昨年、対話形生成AIを悪用してウイルスを作成したとして、警視庁が20代の男を逮捕しました。その後男には懲役3年、執行猶予4年の有罪判決が下されています。*1

この事件で驚くべきことは、彼にITの知識はないもののウイルスを1か月程度で完成させたという点です。具体的には、

・特定のファイルを暗号化して使用不能にする
・暗号資産「ビットコイン」の支払いを求める文章を作る

というプログラムのソースコードです。この2つを修正したり合体させたりしてウイルスを完成させたといい、簡単だった、とも答えているのです。

生成AIは通常、違法な質問には回答しないよう制限されています。しかし彼は「制限の解除方法を調べて使った」とも語っています。

LLMによってウイルスのコードを作ったり巧みなプロンプトを作成したりして攻撃対象のLLMシステムに例外的なアウトプットをさせる方法が、サイバー攻撃用に現在いくつも開発されています。

米国のセキュリティー企業Forcepointの研究者らは、ChatGPTを使って、攻撃対象のパソコンからファイルを盗み出すマルウェアを数時間で生成させました。
ChatGTPを騙してまっとうなプログラムだと思わせるように、まず挙動ごとにコードを生成させ、あとで結合させるという手法です。
かつマルウエア対策製品に検出されないような調整にもChatGPTを使ったといいます。*2

この結果60社以上のマルウェア対策製品を回避したといいます。

先にも述べたように、犯罪にかかわるような質問や機密事項については生成AIは答えません。

プロンプトインジェクション(ジェイルブレイク)の様子
(出所：NRIセキュアテクノロジーズ「生成AIのセキュリティリスクと対応のあり方」)
https://www.nri.com/-/media/Corporate/jp/Files/PDF/knowledge/report/cc/mediaforum/2023/forum361.pdf

しかし上の図のようにプロンプトを2段に分け、まず前段部分で本来は禁止事項として定義されていることを「無視して」などと指示をします。
そして「その代わりに」等として本来聞き出したいことを答えさせてしまうのです。

このように不正なプロンプトで開発者が意図しない情報を引き出す手法は「プロンプトインジェクション」と呼ばれ、LLMに不適切な内容や機密情報を出力させてしまいます。

また近年では、UI上では表示されない形式の文字を使って、目に見えない形でプロンプトインジェクションの攻撃をしかけるという攻撃の可能性も示唆されています。*3

生成AIで作られるのは文章だけではありません。音声、画像も生成できる時代です。

すると、このようなセキュリティ突破方法が生まれてしまいます。

過去には、また、人の声のクローン音声を作成することで銀行のカスタマーサポートの音声認識を突破できることもわかりました。

クローン音声で口座番号を露出させる手口
(出所：NRIセキュアテクノロジーズ「生成AIのセキュリティリスクと対応のあり方」)
https://www.nri.com/-/media/Corporate/jp/Files/PDF/knowledge/report/cc/mediaforum/2023/forum361.pdf

こうした技術を使えば、他人の声のクローンを生成して口座情報などを盗み取ることが可能になります。

2018年には、ニューヨーク大学とミシガン大学の研究者が機械学習を用いて「DeepMasterPrints」と名付けた指紋を生成しています。

多くの人の指紋に共通する特徴をかき集めてひとつの指紋を生成したというものです。ホテルで全ての部屋の鍵を開けられる「マスターキー」のようなものです。

この合成指紋で、5分の1の確率で指紋認証を突破したといいます。*4

研究で生成された指紋(左は実際の人のもの、右はAIで生成したもの)
（出所：コーネル大学arXiv「DeepMasterPrints: Generating MasterPrints for Dictionary Attacks via Latent Variable Evolution」）
https://arxiv.org/pdf/1705.07386

実際これを悪用しようとするには当該デバイスそのものを手に入れなければなりませんが、指紋認証もまた生成AIによって突破することが可能だという一例です。

これらのLLMを悪用したサイバー犯罪では、最近まではハッカーが独自に構築したLLMが多用されていました。

犯罪用LLMサービス「WormGPT」の販売広告(2023年8月に公開終了)
(出所：トレンドマイクロ「生成AIでランサムウェアを作成した容疑者の摘発事例を考察」)
https://www.trendmicro.com/ja_jp/jp-security/24/e/breaking-securitynews-20240529-02.html

それよりも、正規のLLMに本来の規制から外れた動きをさせる「脱獄」を導くほうにサイバー犯罪者の注目が移りつつあるといいます。*5

スパムメール文を作成する際に、ChatGPTに質の高い翻訳や作文を手軽に頼むことができるのです。

ChatGPTによって詐欺メールの作文を支援するハッカー用ツールキット「Predator」
(出所：トレンドマイクロ「生成AIを用いたサイバー犯罪に関する最新の調査状況を解説」)
https://www.trendmicro.com/ja_jp/research/24/e/back-to-the-hype-an-update-on-how-cybercriminals-are-using-genai.html

正規のLLMを犯罪ツールに組み込む流れ、こちらのほうが被害の発見が遅れる可能性が高そうです。

また、ディープフェイクで本人確認の手続きを回避するという、目的を絞り込んだツールも存在しています。*5

わたしたちにとって便利なITやAIは、犯罪者にとっても新しい手段を作り出すのに便利な存在になっているのです。
生成AIの成長はハッカーの技術向上でもあり、いたちごっこは今後も続いていくことでしょう。