矢野 哲平 / 「無料で学べるAIスキル、ロボシンク」代表

更新日:2023-09-27

生成AIにおけるプロンプトインジェクションとは？

ChatGPTを始めとする生成AIは、自然に会話するようにAIの指示を出すことができます。近年では個人や会社で使用する例がよく見られるようになりました。一方で、セキュリティリスクを心配する声もあり、プロンプトインジェクションというセキュリティリスクを引き起こす手法も存在します。

悪意のあるプロンプトで予期しない動作を引き起こす

プロンプトインジェクションとは、ユーザーが悪意のあるプロンプトをAIに与え、不適切な回答や意図しない情報の開示させる手法です。

「プロンプトインジェクション」の語源は、英語の "Prompt Injection" から来ています。

プロンプトはAIに指示するテキストを指し、Injectionは、不正なデータや命令をシステムに注入することを指します。

プロンプトインジェクションの事例

ChatGPTでは性的な話題や戦争などセンシティブな情報に対する回答は制限されていました。しかし、あるユーザーがプロンプトインジェクションを用いて過激な回答を引き出した事例があります。

その他にも、ユーザーには見えないはずのプロンプトの初期設定を吐き出させた事例もあります。プロンプトインジェクションによって初期設定が上書きされてしまうケースも。

こうした事例から悪意あるユーザーが生成AIの設定や情報を引き出すことが危惧されています。

生成AIに重要情報は渡さない

ChatGPT4では、プロンプトインジェクションへの対策が大幅に強化されました。今後もセキュリティリスクへの備えは強化されるはずですが、イタチごっこになる可能性も否めません。

ユーザー側でも生成AIへ個人情報を含む情報は入力しないようにしましょう。