小企鵝メモ | AI Agentは仕事も手伝うし、秘密も漏らし得ます 😮

最近こんな出来事がありました。ある人がAI agentにGitHub Issueを自動で作らせたところ、AIが書いた本文の中に「魔法の呪文」のような文字列が混ざっていました。コンピューターはそれを命令だと解釈し、システムに保存されていたパスワードや鍵をそのまま公開ページに出力してしまいました。

Telegram TokenもAPI Keyも、全部インターネット上に出ました。

AIが「うっかり」発火させたもので、ハッカーが直接侵入したわけではありません。AIはただ文章を書いていただけです。ただ、その文章がコンピューターから見るとコマンドに見えました。

これがAI agent時代の新しいリスクです。仕事を任せるために権限を渡すと、agentはあなたのシステムへ触れる力を持ちます。AIの出力をフィルタせずに実行すると、事故は普通に起きます。

能力が大きいほど、攻撃面も大きくなります。AI agentは便利ですが、権限範囲は必ず確認しましょう。助手を情報漏洩の原因にしないことです 👀

よくある質問

Q: AI agentはどうやってパスワードを漏らしてしまうのですか？

AIが生成した文章にbacktickで囲まれたコマンドが含まれていると、bashがそれをcommand substitutionとして解釈し実行することがあります。その結果、環境変数内の秘密情報が公開ページへ出力されます。

Q: AI agentのセキュリティリスクはどう防げますか？

AIの出力がshellへ入る前に必ずパラメータをsanitizationし、最小権限の原則を守ります。agentに不要なtokenへ触らせないことが重要です。

— Penchan