AI图像处理新威胁：隐私数据泄露风险分析
近日，研究人员发现一种新型AI攻击手法，通过在图片中嵌入恶意指令，在AI降采样处理后显现，进而窃取用户数据。本文将深入解析这一攻击方式及其潜在风险。
攻击原理
Trail of Bits的研究人员开发了一种新型AI攻击手法，将恶意提示词隐藏在高分辨率图片中。当AI系统自动降采样处理后，这些提示词会显现出来，并被大语言模型当作指令执行，从而可能窃取用户数据。
攻击过程
攻击者首先在高分辨率图片中嵌入肉眼不可见的指令，然后利用AI系统的降采样算法使其显现。例如，通过设计特定的图片，让隐藏的色块在降采样后形成可识别的文字。
潜在风险
一旦文字显现，AI模型会将其视为用户输入的一部分，结合正常指令执行，可能引发数据泄露或其他风险操作。例如，研究人员在Gemini CLI环境中，利用此漏洞提取了Google日历数据并发送至指定邮箱。
测试与工具
该方法已在多个平台测试有效，包括Google Gemini CLI、Vertex AI Studio、Gemini网页与API接口、安卓手机上的Google Assistant及Genspark。研究团队还发布了开源工具Anamorpher（测试版），可生成针对不同降采样方法的攻击图片。