在自动驾驶汽车依靠摄像头与传感器识别路标、保障安全行驶的同时,其底层的人工智能(AI)系统正面临前所未见的“视觉攻击”威胁。美国加州大学圣克鲁兹分校科学家们首次揭示,攻击者可通过在环境中植入特定文字信息,直接“劫持”自动驾驶车辆、无人机等自主系统的决策,使其做出危险行为。研究呼吁,产业界需尽快形成新的安全标准和防护机制。相关研究发表于27日优睿科官网,论文已被AI安全领域的顶级会议——2026年IEEE安全可信机器学习大会接收。
具身AI即具备物理载体的智能系统,如自动驾驶汽车、配送机器人等。随着具身AI日益普及,其依赖的视觉语言模型也成为安全研究的焦点。该模型能够同时理解图像与文本,帮助机器适应复杂现实环境,却也打开了被物理世界文字信息攻击的新突破口。
新研究第一次提出“环境间接提示”对具身AI系统的风险。研究指出,恶意文本可被嵌入路标、海报等物理载体,误导依赖于视觉语言模型的机器人或车辆,从而干扰其正常判断与操作。此次科学家们针对自动驾驶、无人机紧急降落、目标搜索三类典型应用场景,设计并验证了一套名为“CHAI”的攻击框架,实现“针对具身AI的命令劫持”。该框架首先利用生成式AI优化攻击文本,提高其被系统执行的概率;进而调整文字在环境中的颜色、大小、位置等视觉属性,以增强攻击效果。
实验证明,CHAI攻击可有效操纵搭载不同视觉语言模型的自主系统。在自动驾驶场景中,生成的误导图像被放置在真实环境中,成功干扰了测试车辆的导航判断。在无人机场景的模拟测试中,攻击成功率最高可达95.5%。
结果明确显示,此类攻击在物理世界中完全可行,对智能系统的安全构成实际威胁。随着AI在物理系统中的融合不断加深,该项研究为行业提前敲响了安全警钟。
【总编辑圈点】
具身智能是让智能从虚拟世界走向实体空间的关键一环,但我们真的能放心地让AI接管现实世界吗?科研人员发现,要劫持自动驾驶系统甚至无需进行远程攻击,只需在环境中略动手脚,在路标、海报、指示牌上植入攻击文本,就能让AI自乱阵脚,做出危险行为。这一研究提醒我们,人类引以为傲的新技术可能是脆弱的。有太多因素会影响AI安全,我们必须考虑得更全面,进行更多前瞻性研究,为技术大规模普及筑牢安全根基。
责任编辑:kj005
于外滩源,书写新一代工坊序章野兽派外滩源海上阁空间于2026年1月23日正式对外开放,作为外滩源一处新地标,其设计风格微妙融汇于亦古亦今之间,中式的新极繁主义在...
“人老了,掉牙是自然现象,不用急着补70岁的林阿婆对此深有体会。七八年前,她左上侧一颗大牙因严重龋齿被拔除,当时觉得“少一颗没关系&rd...
近日,招商银行上海分行参加上海市对口支援文山州青少年宫物资捐赠仪式,以实际行动支持青少年教育事业发展在了解到文山州青少年宫搬迁新址后面临教学设备短缺的情况后,招...
近日,东方雨虹第一届AI创新应用大赛圆满落幕本次大赛自启动以来,便聚焦企业核心业务痛点,精准锚定制造、物流、财务、人力资源等关键领域,以“降本、增效...
有没有姐妹被小腹坠胀、腰骶酸痛困扰,甚至发现阴道口有异物脱出?尤其是产后妈妈和中老年女性,这种难言之隐可能是子宫脱垂在作祟解密子宫脱垂:那些被忽视的诱因与信号子...
1月23日至24日,2025品牌强国暨创新成果推介活动在北京举行寿阳经开区是山西省人民政府 2019 年批复设立的省级经开区,以“一区两园&rdqu...