当前位置:科技 > 产经 > 正文

360AI安全风险白皮书:人工智能图片识别易被降维攻击

2018-02-13 19:59:56       来源:中国网
作为人工智能技术的重要分支,图像识别技术在众多领域一直受到广泛关注,然而不为人知是这项技术背后其实隐藏着一定的安全风险。日前,360安全研究院发布《AI安全风险白皮书》,白皮书中指便出360安全团队发现在图像识别深度学的数据处理流程中存在安全风险。攻击者在不利用平台软件实现漏洞或机器学模型弱点的情况下,只利用深度学数据流中的处理问题,就可以实现逃逸或数据污染攻击。

相信许多人都听说过,人工智能深度学习系统的核心是神经元网络。通常情况下,图像识别深度学习使用的静态神经元网络会假定自己的输入是一个固定的维度。但是,实际情况却是:实际的输入并不一定与神经元网络模型输入具有相同的维度。

图1:通常情况下,原始图片会经过维度调整,深度学习系统才能识别其信息

要解决这一问题的方法有两种,一种是对输入的维度进行强行限制,另外一种方法是对输入进行维度调整。比如在图像识别应用中,深度学习系统会将大的输入图片进行维度缩减,小的图片进行维度放大,采用的算法包括最近点抽取和双线性插值等。这种处理的目的就是对图片降维的同时尽量保持图片原有的样子,以确保深度学习系统做出正确的判断。

但是,上述的情况非常理想化。在实际中,这些常用的降维算法并没有考虑恶意构造的输入。也就是说:攻击者可以事先对输入进行特殊构造处理。经过处理后,降维函数会输出异常的结果。

下面这组图片就是攻击者针对最常用的双线性插值构造的恶意攻击样本,虽然原始输入是一张羊群的图片,但是经过降维处理后,图像识别系统会将其误判为一只雪地里的白狼;虽然原始输入是一只卡通小羊,但图像识别系统会将其误判为一只可爱的小猫。

图2:降维处理后,图像识别系统可能输出谬误严重的结果

再比如下面这组实例,一些对于人来说很清楚的数字,深度学习系统却会误判。下面显示了了四组图片,每一组中,左边是对应用的输入,也就是人看到的图片;右边是人看不到,但是被机器学习模型最后处理的图片。

图3:降维算法可能让深度学习系统出现严重误判

根据360安全研究人员的分析:几乎所有网上流行的深度学习图片识别程序都有被降维攻击的风险,解决方法包括对人工过滤异常图片、人工对比识别结果,以及采用更为健壮的降维算法等。对此,白皮书特别强调:人工智能安全问题不容忽视,360安全研究院希望公众在拥抱人工智能热潮的同时,也能持续关注深度学习系统中的安全问题。

科学 猎奇 娱乐 游戏 汽车 手游 金融 家居

新闻频道
国内国际社会评论文史专题经济新闻图库老照片
军事频道
军事要闻中国军情国际军情军事历史网友原创军事专题军事图库武器装备军事文化
汽车频道
车闻Update漫话车型漫记车映像实拍解析行业动态新车资讯独家评测汽车生活人文之旅
教育频道
留学移民高考中小学拒讲堂师说商道商论
游戏频道
游点意思网络游戏网页游戏单机游戏手机游戏军事游戏游戏产业发号中心游戏美女图说游戏囧游囧事
科技频道
业界互联网行业通信数码手机平板IT硬件相机笔记本家电产品库
旅游频道
X旅行视界目的地 美图发现社区
文化频道
专题非遗沙龙历史艺文博览读书图库书画禅文化
书画频道
资讯收藏展览在线展厅艺术家视觉专题
体育频道
国际足球中国足球NBACBA 综合体育图片汇总专题策划
视频频道
新闻军事中华出品原创娱乐纪录片微电影决胜海陆空
娱乐频道
明星电影电视音乐专题图库论坛
公益频道
老兵出镜老兵动态老兵资料库关爱老兵在行动公益组织公益人物
城市频道
城市聚焦城市设计城市生活城市策划城 市图赏城市加盟城市论坛
社区频道
中华论坛网上谈兵中华拍客社会时政国际风云生活消费休闲旅游美丽女人娱乐八卦经济风云情感世界文学天地
好医生频道
保健养生疾病防治行业资讯名医谈健康 医生专栏食疗跑步
经济频道
国内宏观海外经济产经商贸时尚消费电商眼球儿企业故事专栏评说识局经济