科技
设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:科技 > 快讯 >

创新存储方案,杉岩数据让自动驾驶AI训练更高效

创新存储方案,杉岩数据让自动驾驶AI训练更高效
2022-05-20 17:45:20 来源:财讯网

近日,北京成为国内首个开启乘用车无人化运营试点的城市,自动驾驶商业化运营再度按下“快进键”。

近年来,政策的屡屡破冰、大量资本及跨界造车新势力的加速融入,都极大推动了自动驾驶商业化落地进程。有研究机构预测,预计到2025年,全球约30%的销售汽车将支持L2级或以上的自动化。

车轮上的数据中心,自动驾驶对存储架构有了更高要求

自动驾驶系统的研发需要经过数据采集、数据汇聚、清洗标记、模型训练、模拟仿真、大数据分析等多个环节,期间涉及对海量数据的汇聚存储,不同环节不同系统之间的数据流转,以及模型训练时对海量数据的读写,最终形成一个高度精准的数据处理模型,从而实现自动驾驶。这其中,数据存储挑战也随之而来。

图 自动驾驶研发流程

数据量快速增长,存储空间捉襟见肘

为感知周围环境,自动驾驶汽车加装摄像头、雷达等多种传感器设备,并生成大量数据。一些高等级自动驾驶系统甚至配置超过50个各类传感器,对车辆周边360°环境准确感知。

图 自动驾驶汽车环境传感器示意

而自动驾驶科技企业一般拥有多辆路测车辆的自动驾驶测试车队,每日生成数十TB数据,数据规模达到数十PB甚至上百PB,其中包含几十亿小文件且数据类型多样。自动驾驶汽车,正在变成车轮上的数据中心,如何汇聚、存储如此巨量的数据并进行成本优化?

数据流转受阻,运维繁琐可用

整个自动驾驶研发流程中涉及多个环节,数据前后关联且访问协议不同。数据流程的不同阶段,通常会使用到文件、对象和大数据(HDFS)等服务,不同环节的能模型差异大。如何保证滑流动,并实现高效处理?

数据访问能瓶颈,影响训练效率

模型训练环节,需要频繁在存储设备中读写数据,对存储系统能要求较高。原始模型开发的过程中需要调用TB级的图片数据集,且模型在开发的过程中也会产生很多中间数据需要存储,而系统瓶颈一般会在数据存取能上。因此,存储的分布式文件系统就极其关键,尤其是元数据处理的能力。

在试图破解以上难题时会发现,传统NAS存储存在能瓶颈,且容量和能不支持弹扩展;对象存储缺少完整POSIX语义支持、元数据能弱,不适用于自动驾驶的海量小文件训练场景。同时,在为自动驾驶选择存储方案时,还得考虑人工智能、模型训练环节的使用习惯。因此,单一存储方案无法很好地满足需求。

如何“智”赢未来,破解存储难题,让自动驾驶汽车的量产“指日可待”?

创新存储方案杉岩数据助力自动驾驶蓬勃发展

针对自动驾驶场景的存储需求,杉岩数据软件定义存储方案,采用对象存储+分布式文件的方式,结合丰富的数据管理功能,打造覆盖自动驾驶所有工作流,并全面能、容量、扩展和易用的内容管理。方案以杉岩数据自研的分布式存储为底座,结合对象存储网关与高能分布式文件存储网关,提供各种协议接口,充分满足自动驾驶场景的存储需求。

图 杉岩数据存储方案助力自动驾驶

海量文件存储,数据增长从容应对

面对庞大的数据量,杉岩数据自动驾驶存储方案选择以对象与文件统一非结构化数据存储为底座,采用全对称、去中心化的分布式架构,存储容量可达EB级别,百亿文件存储依然高能,对于雷达和摄像头等传感器生成的海量小文件数据天然契合;满足训练时多并发、高带宽和低时延读写;支持业务在线时存储服务器横向扩容及整池扩容,不影响AI模型训练进程,存储系统强大的扩展能力与线增长的能,可以充分满足自动驾驶迅速增长的非结构化数据存储需求。

数据灵活流转,便捷运维降低成本

杉岩数据提供数据汇聚工具DataIngestor。多个路测车辆的数据挂载在数据中转服务器上,DataIngestor可基于统一的管理入口,对多个数据中转服务器进行数据传输任务管理,对本地文件全量和持续增量上传管理,不再需要改造业务软件或开发数据管理工具。DataIngestor提供可视化的任务配置,统一的监控系统,大幅降低运维工作量,提升工作效率。

针对自动驾驶研发流程复杂的情况,该存储系统不仅能够容纳汇聚自动驾驶场景下的各类数据,同时还可对上层的AI/ML训练、云原生应用等提供标准POSIX接口,兼容Amazon S3协议接口,以及HDFS接口,一套存储支持多种协议接口,满足模型训练各阶段对数据的访问诉求,支撑自动驾驶数据处理的全套流程。

杉岩数据自动驾驶场景存储方案支持对数据进行全生命周期管理,支持冷热数据介质分层迁移、实时归档、延时归档、延时删除等,降低存储成本。

极致存储能,响应敏捷训练无忧

针对模型训练的特,杉岩数据内容管理中的分布式文件网关层面向小文件进行了专门的调优和设计,开发了多级分布式缓存架构,将热点数据(如正在训练的数据集)缓存在高能介质中,如NVMe SSD、MEM等,将非热点数据存储在大容量介质中,加上强大的元数据能力,既保证了极致的响应时延,助力训练业务充分释放出GPU等特殊硬件的算力,横向扩展带来的近似线增加的容量和能又保障了高带宽和超大的容量需求,让AI训练可靠、高效。

面向自动驾驶场景,杉岩数据将持续进化

随着国家监管政策的不断完善,自动驾驶示范区数量的增加,规模化商用开始成为行业主旋律。自动驾驶企业也希望找到更经济可靠的存储,有效地处理各种负载,同时降低数据管理和运维成本,将更多资源投入到产品研发之中。

杉岩数据将持续跟进技术演进,以智能分布式存储技术帮助自动驾驶企业实现在能、容量和扩展之间的全面衡,让海量数据实现高效的存储、管理和利用,助力自动驾驶技术的快速发展。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

关键词:

责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

关爱升级 中国移动超清视话助力老年人畅享数智生活

2022-05-17 18:26:34关爱升级 中国移动超清视话助力老年人畅享数智生活

元道经纬相机六周年,与用户共成长!

2022-04-28 17:14:51元道经纬相机六周年,与用户共成长!

美人计总裁亲临直播间“霸道”花式宠粉,品牌创新战略升级

2022-04-28 11:42:52美人计总裁亲临直播间“霸道”花式宠粉,品牌创新战略升级

那些喊着理性消费的女孩,都在买蔓之研什么护肤品?

2022-04-28 09:24:26那些喊着理性消费的女孩,都在买蔓之研什么护肤品?

向未来再出发,Miss尾狐获评金鸥奖2021年度直播短视频最具创新力品牌

2022-04-20 13:31:35向未来再出发,Miss尾狐获评金鸥奖2021年度直播短视频最具创新力品牌

《现在就告白5》热播进行时:柳岩鼓励女生勇敢告白

2022-04-19 16:23:59《现在就告白5》热播进行时:柳岩鼓励女生勇敢告白

相关新闻

最新资讯