从开发训练到部署应用再到优化迭代,这是一个算法模型最简易的生命周期。密切关注模型在业务中的表现,持续跟踪落地效果进而调整模型,如果将其称之为是算法模型的“运维”,这种特殊的运维与传统的针对软件工程所设计的运维又不相同。
首先,算法模型的应用天生就是需要与数据进行关联的,模型无法脱离数据产生效果;其次,算法模型的应用天生就是需要优化迭代的,这个迭代并不是主要围绕 bug 的修复,而是依赖实际应用场景的数据反馈,围绕模型效果优化的迭代。因此,算法模型的“运维”过程是与数据强关联的、是必要的、是势必要囊括多个部门参与其中,且分别提供不同支持的。
随着互联网技术和数字化生存带来的众多商业模式创新,企业不断加速数字化转型,以“数据科学+”能力指导业务决策。数字化部门的工作应该在具体的业务背景下展开,并随着业务场景的发展与时俱进。然而缺乏高效流畅的协同能力导致算法模型无法跑完它的“最后一公里”将成为企业数据驱动的瓶颈。针对这一问题,下文通过某企业真实案例及对应和鲸科技旗下数据科学协同平台 ModelWhale 所提供的解决方案进行深入解析。
风控的合作
以数字金融公司 D 为例,近期,D 正在探索用大数据解决企业中的风控问题。风险控制直接影响着企业的盈利水平,传统的风控工作十分依赖业务员,在操作风险和信息实时性上都有较大弊端,而大数据风控则可以将用户的各种信息度量化,提前进行风险预警,并部署在系统平台上全自动实施执行。然而 D 公司在搭建风控模型时目前存在着两个问题:
首先,风控模型从内部数据和三方数据的收集到模型开发,需要多个部门与算法部门进行合作,但各部门间缺乏系统化的跨部门工作流,协作效率低下,推进困难;其次,生成的模型需要根据业务端的使用情况不断调整优化,模型迭代周期的要求极短,但由于上下游基础设施建设混乱,缺乏链式更新机制,非常依赖下游的主观能动性去了解更新的内容以及主动配合更新,因此容易造成信息滞后。尽管公司各方都投入了很多时间精力,但缺乏对模型应用全生命周期管理导致成果仍不尽人意。
ModelWhale 的解决方案:
作为数据科学协同云平台,ModelWhale 协助 D 公司打通了模型产出、应用、迭代、管理的全链路。
在模型产出阶段,数字化团队可基于平台完成数据分析及算法开发的全部流程。由于风控模型的数据来源于多个部门,需要多方合作参与,各部门成员可以通过项目的任务看板实时查看进展情况,并落实各自的职责。在多源数据分别接入后,数据管理团队即可生成新的数据版本及数据描述性统计文档;算法部门在建模的过程中也可以通过发布离线训练任务以及进行模型训练可视化对比,提升计算效率,挑选出最合适的模型。
模型训练可视化对比示例
待模型开发完成后,源代码、数据、建模环境等可以被打包后进行自动化部署并发布为应用,这个过程可以由算法部门自己完成,而不用再麻烦专业工程人员。部署完成后,相关业务部门就可以直接通过 API 即时启动调用,或通过模型应用的链接快捷调用,无需复杂的下载、传输,有效简化了模型从开发到应用的复杂度。
对于 D 公司模型快速迭代的需求,算法部门可以在后台查看模型被调用的次数以及调用的历史,平台所记录下的部署后模型使用过程信息皆可为模型优化提供方向;同时业务部门也可以持续通过任务看板反馈模型的应用情况。ModelWhale 支持保留迭代版本源码,因此算法人员可从任意阶段开始模型优化调整。自动化部署和自动记录反馈,给模型提供了持续有序的迭代机制。
ModelWhale 用短时间、低成本实现了模型各个节点的无缝跳转,有效提高了模型应用的效率,并降低优化迭代的难度,使模型具备持久的生命力。
结束语
数字技术的确在重构着这个世界,互联互通的程度更高、更快、也更复杂,建立完善的协同机制是深度挖掘数据价值的核心利器,也是企业应对变化的生存选择。基于 ModelWhale ,企业可连接数字技术与业务智慧,增强信息流动性,完善上下游反馈链路,促进模型成果持续赋能。
ModelWhale 提供即开即用的云端分析环境,更将数字资产管理、Notebook 交互式 & Canvas 拖拽式编程、建模分析、模型服务、任务及权限管理等功能深度整合,除跨部门实现模型全生命周期管理外,可一体化解决企业大数据分析的多种协同问题。过去5年来,来自气象、医药、制造、金融、新零售等多个领域的先进企业都与 ModelWhale 进行深入合作。ModelWhale 综合各类业务场景,持续升级产品功能,完善全方位服务体系,欢迎更多组织共同交流沟通。
ModelWhale 数据科学协同平台将帮助企业突破瓶颈,为数字化转型提供高效协同最佳实践。
关注 ModelWhale 官方微信公众号、视频号,了解其他企业数字化转型协同场景案例解析,如
数据分析建模过程全要素的获得与成果复现
数字化成果结构化整合沉淀
业务部门与算法部门共同探索模型开发优化
数字化研究成果对外发布应用
引进外部专家协同工作
还有更多企业数据智能化转型、升级解决方案。
ModelWhale 同时支持 SaaS 云端使用及本地私有化部署,可满足不同组织需求,欢迎进入 ModelWhale.com 免费试用。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
责任编辑:kj005
文章投诉热线:156 0057 2229 投诉邮箱:29132 36@qq.com2022年1月15日由WFP联合国世界粮食计划署组织支持主办的2021 UWEE卢浮宫国际艺术展在法国巴黎卢浮宫博...