您的位置:首页>国内 > 国内 >

百融云创ORCA机器学习平台 为AI模型配置“翻译软件”

2022-11-22 13:46:13    来源:榕城网

近年来,随着AlphaFold成功预测蛋白质结构、预训练大模型取得突破、自动驾驶不断升级,人工智能第三次浪潮似乎在海天之间愈发清晰可见。就如同规模化生产是工业革命的本质一样,能否实现智能服务的规模化、产业化落地,也将是人工智能能否掀起第三次浪潮的重要标志之一。但必须客观地指出,人工智能落地仍然面临碎片化困境。尤其在应用最广泛的金融领域,很多机构仍然处于“手工作坊”的模式中,导致人工智能大规模落地成本高、周期长、效率低。人工智能产业化落地和规模化落地是一个庞大的系统性工程,涉及到从政策到科技,从技术到场景等多个环节,其中人工智能模型是连结物理世界与数字世界的管道,也是人工智能产业化的关键一环。而想要构建完善的人工智能模型离不开机器学习平台,机器学习平台涵盖了算法开发、特征工程、模型训练、测试与优化、部署、模型管理等AI模型全生命周期的功能开发,是AI模型必不可少的重要载体。近年来产业各界纷纷将机器学习平台作为研发的重点,作为人工智能领域领先企业,百融云创历经3年自主研发了ORCA机器学习框架,提供覆盖模型开发、训练、部署、分析的全周期端到端技术服务,能够帮助企业用户实现模型开发的从无到有,从零到一。

模型的训练和部署环节,是整个模型全生命周期的两个端点。在金融应用场景中,通常情况下,建模分析师会选择python语言去进行模型的开发和训练。但到了部署环节,受到应用场景、金融机构软硬件基础、使用习惯、模型性能、系统监控等因素的影响,可能需要换到了另外一种高性能语言或环境。传统模式下,需要分析师或研发工程师用人工的方式,敲出一行行代码去完成模型的复现,如果只是一两个模型是完全可以应对的,但一些大型银行每年动辄就要上线几十上百个模型,这些模型的访问量非常大,纵使金融机构近年来储备了大量科技人才,如果还是靠人力来完成这些工作,绝对是不可承受之重。百融云创ORCA机器学习平台为解决这一难题开拓性研发出ORCA-serving,这是一种跨语言或环境的模型训练与自动化部署技术,如金融机构在模型开发训练阶段应用的是python语言,在部署时会根据需求自动转化为java、rust或者python等语言架构以及web服务器、Spark等部署环境,让建模人员只需关注业务模型开发,即可获取专家工程级的模型部署服务。

ORCA-serving相当于一个模型的“翻译软件”,从开发训练到复现部署,传统模式下可能需要2-4周的时间,通过这个“翻译软件”,最快只需要几秒钟即可完成。相关技术《一种代码生成的机器学习模型全流程自动部署方法及系统》已经成功获得专利授权。

值得一提的是,ORCA已经得到高效应用,ORCA-serving已承载百融云创过百亿级的模型推理服务,目前也逐步向合作伙伴进行开放共享,部分功能已应用于本地化模型管理平台产品中。ORCA在实际应用中展现出强大的性能表现,能够将机器学习模型推理性能(TPS)平均提升300%以上,复杂模型提升700%,模型测试与部署时间缩短50%以上。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

关键词:

相关阅读