CLPA、贝加莱、雷赛智能、华龙讯达、思谋齐聚深圳,共话工业互联&智能制造
513
2023-12-12
【环球网科技综合报道】6月27日消息,思谋科技宣布行业首个工业大模型开发与应用底座SMore LrMo正式发布据介绍,SMore LrMo是面向工业场景的大模型开发与应用平台,覆盖了应用层面、算法框架、基础设施服务等开发全场景,涉及算力资源调度管理能力、数据自动标注管理能力、应用开发管理能力、算法服务管理能力等人工智能模型全生命周期。
SMore LrMo专为解决工业场景下大模型的数据采集复杂、数据安全性要求严格、设备异构程度高、计算集群分布广、大模型工程化成本高等痛点而来,具有安全与隐私性高、硬件适配广泛、多云调度、大模型训练快等特点。
SMore LrMo支持云边端设备联动、多数据源接入,可对工业级大规模数据集进行高效处理和管理,提供高效的数据操作接口和分布式数据处理能力,以满足复杂数据处理需求;亦支持非联邦学习模型到联邦模型的快速转换,实现联邦学习场景下,对卷积、图、Transformer等神经网络的适配,可满足制造企业对数据安全与隐私管理严格的要求。
SMore LrMo还具备通用性、广泛的硬件适配能力该平台支持Intel与ARM架构芯片以及NVDIA、寒武纪、天数智芯等5种国产加速卡,超3种以上国产框架,实现了基于国产加速卡与深度框架的150多种深度学习与强化学习模型的适配;在AI作业跨域自动化感知调度时,可实现万卡、20个以上集群管理调度,线性加速80%以上。
据SMore LrMo研发负责人透露,在大模型训练上,平台可支持超1000亿参数规模的大模型分布式训练,较主流深度学习框架训练加速超15%;在推理加速上,平台提供模型自动压缩工具集,提供异构加速卡加速SDK,提升模型推理效率,通用开源大模型部署效率提升3-5倍,平台上线部署模型最高可达到单GPU 1000+ 的吞吐速度;支持模型一键部署,实现推理服务高吞吐高性能,并弹性扩缩容,并提供完整的运维监控体系,极大助力各式高精度工业AI模型的开发与应用。
“目前客户的反馈显示SMore LrMo开发应用效果非常不错例如某大型算力中心,客户需要利用15个集群,共计3000+异构计算卡,满足大模型开发与部署应用的场景,并要对模型持续优化,保持在线服务迭代顺畅。
我们为该客户部署SMore LrMo人工智能开发平台后,客户可根据不同的训练任务智能调度训练资源,模型平均训练速度从原来的7.5小时/epoch降低到2.3小时/epoch即使面对超1000亿参数的大模型训练,SMore LrMo依然能高效完成,整体帮助客户训练成本降低40%。
”该负责人表示
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~