首页 > 创新亦庄 > 科技成果转化承载区 > 科技信息

京东大模型成果破解AI落地效率密码

本报讯(融媒体中心 李玉凤)日前,北京经开区企业京东集团旗下京东探索研究院的《Omniforce:以人为中心的、赋能大模型的、云边协同的自动机器学习系统》论文,成功发表在国际顶级学术期刊《Nature》旗下《npj Artificial Intelligence》期刊。该项研究提出了一种在开放环境场景中训练、更新大模型,并与小模型协同部署的系统与方法,成为国内首个系统性解决开放环境下大模型开发效率难题并获国际顶刊认证的研究成果。

随着人工智能浪潮的奔涌,大模型应用的新机遇正加速涌现。但企业将大模型应用付诸实践,依然面临着诸多卡点,一方面进入大模型应用门槛高,另一方面模型训练与推理效率低。京东大模型开发计算技术,能支持企业的模型开发训练及生产,让庞大、重型的AI模型“瘦身”成精悍的小模型,精华依旧,效率大增,瘦身不降智,既能节省算力资源,加速推理,还能适应多平台,广泛部署到更多平台上。

论文中提出了四个创新方法。模型蒸馏:采用动态分层蒸馏技术,特别是在预训练阶段进行蒸馏,调整仅0.5%的参数实现低资源场景下的高效训练,减少大型模型的部署成本。数据治理:提出跨领域数据动态采样算法,自动混合不同领域数据,并引入隐私保护和主动学习技术,提升大模型泛化能力。训练优化:使用贝叶斯优化(BO)框架进行超参数优化和架构搜索,尤其是擅长处理离散空间,MPMD场景下资源利用率提升40%。云边协同:支持在云端进行模型搜索和训练,边缘设备负责部署和推理,并利用两阶段压缩策略以适应资源限制,提升云边协作的高效性。

这套京东沉淀下来的大模型开发计算的技术,支撑了京东JoyBuild大模型开发计算平台。JoyBuild平台能够为客户的大模型开发和行业应用开发,提供定制化解决方案。它支持各类模型的调优开发,内置20余种开源模型和丰富的数据集,并提供100余种算法和工具链,帮助企业根据自身业务特征,将通用模型迅速转化为专业模型,一站式应用大模型。

“现在,不到一周时间,企业即可完成从数据准备、模型训练到模型部署的全流程;之前需要10余人的科学家团队工作,现在只需要1-2个算法人员;通过平台模型加速工具优化,节约90%的推理成本。”京东集团有关负责人介绍道,京东丰富的业务场景,还为平台上的基础大模型提供具体的行业应用场景,加速基于大模型的商业化落地。在行业知识库之外,JoyBuild沉淀了京东自己的零售、物流、健康、金融等行业Know-How,可应用于供应链优化、智能客服、营销内容生成等各类场景,加速模型普惠。

相关新闻