“亦庄造”大模型成果上新
本报讯(融媒体中心李玉凤)“大模型中间件作为应用与大模型之间的桥梁,是推动AI技术落地和产业升级的重要力量,作为中国中间件领域的开拓者和领导者,我们希望推出一批高水平中间件产品,协助企业低成本落地大模型应用。”北京经济技术开发区(北京亦庄)企业东方通相关负责人表示。近日,东方通正式推出大模型相关创新成果——大模型中间件TongLMM,降低企业开发大模型应用门槛的同时,帮助用户随心而定大模型应用,助力人工智能产业高质量发展。
作为推动科技进步、产业变革及数字化转型的重要力量,大模型的训练、维护、应用开发和运营,既需要高性能计算机、大规模分布式集群,还需要大量的高水平专业人员和海量数据的投入,这些都意味着巨大的投入和巨大的风险。东方通通过创新技术能力突破推出的大模型中间件TongLMM,打破原有的大模型应用高门槛使用模式,让用户从落地大模型、使用大模型、迭代大模型应用的整个过程都能够拥有全新体验。
“TongLMM延续了传统中间件层的基础支撑优势,能够在AI系统架构下,利用向量数据库给大模型增加外部知识库,同时在中文嵌入(Embedding)方面做优化处理,实现多路召回和排序提高精准度。针对应用开发,TongLMM能够提供大模型应用编排功能,包括大模型应用开发、运维一体化服务,为企业客户提供实现大模型应用专属能力。”该负责人表示,TongLMM支持私有化模型方式部署,能解决大模型落地过程中数据集成、应用集成、知识库与大模型融合、数据不精准、安全隐患等问题,同时具有强大的业务场景理解力与洞察力,帮助用户随心而定大模型应用。
对于零基础用户,TongLMM能够提供RAG/Agents设计、应用模板、应用中心、模型管理、知识库管理、提示词管理等功能,帮助其快速构建基于大模型的检索增强应用(RAG)和智能体应用(Agents),例如信息检索、信息推荐、智能运维、问答助手等。同时具备混合专家大模型(MoE)编排和构建能力,通过Agent编排,融合更多的垂直大模型、行业大模型、机器学习模型,使用专业模型处理业务意图的特定任务或特定领域,提供更精准的预测和决策等能力,在任务执行阶段实现问答分离技术,解决请求不确定性和答案确定性之间的差异问题,在业务任务执行上展现出优异能力,准确率和性能更高,让不同行业领域的客户能够构建更加符合实际场景需求的应用,帮助企业更好地理解用户需求和行为模式,从而提供更加精准、个性化的服务。
作为企业大模型应用上线的加速器,TongLMM从通用型场景着手,已在信息推荐、智能写作、AI助手、智能运维、自智网络等关键业务领域,为用户构建大模型应用提供了支持。
东方通作为国内A股上市的基础软件厂商,以“安全+”、“数据+”和“智慧+”三大产品体系为基础,为客户提供综合解决方案及服务,是国内领先的大安全及行业信息化产品、解决方案提供商,其产品及解决方案广泛应用于国内数千个行业业务,服务电信、金融、政府、能源、交通等行业领域。