超云升级AI平台加速规模化落地
本报讯(融媒体中心 李玉凤)近日,北京经开区企业超云全面升级云擎AI平台,以统一推理网关、智能资源调度和开放应用生态建设三大核心能力,有效破解AI部署中遇到的推理性能瓶颈、服务稳定性不足等难题,为企业构建稳定、高效、可扩展的AI服务体系提供坚实底座。
为进一步释放算力潜能,云擎针对推理服务进行了深度优化。据超云有关负责人介绍,在国产算力适配方面,云擎支持海光、沐曦等国产GPU的KV Cache Offloading技术,通过显存与内存协同管理突破显存容量限制,大幅提升大模型部署规模与并发能力。此外,通过深入优化vLLM调度器、KV缓存管理及并行采样等核心模块,云擎进一步提升推理吞吐量和响应速度,为企业构建起高性能、高稳定的推理服务体系。
在提升单节点推理性能基础上,云擎进一步构建统一的服务治理体系,实现推理服务的统一接入、集中调度与全生命周期管理。通过统一推理网关,平台支持多模型、多实例的动态管理,可根据节点负载、响应时延等指标自动选择最优实例,完成请求流量的智能分发与资源均衡利用,并支持鉴权、限流等治理策略的灵活配置。同时,平台内置健康检查、自动恢复及容灾切换机制,当服务出现异常时能快速迁移请求,全方位保障业务连续性与服务稳定性。
在持续提升推理服务能力的基础上,云擎进一步打造AI应用市场,构建开放丰富的AI应用生态。平台集成了知识库问答、智能体编排、工作流自动化等多种主流开源AI应用,支持一键部署、统一接入和集中管理,帮助用户快速获得成熟的AI应用能力。通过统一模型调用和统一运维管理,企业无需复杂的环境搭建与系统集成,即可快速完成AI应用落地。同时,AI应用市场支持应用的持续扩展与生态引入,让用户能够根据业务需求灵活选择和组合应用,加速人工智能技术在各行业场景中的创新实践与价值释放。
目前,超云云擎AI平台已在医疗、信创等领域落地应用,为千行百业智能化转型提供坚实支撑。