浪潮信息推出元脑R1推理服务器
本报讯(融媒体中心 李玉凤)近日,北京经开区企业浪潮信息正式推出元脑R1推理服务器,通过系统创新和软硬协同优化,单机即可部署运行DeepSeek R1 671B模型。
“当前,DeepSeek开源多版本模型,助力各行业加速应用大模型技术,推动业务升级转型。其中,DeepSeek R1 671B模型作为全参数基础大模型,相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力,但也对系统显存容量、显存带宽、互连带宽和延迟提出了更高要求。”浪潮信息有关负责人表示,“我们推出的元脑R1推理服务器NF5688G7、NF5868G8,能够帮助客户显著降低DeepSeek R1全参数模型的部署难度及成本,并提升推理服务性能,加速千行百业探索智能涌现。”
作为一款领先的高算效AI计算平台,元脑R1推理服务器NF5688G7原生搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失。该服务器在显存方面,提供1128GB HBM3e高速显存,满足DeepSeek R1 671B模型FP8精度下不低于800GB显存容量的需求。在单机支持全量模型推理情况下,仍保留充足的KV缓存空间;显存带宽高达4.8TB/s,完美契合DeepSeek R1模型“短输入长输出、显存带宽敏感”的技术特征,在推理解码阶段可实现极致加速。在通信方面,GPU P2P带宽达900GB/s,保障单机部署张量并行最佳通信性能,基于最新推理框架单机可支持20-30用户并发。同时,单台NF5688G7配备3200Gbps无损扩展网络,可根据用户业务需求增长实现敏捷扩展,提供成熟的R1服务器集群Turnkey(一站式)解决方案。
元脑R1推理服务器NF5868G8是专为大推理模型创新设计的高吞吐推理服务器,是业界首次实现单机支持16张标准PCIe(一种计算机总线接口标准,用于连接扩展卡和计算机主板之间的数据传输)双宽卡,提供高达1536GB显存容量,支持在FP16/BF16精度下单机部署DeepSeek 671B模型。创新研发基于PCIe Fabric(PCIe互连架构)的16卡全互连拓扑,任意两卡P2P通信带宽可达128GB/s,降低通信延迟超60%。通过软硬协同优化,相较传统2机8卡PCIe机型,NF5868G8可将DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡选配。
作为全球领先的IT基础设施产品、方案和服务提供商,面对全球AI算力需求的爆发,浪潮信息得益于在大规模数据中心市场的长期耕耘,在全栈AI创新、开源开放的产业协同、敏捷柔性的生产供应等方面形成了强劲竞争力,保持了业务的快速增长。“接下来,浪潮信息将持续致力于AI计算平台、资源平台和算法平台的研发创新,并通过元脑生态携手领先伙伴,加速人工智能的创新和应用落地。”该负责人表示。
您访问的链接即将离开“北京经济技术开发区”门户网站 是否继续?