华为发布全新AI存储,以长记忆内存新范式使能AI大模型训练和推理

9月20日,在华为全联接大会2024期间举办的数据存储峰会上,华为公司副总裁、数据存储产品线总裁周跃峰博士发布全新AI存储OceanStor A800,以长记忆内存新范式全面提升AI大模型训练和推理能力,助力千行万业大步迈入数智时代。

17270771137671379_500x333

华为公司副总裁、数据存储产品线总裁周跃峰发表主题演讲

人类文明从远古的石器时代,到农业时代、工业时代,直至如今的数智时代,数据作为发展新质生产力的关键生产要素。人们利用数据,在AI大模型、具身智能、AI for science等核心AI领域取得长足发展。

数智时代是数据的黄金时代,数据规模爆炸式增长、数据价值不断攀升的同时,也面临xPU与存储的带宽不足、算力集群可用度低、推理时延长等挑战,对存储提出更高要求。数智时代呼唤 Storage for AI,具备极致性能、高扩展性、数据韧性、可持续发展、新数据范式以及数据编织能力的数据存储是通往AI数智时代的必由之路。

为应对以上挑战,华为发布全新AI存储OceanStor A800,在AI大模型高效训练能力的基础上,大幅增强推理能力,并在集群性能、新数据范式上有了跨越式提升,促进AI在千行万业落地。

1.单套AI存储设备支持十万卡级大模型训练。通过构建前端网卡全共享、控制器与后端SSD盘全互联的技术架构,单套存储设备可支持10万卡级集群全互联。一套OceanStor A800 存储最多可实现与19.2万卡训练集群的静态全连接,性能提升40%,空间占用降低80%。

2.以存强算,AI集群可用度提升30%。AI训练中断频频发生,据统计AI训练中心持续训练的时间最长仅为2.6天,导致GPU/NPU必须反复保存CKPT数据。中国移动将华为OceanStor AI存储用于大模型训练,实现150PB单存储集群、8TB/s带宽和2.3亿IOPS的能力,集群可用度提升32%,为后续更大规模大模型训练提供有力支撑。

3.以存代算,长记忆内存型存储提升推理体验并降低系统成本。

Long context(长上下文)成为大模型推理的必然发展趋势,根据Scaling law,提供足够高的推理算力和中间Token数,可大幅提升推理的准确度。通过专业AI存储,可长期保存Long context及海量中间推理 Token,最大程度提升大模型的逻辑思考和推理能力,尤其是慢思考能力。

OceanStor A800作为业界首款提供长记忆能力的存储,创新性采用多级KV缓存机制,将KV-Cache持久化保存并高效使用,让大模型推理具备长记忆能力,减少在Prefill阶段的重复计算,客户推理时延降低78%,单个xPU卡的吞吐量提升67%,大幅提升推理体验的同时降低成本。

数智时代的全新AI存储,正在金融信贷、投研分析、医疗健康、药物研发等行业场景发挥价值。周跃峰表示,在数据的黄金时代,华为以其创新的AI存储,释放先进数据存力,铸就数智时代根基。

本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除,不承担任何侵权责任。转转请注明出处:https://xn.huananxw.com/10659.html

(0)
上一篇 2024年6月26日 下午12:35
下一篇 2023年5月11日 下午9:21

相关推荐

  • 初代MIX FOLD在内!小米多款手机宣布停更开发版

    快科技4月28日消息,今天,MIUI官方发布公告,正式宣布包括小米MIX FOLD、小米平板5在内的10款手机/平板产品,即将停止开发版更新。 此次停更的产品包括: MIX FOLD折叠屏手机、Xiaomi MIX 4、小米平板5 Pro 5G、小米平板5 Pro、小米平板5、Xiaomi Civi、Redmi Note11 Pro、Redmi Note11…

    2023年4月28日
    0
  • 目前最好的终端机,oppofindx7ultra未发布先火,各方面表现值得期待

    目前最好的终端机,oppofindx7ultra未发布先火,各方面表现值得期待 说起近期最热的、目前最好的终端机,那非OPPO Find X7系列莫属了。作为OPPO的年度影像旗舰,该系列分为标准版与Ultra版,其中oppofindx7ultra不仅颜值大气上档次,更有着强大的配置,能让用户享受到更多科技带来的便利。 首先在外观方面,oppofindx7u…

    2024年1月5日
    0
  • 艾美特X京东家电联合发布“0噪感”循环扇

    艾美特X京东家电联合发布“0噪感”循环扇 小家电也能不断玩出新花样,近日小家电品牌艾美特联合京东家电推出了一款主打轻音“0噪感”的循环扇并于4月8日开始了新品预售。创新的“黄金环”结构,大大降低了传统风扇的噪音问题,使得风扇在体感上具备了“0噪感”的特性,大大提高了用户体验。 据悉此款风扇是在今年3月在上海AWE展上首次亮相,凭借独特的设计和强悍性能一经发布…

    2024年4月16日 智能科技
    0
  • 全球见证,技术突破!阳光电源实力亮相SNEC展

    6月13日,阳光电源携全场景清洁能源空间亮相第十七届SNEC光伏大会暨(上海)展览会,包含“能源基地、零碳园区、零碳家庭、柔性制氢”和“灵动体验岛”五大展区,展示了光伏、储能、充电、氢能、运维等一体化、数智化、多能协同的全域产品实力。 展会现场,阳光电源宣布成功完成全球首个储能系统大规模燃烧测试实证,并首发《ArcDefender™储能直流拉弧技术白皮书》,…

    2024年6月17日 智能科技
    0
  • 优质工艺再升级,极空间新A4硬盘拓展柜重装上线,轻松应对存储焦虑

    优质工艺再升级,极空间新A4硬盘拓展柜重装上线,轻松应对存储焦虑  2024年4月10日,极空间官方正式向大众发布了新硬盘拓展柜A4(以下简称新A4),目前各大电商电台也已上架销售,这对有着大量存储需求的用户来说无疑是一个重磅好消息。极空间新A4此次重装上阵,对全线架构等硬件细节都作了升级优化,希望通过质量与实用两方面取胜,为广大用户提供了高性价比组建超大存…

    2024年4月19日 智能科技
    0