六部委联合印发!存算分离或成先进存储核心技术

2023-10-13 19:41:33 来源: 中金在线


(资料图)

近日,工信部、网信办等六部门联合印发《算力基础设施高质量发展行动计划》,制定了到2025年的主要发展目标,其中重点提出鼓励先进存储技术的部署应用,实现存储闪存化升级。预计到2025年全国存储总量超过1800EB,先进存储容量占比达到30%以上。  其中先进存储(AdvancedStorage,AS)指应用全闪存阵列、SSD等先进存储部件,采用存算分离、高密等先进技术,单位容量数据操作能力达到万IOPS(每秒读写次数)以上的存储模块。  算力需求攀升存储技术急需创新突破  随着数字经济时代全面开启,不仅数据总量飞速攀升,千行百业对于存储资源利用效率、框架灵活性、运维成本和应对高并发高吞吐能力的需求也越来越高。尤其通用人工智能时代的到来,大模型参数规模已经向万亿级迈进,对存储的扩展性、稳定性、性能、时延等都提出更高要求。存力是算力价值的前提和基础,只有数据存得好、算得快、传得稳,整个AI基础设施才能够更好发挥算力的作用。  过去,以SAN、NAS等集中式存储为代表的传统存储,建设和维护成本较高,一旦遭遇外部威胁或故障,运维复杂度和数据丢失风险极大,且其扩展能力有限。与此同时,分布式存储虽具备可横向扩展、性能和容量可扩展线性提升,但在传统的存算一体架构下,资源利用率不均、存储成本高、资源共享难是亟待解决的难题,如互联网业务系统庞杂,热门数据在不同的计算引擎中重复存储,PB级数据冗余、浪费;AI训练算多存少,存储资源却总是捆绑着计算资源增加;网盘、音视频、医疗影像、智能汽车等业务存储增长速度快,要么不够用,要么多买大量存储闲置。  存算分离先进存储打造极致性价比  数据存储计算需求的急增,存储和算力的需求不一,使得“存算分离”成为存储未来发展的必然趋势。依托云平台的分布式存储,采用“存算分离”,我们可以解决算力和存力生命周期不一致的问题,将存储和计算分开,单独按需配置,大幅优化存储成本。  但是存算分离可能会带来性能损失。传统的云上分布式存储读写慢,性能低于本地盘50%-70%,对于智能汽车、游戏、电商等性能敏感型行业,延迟、卡顿问题明显。  历经多年京东618的实战考验,京东云通过架构的革新,将自己全自研的存储产品“云海”性能提升到了类似本地高速闪存盘的水平。京东云通过超低延时RDMA网络技术、创新性高容错分布式一致性协议、用户态NVMe等技术手段,将存算分离真正大规模应用到生产环境中。目前,京东云云海实现了单实例读写延迟至100μs以内,单盘提供100万级IOPS的极致性能,并实现1.1X级别副本的安全使用,成功将存储利用率提升至90%。    广泛应用携手行业共筑数字未来坚实底座  在过往的京东多次618、11.11中,基于云海的存算分离系统架构,使得原本由于性能问题很难全面实施的存算分离得以落地,在满足低延时、高并发业务需求的同时,还带来超50%以上的成本降低。  经京东长期自用实践后对外开放的云海分布式存储系统,也已广泛应用于外部企业。如为某头部网络音频平台打造稳定经济的双活存储平台,系统上线运行两年以来,一直稳定运行,从未出现故障,并实现综合成本降低20%~30%;国内某消费金融公司通过京东云为其提供的云海大数据存储+对象存储服务解决方案,存储综合降本超过60%,获得更优的成本效率及可扩展性。目前,京东云云海已在存算分离、高性能计算、AI训练、大数据底层存储等新兴场景,以及音视频存储、图片存储、数据报表、灾备存储、传统存储替代等传统场景广泛应用。  针对当下的大模型应用和超算场景,京东云推出的云海极速版产品,不仅实现了性能、扩展性、灵活性的兼顾,还可满足各类高性能、大规模运算场景的存储需求,大幅提高数据分析效率。在国内某领先的自动驾驶技术公司的L3与L4模型研发中,云海极速版已在企业落地应用,满足了该企业上百个GPU计算节点在模型训练过程中访问存储数据,并应对计算节点的高并发访问的需求。  此外,京东云云海核心技术自主可控,与主力国产化平台完成兼容认证,可以在全面自主的基础上保证存储性能,做到真替真用。  数字经济的广度深度正在持续拓展,面向未来,京东云云海将继续深耕产业,持续打磨先进存储技术产品能力,提供更高性能和更优性价比的先进存储服务,力求成为数字未来的坚实底座。

每日热点