高性能计算HPC,通过聚合大量的计算和存储资源来解决复杂问题,在科学研究、基因测序、油气勘探、芯片制造、气象预测等场景已经获得了广泛的应用。欧洲粒子物理研究所(CERN)在HPC的帮助下,从5年间累积的海量监测数据中找到了“上帝粒子”存在的证据;汽车制造过程中,通过HPC来模拟汽车碰撞过程,无需真实的碰撞,不仅节省研发成本,也大幅缩短了研发周期。
过去,追求更高的算力一直是HPC产业的主旋律,从1976年至今,TOP1机器的算力增长了42.1亿倍,比任何一个领域的技术发展速度都要快,多样性算力的崛起更让算力不再成为瓶颈。而HPC中的存力,逐步成为焦点。大数据、AI等技术逐步与HPC融合,让数据价值能够被更充分地挖掘,而被分析的数据也逐步从冷数据,变化为大量动态的、不断变化的热数据。HPC的重心开始从以计算为中心的计算密集型HPC,向以数据为中心的数据密集型HPC演进。存储作为数据的核心承载者,成为了推动HPC产业发展的新动能。Hyperion 2020年HPC全球市场的预测显示,从2019年到2024年,HPC存储市场将保持12.1%的年化增速,远高于计算的8.7%,也在一定程度上印证了这一趋势。
IDC预测到2021年,全球HPC存储的市场空间可达148亿美金,其中新兴的HPDA(high performance data analysis)和HPC-based AI场景将以年化17%、29.5%的增速快速增长。HPC与大数据结合产生的HPDA方案,当前主要应用在金融反欺诈、电子商务等领域,是一种典型的数据密集型业务。这些新的场景将为HPC存储带来更大挑战,包括多应用跨协议高效访问、同一个数据流中的混合负载处理能力、面对EB级数据的TCO优化方案,以及如何确保数据安全的问题。
产业变化催生了新的市场空间,面向HPDA业务的存储已成为存储领域最热门的创新方向,也成为巨头们角逐的新战场。近年来,存储领域的主流玩家Dell EMC、NetAPP、华为以及专攻HPC存储的DDN等也在不断加码HPDA存储方案,以期在新的变革浪潮中拔得头筹。
Dell EMC的PowerScale(原Isilon)分布式文件存储推出已久,除了在媒资等领域广泛应用外,一直以来也是HPC存储领域不可忽视的力量。近两年针对HPDA的高速发展,Dell EMC敏锐的推出了新的全闪产品和专为数据分析和AI优化的全栈方案以提升客户吸引力,并取得了良好的市场进展,据悉已经承载了超过1000PB的自动驾驶训练数据。
原本主要聚焦EDA等小文件HPC市场的NetApp,近两年来也觉察到HPC存储的巨大市场潜力,投入大量资源全面重构主力产品,从而在新一轮HPC和HPDA竞争中,依托小文件AI场景的高性能,也取得了不错的市场地位。
中国厂商中,华为也迅速瞄准HPC存储新机会开始加大投入,并于2020年发布了全新的OceanStor Pacific系列高密全闪和高密大容量两款产品,同时支持多协议互通以及混合负载。据了解,上海交大在暗物质探测中的使用显示,其性能远超预期。
作为专注HPC存储领域的玩家,DDN曾经撬动了服务器并行文件系统+SAN存储10亿美金的市场。在HPDA大势之下,DDN又积极扩展HPDA方案与生态,增加全闪存产品投入,成为HPDA市场的主力军,也是英伟达的最佳合作伙伴之一。
此外,还有一批初创公司纷纷入局,如WekaIO依托分布式文件存储已经成为了新一轮benchmark性能的佼佼者。
每一次产业变革机会窗的开启,总是几家欢喜几家愁,一批公司的崛起也总会伴随着另一批的陨落。相信谁都不想掉队。面对HPC存储的新机会,谁能笑到最后,不妨让子弹再飞一会。
本作品如有侵权,请联系我们及时删除。联系电话:010-53325332
环境与生活网-《环境与生活》杂志社官网版权与免责声明:
① 凡本网注明“来源:环境与生活网或《环境与生活》杂志”的所有作品,版权均属于环境与生活网,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:环境与生活网”。违反上述声明者,本网将追究其相关法律责任。
② 凡本网注明“来源:XXX(非环境与生活网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
③ 如因作品内容、版权和其它问题需要同本网联系的,请在30日内进行。
相关文章