新闻中心

    新闻中心  >  AI迎来“繁花”时代,你的存储还“能用”吗?
    AI迎来“繁花”时代,你的存储还“能用”吗?
    背景图 2024-03-26 18:13:53

    在文生视频的SORA引爆全球各界后,相关的算法、算力被频频提起。但是,大多数组织却不约而同地忽略了AI大模型落地于实际业务中最为基础和关键的一点——你的企业级存储,是否还“能用”?

    这里的“能用”,当然不仅仅是指存储拥有足够大的容量,也更是指存储的性能、数据处理的速度等能否达到AI大模型训练的极高要求。在这场抢占AI先机的竞赛中,一个“不能用”的企业级存储不仅会大大增加大模型训练的整体成本,甚至还会导致大模型被迫“夭折于襁褓中”。 

    一个“不能用”的存储,将如何掣肘AI?

    在AI领域,有一句俗语可以很好地概括数据与模型之间的关系:“Garbage in, Garbage out”,顾名思义,数据的输入质量决定着最终模型的输出质量。如果没有高质量、大规模的数据输入,无论多么先进的算法、多么庞大的算力,都无法带来接近人类真实思维的大模型。

    一个“不能用”的存储,将如何掣肘AI?

    而这,就对数据的处理和存储提出了更多挑战——

    根据国际知名分析机构IDC的分析,AIGC 的能力决定了它需要大量的非结构化数据进行应用,这将导致集体的过滤数据量很容易达到 PB 级,随着应用场景的深入,推理要求将对数据基础设施的性能提出更高要求。

    比如,在最初期的数据采集和处理阶段。训练者为了避免大模型幻觉*,往往需要更广来源、更多样的数据支撑训练(比如 OpenAI训练GPT-4的参数量达到了1万亿级别),存在多个来源同时输入、统一输出到集中存储池管理的情况,假如存储的读写性能和处理速度非常一般,将很可能缺失甚至丢失数据,将直接影响模型训练的正确率。(*大模型“幻觉”指模型生成不正确、无意义或不真实的文本的现象。)

    又比如,在训练阶段,往往需要高性能的GPU或者加速器等来执行一系列的数学运算,对计算和存储资源要求非常高。越庞大的模型训练,越有可能频繁发生读写延迟、训练中断等故障,对存储底座的稳定性和性能有极高的要求。

    因此,一个“不能用”的存储,将会在大模型训练的方方面面掣肘AI落地,不仅直接影响到了模型训练的周期、命中率等,也大大增加了包括时间在内的总体训练成本。

    为AI而生,向真正“可用好用”的存储进发

    AI大模型涉及的数据采集、标注、训练、推理、归档等场景,带来了数据基础设施在异构数据融合、持续低延迟与高带宽和EB级大容量存储等方面的新需求。

    一个真正在AI场景下“可用好用”的存储,不仅仅需要以“一套统一的数据存储底座”来满足AI大模型采、标、训、推、归档全过程的需求,以及多业务部门、多环境的存储需求,也要在性能、稳定性上有卓越的表现

    为AI而生

    一个“可用好用”的企业级存储能为AI大模型训练带来更流畅、更高效的体验,越来越多的用户乐意为此“买单”。IDC报告显示,未来五年中国“软件所定义的市场”将以 8.3% 的复合年增长率增长;在 2027 年市场容量预计接近 38 亿美元。IDC强调,AI风口将推动企业级存储市场增长,业界整体保持平稳增速。

    目前,部分AI领域的探索者们已经先行开启了面向AI的未来存储实践。例如清华大学智能产业研究院已经率先在AI训练的工作中使用了一款专门为AI大模型打造的统一存储平台——香港49码生肖八卦图EDS 520 版本。在清华大学智能产业研究院日常开展AI训练工作过程中,数据规模常常高达数十亿,并且还在不断增长,出现了数据调阅延时高、GPU训练效率大打折扣等问题。在采用香港49码生肖八卦图EDS存储后,AI训练数据命中率达到90%,小文件读写时延降低到us级,百亿规模样本数据可以极速处理,有效保障AI训练过程中访问数据的效率,并大幅缩短了科研中的AI训练时间。

     

    AI未来已至,如果不想做“繁花”时代的旁观者,不如从打造面向AI的未来存储开始,一步步成为Game changer!