近日,存储产业技术创新战略联盟、中国电子技术标准化研究院联合华中科技大学、西北工业大学、山东省计算中心、之江实验室、杭州海康威视数字技术股份有限公司、中移动信息技术有限公司、长江存储科技有限责任公司等20多家学研机构、企业和用户代表,共同发布业界首个《AIGC数据存储技术研究报告》(以下简称:《报告》)。
《报告》首次系统梳理并深入分析了AIGC场景下的数据存储需求,探讨了数据存储技术如何应对AIGC带来的挑战,并为数据存储产业的未来发展提供了宝贵的参考和指引。中国电子技术标准化研究院副院长范科峰表示:生成式人工智能激发了海量数据存储的复杂多样需求,数据存储技术已成为发展生成式人工智能的挑战性问题和技术瓶颈之一;《报告》系统分析了AIGC产业的创新发展态势,从数据存储的角度揭示了AIGC技术的内在逻辑,为推动AIGC技术的持续创新发展提供进一步的支撑。
《报告》以其系统深入的分析和独到的视角,为数据存储技术发展带来了全新的启示。《报告》不仅提出了应对当前AIGC数据存储技术难点的解决方案,还对未来数据存储架构的发展趋势进行了预判,为有关行业企业发展和学术研究提供了重要参考。
《AIGC数据存储技术研究报告》
一、AIGC数据存储六大关键需求及应对技术
《报告》以AIGC全作业流程不同阶段的存储要求为基础,提炼了数据处理、容纳、管理、安全、共享和流动等六个维度的需求,并就支撑每个维度需求的技术点进行详细阐述。
1. 数据处理方面:以数控分离、内核亲和力调度、小文件聚合为代表的关键技术,能够显著提升数据存储和访问效率。
2. 数据容纳方面:通过高密硬件设计、大容量存储介质、数据压缩和重删技术为大容量存储提供了新的选择。
3. 数据管理方面:全局文件系统等技术能够实现数据的集中管理和有效治理。
4. 数据安全方面:通过故障恢复、故障预测、数据安全防护技术,提供从“治已病”到“治欲病”再到“治未病”的全方位数据安全保护。
5. 数据共享方面:多协议融合互通技术能够提升数据处理效率,降低存储成本。
6. 数据流动方面:数据分层、数据跨域流动通过构建统一命名空间和数据视图,实现跨平台、跨形态、跨地域的全局数据管理。
AIGC场景下数据存储关键需求图
二、四大场景应用体现优势和效果
基于分布式存储和备份归档的AIGC数据存储解决方案,满足数据采集、数据准备、数据训练、数据推理和数据归档五个阶段的能力,可以提供端到端的数据支持,满足面向文本、音频、图像、视频、代码以及多模态和全模态的大模型数据处理的需求。
《报告》通过多个经典案例,展示AIGC数据存储技术在实际应用中的优势和效果。
1. 高校:科研平台数据存储解决方案,提供了高性能和高可用性的存储系统,支持全数据生命周期管理,为跨学科领域研究提供了安全可靠的数据存储底座。
2. 大模型:AIGC计算框架存储解决方案,将异构计算汇聚,提供了高性能存储系统和多种数据特征提取、整合能力,为用户“再创新,再发现”提供了强力的工具。
3. 医疗:医学影像存储解决方案,满足了大规模医学影像生成模型训练的需求,提供了高效的数据处理和存储能力,以及强大的数据安全和隐私保护机制。
4. 金融:金融数据高效存取解决方案,采用分布式全闪系统和统一存储系统,提供了极高的IOPS和极低延迟,解决了分析建模和训练过程中的性能瓶颈问题。
三、AIGC催生新一代数据存储架构
展望未来,《报告》认为AIGC数据存储技术的发展将呈现多个趋势。其中,数据绿色存储将愈发成为关注的焦点,通过实施数据分层存储、数据去重和压缩等技术,提高存储系统的能效和降低企业存储成本。同时,数据安全存储的重要性也日益凸显,需要加强数据保护与安全技术的研究和应用。
此外,AIGC技术的快速发展还将催生新一代数据存储架构的诞生,新一代存储架构将围绕着更低成本、更高性能、更低能效、更大容量、更丰富的管理、更快速的运维的方向持续演进,这也将加速数据存储产业的快速增长和标准的完善。《报告》呼吁各行业共同努力推动技术创新和标准制定工作,以满足用户对高质量、高效率数据存储的需求。
在数字化转型的激流中,AIGC技术正引领着数据处理的新革命,而数据存储作为这一变革的坚实基石,其战略地位日益凸显。《报告》的发布,将为数据存储领域注入了新的动力,推动数据存储行业将迈向更加广阔的发展前景,开启智能存储的新篇章。