随着科技的飞速发展,人工智能(AI)与机器人学习(ML)已经逐渐成为引领未来的核心技术。近期火爆市场的Chat GPT AI大模型深度结合AI与机器人学习技术,实现人机交流、学术研究、内容创作等应用,国内行业巨头百度、腾讯、阿里、抖音等企业,近期也纷纷推出新一代大模型应用。随着AI大模型应用深入发展,已渗透至各行业应用场景中,尤其科研大模型种类更是层出不穷,而全闪存存储就成了AI大模型发展的关键。
AI大模型硬件架构包括算力与存力,算力跑得快存力要跟上,两驾马车齐头并进、相互配合,成为影响大模型训练推理效率的关键因素。算力指前端服务器GPU计算,存力除了要求后端存储设备俱有海量的存储空间,也要求存储设备提供高效数据读写性能,以提升算力利用率。Infortrend普安科技HPC高性能全闪存存储解决方案,具有高性能、低延迟、高可用和高扩展等优点,能够满足大规模高速数据读写及数据安全需求。
AI大模型训练需要高并发时,通过并行文件系统,能提供更高的性能及更多的容量空间。GS全闪存存储支持主流并行文件存储系统集群,单节点(24颗NVMe SSD )提供70GB/s读性能, 节点增加性能成倍增长,15个节点可达1TB/s的读,确保了数据的高速传输,这对于复杂大模型训练来说至关重要,能够加快数据的处理速度,大幅提升大模型训练效率。另外,大模型数据通常是图片、文档等小文件,GS针对海量小文件元数据采用 SSD卷缓存来进一步优化处理速度。
据统计大模型训练数据已达10亿参数规模,需要大量的存储空间存储数据,GS全闪存存储支持横向纵向扩展,通过并行文件系统集群容量可达1EB,并将数据保存在单个命名空间下的同一目录中,分析人员可以在不更改设置的情况下继续工作。
AI模型训练依赖于大量数据,一旦丢失,将造成不可估量的损失。通过GS全闪存存储提供RIAD、文件备份、本地复制、远程复制等安全措施,可以帮助在原始数据受损或丢失时恢复数据,以确保数据准确性与完整性。
Infortrend 高性能计算全闪存存储方案作为大模型应用中不可或缺的“存力”基石,为AI与ML等高性能计算应用提供快速的数据响应,海量的空间及数据安全保障,成为推动大模型科技创新的重要力量。