2023年度人工智能创新伙伴:深信服科技
作者: CBISMB
责任编辑: 张金祥
时间: 2024-01-29 10:04
关键字: 2023 数字实践 深信服 AI训练
浏览: 4
点赞: 0
收藏: 0
菲特天津检测技术有限公司和影石创新科技股份有限公司借助深信服AI训练存储解决方案,利用其高性能、高扩展、丰富的存储类型等优势,AI训练客户,实现降本增效。
针对底层存储的性能问题,通过EDS自研的启发式预读机制和多活元数据服务,可有效解决小文件性能难题,百亿数据集规模下也可提供高速的读写能力,从而减少GPU的等待时间,提高短期循环训练的吞吐能力和训练效率。
凭借矩阵式存储算法等全自研技术,EDS在存储图文、视频等小文件的过程中,可有效解决小文件写放大导致的空间浪费问题,最大化利用存储空间,三节点组成的集群即可满足一个中等规模的AI训练团队的存储需求。在性能的扩容方面,也得益于软件定义存储的架构优势,EDS在进行扩容时可实现容量与性能地同步扩展,灵活应对AI业务快速增长的性能需求。
通过EDS分布式存储,支持通过NFS CSI、S3等多种存储协议,可轻松与上层训练平台实现了无缝对接。同时,EDS还支持多协议间的数据互通,多类型客户端可共用一套存储,各阶段成果数据无须跨存储拷贝即可实现高效流转,确保用户在任何训练阶段都可有效调用数据成果,更便捷地挖掘数据价值。