DeepSeek开源周压轴神器:3FS文件系统,读取吞吐量达6.6TiB/s!再次打脸OpenAI?

文章资讯1个月前发布 admin
33 0
在DeepSeek开源周的最后一天,压轴出场的是Fire-Flyer文件系统 (3FS),一种利用现代SSD和RDMA网络的全部带宽并行文件系统,以及基于此系统的数据处理框架Smallpond。
DeepSeek开源周压轴神器:3FS文件系统,读取吞吐量达6.6TiB/s!再次打脸OpenAI?
从性能参数来看,3FS文件系统助力实现了180节点集群中高达6.6TiB/s的聚合读取吞吐量级,达到数据传输性能的前沿水平。
在25节点集群中GraySort基准测试的吞吐量为3.66TiB/min,每个客户端节点的KVCache查找峰值吞吐量超过40GiB/s,值得关注的是,Smallpond框架还可进一步扩展以处理PB级数据集。
DeepSeek开源周压轴神器:3FS文件系统,读取吞吐量达6.6TiB/s!再次打脸OpenAI?
网友们纷纷称赞:“这些基准正在为AI数据处理树立新的标杆!3FS可能会彻底改变人工智能、科学研究等领域的数据密集型工作流程。”
“堪称文件系统中的尤塞恩·博尔特,开源这款涡轮增压猛兽就像是免费为AI社区提供了加速引擎,让其他人都能争先恐后地跟上。”
“难以置信,你们创造了真正的技术价值,期待V4+R2!”
与DeepSeek这边风景不同的是,今天同步推出的GPT-4.5模型正在因贵到离谱的价格受到吐槽,OpenAI这波操作要彻底失去人心了?
01 高性能数据处理的“秘诀”
 
具体而言,Fire-Flyer文件系统(3FS)是一种高性能分布式文件系统,旨在应对当前AI训练和推理工作负载的挑战。
它利用现代SSD和RDMA网络来提供共享存储层,从而简化分布式应用程序的开发,主要功能和优势包括包括两个方面:
1、性能和可用性
分解式架构结合了数千个SSD的吞吐量和数百个存储节点的网络带宽,使应用程序能够以不受位置影响的方式访问存储资源。
强一致性实现带有分配查询(CRAQ)的链式复制以实现强一致性,从而使应用程序代码简单且易于推理。
文件接口开发由事务键值存储支持的无状态元数据服务,文件接口众所周知且随处可用,无需学习新的存储API。
2、多样化的工作负载
数据准备将数据分析管道的输出组织成分层目录结构,并有效地管理大量中间输出。
数据加载器通过跨计算节点随机访问训练样本,消除了预取或混洗数据集的需要,此外,检查点支持大规模训练的高吞吐量并行检查点。
用于推理的KVCache提供了一种基于DRAM的缓存的经济高效的替代方案,可提供高吞吐量和更大的容量。
DeepSeek开源周压轴神器:3FS文件系统,读取吞吐量达6.6TiB/s!再次打脸OpenAI?
DeepSeek展示了一个大型3FS集群的读压测吞吐情况。
该集群由180个存储节点组成,每个存储节点配备2×200Gbps InfiniBand网卡和16个14TiB NVMe SSD。大约500+个客户端节点用于读压测,每个客户端节点配置1x200Gbps InfiniBand网卡。在训练作业的背景流量下,最终聚合读吞吐达到约6.6TiB/s。
DeepSeek开源周压轴神器:3FS文件系统,读取吞吐量达6.6TiB/s!再次打脸OpenAI?
关于灰度排序,DeepSeek团队利用GraySort基准对smallpond进行了评估,该基准可衡量大规模数据集的排序性能。
测试集群由25个存储节点和50个计算节点组成。对8192个分区中的110.5TiB数据进行排序耗时30分14秒,平均吞吐量为3.66TiB/分钟。
从技术布局来看,基于DuckDB和3FS构建的轻量级数据处理框架smallpond,已经为扩展处理PB级数据集做好了技术准备。
至此,堪称技术干货满满的DeepSeek开源周正式结束,关键技术点在github社区吸引了非常高的关注度。
02 贵到离谱!OpenAI打出“情商”牌
赶在DeepSeek开源周结束之际,封闭模型代表OpenAI发布了一款迄今为止最大、最贵的AI模型GPT-4.5研究预览版本,由于没有太惊艳地超越各项测试基准,因此备受争议。
OpenAI官方表示,GPT-4.5是无监督学习前沿的模型,交互感觉更加自然,它的知识库更广泛更有深度,跟踪用户意图的能力也更强,而且“情商”更高。
这让它在提高写作、编程和解决实际问题等任务上非常有用,它知道何时要进一步跟用户对话,何时向用户提供大量信息,擅长代理规划和执行。
值得肯定的亮点是,通过扩展无监督学习,GPT-4.5提高了其识别模式、建立联系和产生创造性见解的能力,从而无需推理,相比OpenAI旗下其他模型而言,在SimpleQA基准测试中,GPT-4.5实现了更高的准确度(62.5%)和更低的幻觉度(37.1%)。
但与DeepSeek的开源性价比路线大相径庭,GPT-4.5服务价格比自家的4o贵15倍,比4o-mini贵了近250倍,API价格高达75美元/100万个输入代币和150美元/100万个输出代币,可能不适合大多数生产用例,在价格方面创下了新的“行业纪录”。
根据LiveBench最新的评测榜单,GPT-4.5确实是目前最好的非思维模型,总体得分高于Anthropic最新发布的“混合推理模型”Cladue 3.7 Sonnet基础型号,但靠“情商”这个卖点打出令人瞠目结舌的价格,网友们觉得不值。
可能也是担心会被网友吐槽,OpenAI创始人Sam Altman并未出席参加GPT-4.5的线上发布直播,但在事后发了一个帖子进行解释。
Altman在帖子里说:“好消息:这是第一个让我感觉像是在和一个有思想的人交谈的模型。我惊讶地发现能从人工智能那里得到很好的建议。 
坏消息:这是一个庞大且昂贵的型号。我们真的很想同时推出plus和pro用户版本,但是我们的GPU已经不够用了,下周我们将添加数万个GPU,然后再将其推广到plus层。
注意:这不是一个推理模型,不会超越基准。这是一种不同类型的智能,它有一种我从未感受过的魔力。真的很期待人们去尝试它!”
至于在产品发布时干什么去了?Altman回复说:在医院照顾我的孩子。
网友评论称,DeepSeek抛出来的都是满满的技术干货而且免费分享,OpenAI拿出来个鸡肋还要狮子大开口,抛开成本谈能力就是耍流氓,对它没有期待了。
03 “备战”下一代模型

DeepSeek的下一代开源模型会挑战GPT-4.5所谓的“高情商”么?价格会定成多少?这或许是接下来市场上最有趣的一场较量。

下一代AI模型怎么搞是个问题,需要有人改进效率,也需要有人去探路。
目前来看GPT-4.5这次发布展示技术趋势的成分远大于对商业层面的考量,也算是为整个行业在AI模型的探索前沿试了一次水,正如OpenAI联创Greg Brockman所言,这是在下一规模级别训练的模型。
OpenAI团队预测,更有力的推理即将出现。GPT-4.5在做出反应之前不会进行很长的思考,这使得它的优势与OpenAI o1等推理模型截然不同,与OpenAI o3-mini、DeepSeek R1相比,GPT-4.5是一种原生就更智能的模型。
OpenAI团队似乎想借此发布机会表示预训练和推理将相辅相成,随着GPT-4.5等模型通过预训练变得更加智能和知识渊博,它们将成为高阶AI代理更为强大的模型基础。
而DeepSeek开源周所展示的技术,从各种核心架构、加速技术和数据处理方式来看,都暗示已经为进一步打造更大更智能的AI模型铺好了路。
开源模型和封闭式AI路线之间虽然在技术理念和商业利益上有冲突,但在技术的交汇和碰撞中,具有跨代意义的超级AI模型或许不远了。
© 版权声明

相关文章

没有相关内容!
广告也精彩

暂无评论

none
暂无评论...