02
27

DeepSeek开源第四弹“教”优化,梁文锋参与研发

2025-02-27 15:27分享至
DeepSeek开源周(OpenSourceWeek)第四弹来了,DeepSeek于2月27日在X上宣布这次开源的是三项优化并行策略,并在Github上详细展开了DeepSeek-V3和R1模型背后的并行计算优化技术,通过这些阐述可以清晰了解团队是如何精细地优化计算和通信,最大限度利用GPU能力的。这三项优化并行策略其中包括DualPipe,这是一种用于V3/R1模型训练中计算与通信重叠的双向流水线并行算法,这种算法能够完全重叠前向和后向计算通信阶段,与传统方法相比减少了“流水线气泡”(设备在某些时刻的空闲等待)。 在DualPipe的开发团队署名中,包括创始人梁文锋。(第一财经)原文链接

下一篇

据报道,在大规模裁员的同时,美国科技巨头Meta正在提高公司高管的薪酬。该公司最近批准了一项计划,将高管的奖金从基本工资的75%提高到最高200%。根据Meta最近向美国证券交易委员会(SEC)提交的一份文件,该公司的目标是让高管薪酬更好地与公司的优先事项和行业标准保持一致。但这个时机让人吃惊,因为就在宣布这一决定的前一周,Meta解雇了3600名员工,约占其员工总数的5%。(新浪财经)

2025-02-27

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业