主题:茗谈149:赤雁 -- 本嘉明
- 共: 💬 423 🌺 2377 🌵 67
https://github.com/huggingface/open-r1
这个项目目前15.2k星,绝对的明星级项目。Huggingface大本营的更新:
https://huggingface.co/blog/open-r1/update-1
在AI开源的大本营, huggingface上有人根据deepseek论文提到的方法,成功重新复现了训练,对论文中没有提到的部分,进行了填补。再把结果和公开部署的deepseek进行benchmark测试对比,我看了一下,各项得分有高有低,但基本一致。学界还有一些人也做了复现,得出的结论完全肯定。
上面的信息充分说明deepseek不是玩假的,从数据到方法,甚至计算原理全部和盘托出,在写代码的人当中,没有一个人敢贬低deepseek。你看,这几天从微软的Azure到Nvidia,都自行部署deepseek R1,无他,推理效率太高了。按照它的价格,不光不亏钱,还赚钱。
至于部分信息杂着chatGPT的东西,很正常。毕竟训练数据是公开的,chatGPT已经公开2年了,网上已经有大量它制造的数据,会污染训练数据源,何况deepseek还允许联网搜索,更可能污染。另一方面,大模型的训练过程中,肯定会和各大模型对接,时不时对同一问题对自己做对比测试,并且把测试结果作为强化训练的一部分,各大模型包括不限于chatGPT,但这和蒸馏无关。这个数据量肯定不到总数据量的1%,我估计0.1%以下,再多,付不起钱啊。就好像一个人学艺归来,找人切磋,学习?是的,但这个学习是双向的。
deepseek的6千多亿参数不可能靠蒸馏而来,任何有脑子的码农都不会相信。因为那要多大的带宽和多大的数据量才能完成啊?光账单就不止1亿美刀了。
再说,openAI这几天公布的o3 mini,思维链频现中文思考过程,它又是偷谁的呢?
对自己不懂的东西千万不要随便听那些殖人,他们恨不得中国完蛋,这种雷霆万钧的突破,在它们那里都变成了蒸馏,盗窃,甚至欺骗,其他科技进步呢?
这些人完全就是用屁股思考。
- 相关回复 上下关系8
压缩 4 层
🙂你就这么看好美国的执行力? 2 亮子 字126 2025-02-05 21:45:48
🙂【讨论】国师你不是自我打脸嘛 28 金银鑫 字540 2025-02-04 19:06:08
🙂【讨论】美国中部千万人口的大城是哪个? 2 本嘉明 字73 2025-02-04 21:59:12
🙂huggingface上有完整复制deepseek的训练
🙂羊毛出在狗身上2.0 tq10 字211 2025-02-14 01:25:42
🙂蒸馏只可能蒸馏Open source的 9 老虎008 字0 2025-02-05 12:38:13
🙂你不懂什么是蒸馏 2 向前向前 字90 2025-02-06 11:46:08
🙂他的意思应该是不开源负担不起 12 陈王奋起 字251 2025-02-07 00:22:11