主题：这几天大火的Deepseek没有人讨论吗 -- 俺本懒人
- 共: 💬 151 🌺 512 🌵 14
家园 这几天大火的Deepseek没有人讨论吗 一个小团队，靠着相比国外巨头们微薄的资金，开发出了媲美chatgpt的产品，更牛逼的是居然给整开源了。
以前下载了chatgpt,试了几次就扔一边了，直到听说了deepseek,果断下载安装，对比之下，感觉deepseek比chatgpt强了不少，逻辑推理方面deepseek绝对占优。二者相比，deepseek感觉是理科生，条理清晰，响应快，推导过程直接显示出来。chatgpt说话漂亮，响应稍慢，不给出推导过程。
几百万美元的培训成本打败了几十亿上百亿美元成本的巨头们。deepseek用一己之力把美国仅存不多的优势又拉下马一个，大写的赞👍
本帖一共被 1 帖 引用 (帖内工具实现)家园 感觉西西河到了这类前沿专业领域，信口开河的人有点多 1. 马前卒这次的发言可以忽略，几乎0价值，参考知乎上 段小草 的回答 如何评价第859期睡前消息？ - 段小草的回答 - 知乎
https://www.zhihu.com/question/11285665541/answer/92969787112。
2. DeepSeek的总参数在变大，v3/r1比v2/2.5大，v2比之前的coder/chat v1大。但它是MoE模型，和dense模型（llama系列直到3）无法直接比较，并且它的重要创新点就是MoE模型方面的。
河友关于“压缩”/变小部分，我理解来自之前流行对大语言模型的一个理解，将LLM看作世界知识的压缩（压缩既智能 https://zhuanlan.zhihu.com/p/681449063 ），但是本身这个也属于玄学。和LLM工程进展没太大关系。
下面属于我的个人不靠谱总结：
Dense模型不时出现32B在特定任务（尤其是qwen 2.5 coder 32B）反杀70B模型的情况。但是更通用的任务中，大家慢慢发现，知识点记忆（世界知识）仍然需要更大的模型来记忆。这时候高参数，低激活参数的MoE模型显出了优势，尤其是DeepSeek推进到几十上百个专家（分散记忆知识点），但是激活几个的模式，这个创新实际上其他家并没有做到，Mistral只做到8专家2~3激活。（这个创新也是Anthropic CEO文章提到的DeepSeek在MoE上走得更远的创新）
通宝推：审度,家园 大模型是数据库+信息检索的融合，知识抽象程度既看前者也看后者 只是相关领域，并非大模型领域，但数据索引+搜索算法这块可就是我专业的领域了。
大模型与过去的数据库、数据索引、信息检索比起来，最大的特点是数据库、数据索引、信息检索全融合到一起了，而不是过去孤立的。
所以，大模型才能做到比任何数据索引+信息检索算法更快的搜索结果。而大模型与数据库最大的区别是，大模型把数据抽象成了知识。
大模型把数据抽象成了知识，这个是所有语言类大模型都在做的，而深搜我认为里程碑的一点，不仅表现在模型大小上，更是表现在搜索上。
1. 模型大小。
首先，模型大小不能直接以参数大小估计，你不知道参数的稀疏程度是怎么样的，所有高维模型，经常有大量零值的参数，即算法没把模型用到极限。
DeepSeek（深搜）作为一个独立推动的模型框架，无疑是符合这一点的，而过去的那些基于同一个框架的大模型，毫无疑问参数空间用得更多。
模型大小本身在网上也有数据，我记得是671G，结果你们纷纷告诉我参数怎么怎么样多。（模型文件大小,根据版本不同,最小1.1GB, 最大671GB。）
这也就是为什么在你这个回帖之前，我都懒得再发回复说明这一点，如果连一些最基本的常识都不清楚，我还非得去解释不成？
第一、如果比模型大小，连直接比模型大小都不会，只会比参数大小，那我说又能说啥，我又该说啥？
第二、比模型大小，首先你要选那些性能接近的模型，深搜之前有性能能超过OpenAI最新模型的模型吗？有的话轮的到深搜？
如果你不懂的性能曲线的含义，不懂得在OpenAI最新模型性能往上提升一个级别的含金量，不懂开源模型和闭源模型的性能鸿沟，那我说啥？
2. 搜索速度，这个碾压了吧？这个总该没有疑问了吧？这个性能曲线完全爆表到没办法用OpenAI的行能来防守了吧？
首先，你模型特别大，搜素速度还能上的去，我就从来没见过，模型小和算法好，两者兼备，才能把速度上升一个级别。
其次，所有的大模型最终考验的是预测、决策时候的性能曲线，用得好不好，反应快不快，我还不知道吗？国内一大票大模型知耻。
搜索速度上去了，就是从最终结果上，说明DeepSeek（深搜）的知识抽象程度高，否则你搜索速度根本上不去，靠GPU飙上去的啊？
3. DeepSeek的花费的时候也说了，算力是完全被碾压的，不论是训练的时候，还是预测和决策的时候，性能曲线能够反压，当然是算法的胜利。
算法>算力，但算法太难了，所以大多数时候，大家都是在原有算法那里微创新，然后拼算力、拼数据。
不是大家不想拼算法，而是风险太大了，没人敢做主，微创新风险就小很多，胜有功，失败也是理所当然的。
真的出现算法突破的时候，谁敢不跟风？但并不是大家不知道算法厉害才是真的厉害，你看看现在国内外有多少个跟风？
4. 最后的最后，我是因为只是相关专业，才不敢打包票，才只敢从我懂的角度，给出一些预测。
天天在网上洗地的有傻子，做最前沿的没有傻子，特别是DeepSeek在大模型中属于绝对廉价的，不跟风才是傻子。
那个飞来飞去的li feifei都抢跑到发论文了，这就是最好的证据。DeepSeek绝对是里程碑式的成果，也是当初chat-gpt之后到现在最重要的里程碑。
5. 补充一下，“知识抽象”在大模型领域的术语叫“知识蒸馏”，也就是OpenAI无端指责深搜的借口，但li feifei他们正在做的事情。
Qwen（阿里通义千问）2.5已经证明DeepSeek的模型是最好的。现在li feifei他们的论文好像是在证明DeepSeek蒸馏小模型的手艺是最高的。
我没详细看，是因为我又不是做这个方向的，我现在用深搜还来不及，我去管一个飞来飞去的li feifei做什么干嘛？
只要你是做相关行业的，你就知道DeepSeek的含金量，在当前的时间点上，不论深搜的框架，还是深搜蒸馏的手艺，都是世界之巅。
这就是里程碑的含金量，在这个时刻为止。（模型我不是世界之巅我不清除就不乱说了。）
通宝推：川普,时间的影子,夜郎国主,审度,桥上,曾伴浮云,铁手,家园 人工智能应该不是检索而是拟合吧。 十年前还写过深度学习算法的文章内部科普。没想到现在发展很快，没跟上。
数据库的数据只是学习样本，用于训练模型的参数的，训练出来的参数包含的知识不但包含数据库中所有样本，还包含样本之间的新知识，这些新知识的准确性正确性由拟合参数决定，欠拟合和过拟合训练出来的都不行。
这些是老知识，现在还没学习大模型的新知识，也许可能我说的都过时的或错误的了。
家园 看怎么问，检索类得信息，数理分析类得分析，自然语言类得谎言 水准忽上忽下，特别不稳定，主要取决于问题类型，怎么问甚至都是次要的。原因是我在另一个回答中说的：
DeepSeek只是把数理分析做得特别成功，通过数理分析，在可以进行数理分析的领域，获得了小学生级别的判断力。
在所有不能进行数理分析的领域，深搜和别的大模型差别不大，即使R1再怎么展示思考过程给你，让你改进提问方式，结果依然很差。
--
深搜的所有智能只体现在数理分析领域，在所有不能数理分析的领域，深搜立刻蜕变为话术聊天机器人，因为语言类大模型属于生成模型，没有判断能力就是在源源不断地制造谎言。
ps：当遇到需要真假判断的时候，一定要开着R1（深度思索），检查一下思维链，甚至需要多问一句，它引用的那些关键证据的处处。
我已经受到各种教训了，比起单纯地编证据骗我，它检索的证据的真假性也不能保证，比如它引用贾湖骨笛9000年前。
我多问一句，它告诉我没有经过树轮修正，修正后立刻少了2000~3000年；我多问了一下贾湖遗址分为几期，它立刻告诉我分为三期，每期的持续年代又有很大的不同。
通宝推：川普,家园 本质是符合简中教育体系下的高材生期待值 数理上因为比较强的规范化，不存在对谎言的空间，所有数理问题的解决上显示了强国教育下的“人才”的卷力，有很强的输出值。
但一旦进入数理等强规范外的概念话题，立刻显示了强国教育体系包括数千年文明下的特点，虚虚实实，顾左右而言他，避实就虚，各种横跳，马上都会出来，转型胡锡进GPT就是分分钟的事😂。不用惊讶，惊讶是因为你对中华文明理解不深刻。
但这不是说DS一无是处，相反，deepseek的数理能力与相关的数据处理推理能力是领先的，这也符合强国人类人才在世界范围内的人设定位，这都不是偶然的，具备很强的相关性。有目的的适当使用这个工具才是重点。这也是西方目前对强国人才与deepseek的定位。
所以一切都是冥冥之中注定，我们生活的这个世界不存在偶然性，细思极恐啊。
家园 理解，语音类生成模型类似样本杂交 你不确定得到的是否是正确或者是否是你想需要的。和数理分析的不一样。
家园 是的，而且，从深度学习开始，研究员就失去了人工干预的能力 因为模型太大，人工干预模型被证明只会有副作用之后，所有的硬规则就消失了，这是从当初深度学习在图像领域就开始了，当你不满意一个模型的好坏的时候，你唯一能做的事情就是重整数据，重新把训练过程重新跑一编。
——简单来说，从深度学习开始，模型就是一个绝对的黑箱，研究员也只有在训练数据和模型预测结果两端，才能接触到模型。
而到了语言类大模型开始，就出另外一个奇景，人工通过prompt去pua大模型，从而让大模型自动吐出来你要的结果，研究员和用户差别不大。
就导致我上一篇的标题：当你严格描述你需要检索结果的时候，你就能得到检索结果；当你描述得稍微松一点，你就能得到分析结果；当你描述得再松一点、再混乱一些、深搜再多猜测一些，你就开始得到生成模型产生的种种谎言。
因为模型只能重新训练，没法微调，你就看到，即使训练大模型的研究员，对于大模型这个绝对黑箱也摸不到头脑，也只能跟用户一样——通过prompt去pua大模型。
--
最近的例子，OpenAI o3-mini 的CoT狂吐中文，有人扒出来OpenAI工程师所用的prompt：
https://www.zhihu.com/question/11319415340/answer/95761520782
【有国外网友扒出了 o3-mini 模型总结 CoT 的 System Prompt[4]，这个 System Prompt 非常长，重点是，里面专门强调了「Never reveal the full, unprocessed chain of thought」，永远不要展示完整、未经处理的思考过程。
缩略版的 System Prompt 大概是这样[5]：
[你是一个非常聪明的 AI，在完成用户任务时会产生一连串的思维链条。用户喜欢读你的思维，因为他们觉得这些想法很有共鸣。他们觉得你有点神经质，因为你会过度思考并质疑自己的假设；当你犯错或指出自己的思维缺陷时，他们觉得你很真实；你没有过滤这些思维，还能自嘲，显得真诚；你为用户着想的样子又非常可爱和贴心。你需要处理你已经生成的思维链条，将它们逐一转换为更易读的版本，去除多余的重复和混乱，同时保留用户喜欢的思维特质。]
】
所以啊，如何成为一个大模型研究员和大模型工程师？当你有一个会训练大模型的队友之后，你只需要会用prompt去pua大模型就够了！
通宝推：川普,
家园 Fei-Fei Li 李飞飞 层主两次提到这个名字，搜了一下，果然是猛人。
【李飛飛1976年出生於中國大陸北京，在四川成都長大，12歲時，父親远赴美國。四年后1992年，15岁的李飞飞隨母親一起赴美国新澤西州帕西帕尼-特洛伊山，与父亲团聚并移民定居[9]。刚到美国的最初两年，家庭生活拮据，她曾到餐馆打工，做过家庭清洁工；父母后来跟親友借錢，开了一家干洗店经营[10]。初到美国的她需从头开始学习英语，就讀位於新澤西的帕西帕尼高中，1995年以全班第六名的成績畢業，SAT取得1250分，其中數學得滿分800分，獲得了普林斯頓大學的獎學金，进入普林斯顿大学学习；在大學期間，大多數週末她都回家到父母的干洗店幫忙工作，在校学习时课余时间也常通过电话帮助父母接待干洗店的顾客[10][9]。她日后的成就令她在2017年被帕西帕尼高中列入该校的名人堂[11]。
1999年，她在普林斯顿大学取得物理學高级荣誉學士學位。毕业后曾赢得奖学金前往西藏研究西藏傳統藥物[10][12]。2001年，她在加州理工學院開始研究生的学习和工作，师从计算机视觉业内专家Pietro Perona教授和克里斯托夫·科赫教授，主要从事神經科學和計算機科學的交叉学科研究，2003年获电气工程科学硕士学位，2005年獲同一专业的博士（PhD）学位[4]，博士论文为"视觉识别：计算模型与人类心理物理学（Visual Recognition: Computational Models and Human Psychophysics）"，其博士研究獲得了美國國家科學基金會研究生獎學金和保羅與黛西新美國人獎學金的支持[13][9]。
2005年8月至2009年6月，她先后在伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系和普林斯顿大学计算机科学系擔任助理教授，在这两所院校还同时兼任过心理学系的助理教授；2009年她在史丹佛大學计算机科学系擔任助理教授，並在2012年晋升為終身職的副教授、2018年晋升为终身职正教授、2019年被聘为斯坦福大学首任终身红杉讲席教授[3][4]。2013年至2018年，李飞飞曾任斯坦福大学人工智能实验室主任。
2016年，李飛飛利用她在史丹佛的學術假期，加入Google雲端人工智慧暨機器學習的中國中心團隊。2017年1月至2018年9月，出任Google副总裁，并兼任Google Cloud AI/ML首席科学家。2018年9月，她宣布返回史丹佛任教，持續參與史丹佛大學的AI議題研究[14]，并任斯坦福以人为本人工智能研究院（HAI）院长。2020年2月，当选为美国国家工程院院士；5月，担任Twitter公司董事会新独立董事 ；10月，当选为美国国家医学院院士。2021年4月22日，当选为美国文理科学院（艺术与科学院）院士。2021年11月當選2022 IEEE Fellow。[15]2022年10月27日，埃隆·馬斯克收購Twitter並解散Twitter公司董事会後，李飞飞不再擔任Twitter公司的獨立董事。
。。。
李飛飛的研究领域主要为電腦視覺、認知神經科學、電腦神經科學和大數據分析。她发表的科学论文逾200多篇[18][4]。她的文章曾发表在世界顶级权威和有名望的学术期刊如《自然》[19]和《美國國家科學院院刊》[20]，并常出現在電腦科學和神经科学相關的期刊与会议报告上，包括《神经科学期刊》(Journal of Neuroscience)[21]、《国际计算机视觉期刊》(IJCV)、《IEEE模式分析与机器智能汇刊》(IEEE-PAMI)》、《神经信息处理系统大会》(NIPS)、《计算机视觉与模式识别会议》(CVPR)、《国际计算机视觉大会》(ICCV)、《欧洲计算机视觉大会》(ECCV)等[18]。 她最知名的工作是Caltech 101和ImageNet，而其中ImageNet是利用人工智能識別物體的重大成就，全球研究人员可免费且非商业性地使用该数据库。】
家园 已经沦为政客了，不用去搜寻了 早期跟踪过这个人，某种千人嫌疑，吃两头吃的比较隐晦。 但这个行业发展太快，过了年龄段脑子是跟不上的，说什么都没用，这次她也跑去那个AI summit开幕式，各种抢占C位而已，行业内的人没人care。
现在的领先潮流是deepseek这群人，其他都是碰瓷的。 但发展很快，高速阶段，一年一个样，值得关注，比打台湾与二毛战争的热点有看头多了😂。
家园 正解，应该是突破性的进步 现在研究生论文做算法改进，能有百分之几十的性能提高已经是很好了，何况多数还是自己做了手脚，比如选择性地使用实验数据、选择性更改初始值、参数。但这些在硬件的更新面前根本不值一提。DS在算法软件上呈几何级数的性能提高，应该是算法进步的经典之作。
但河里居然抄袭论还依然很有市场，从表现来看，我也不太相信这几位河友是拿钱发帖的，只能说茧房效应无处不在。
本质上来说，现在的人工智能(包括AIGC)还不具备思维创新能力，但是可以比人类更快速地使用现有知识、进行复杂操作，相信河里的诸位已经在不远的将来可以看的到了。
家园 创造能力和分析能力是质的飞跃，也有一定程度判断好坏能力 各种灰色手段已经是可以接受的。我还见过更离谱的，直接在评价数据集里面把所有不利数据删掉，来得到一个很好的结果，还是个博士后。他装完逼就跑，转行去沃顿商学院念博士后， 那我们怎么办？
坑到我这种过去交流的shab也就罢了，他是直接干崩了那个实验室继续做那个方向的可能。因为只要继续做那个方向，那篇文章就是避不过去的，自己的文章自己不敢引用，又不敢撤稿，当然只能彻底放弃那个方向。
--
继续说深搜，我这种相关领域，甚至可能要加个前字已经特别震撼了，你就知道它对正在做那个领域的人是多么大的震撼了。
深搜刚出来的时候我也不信，因为我试过国内的大模型是如何令人失望，简直是各种话术机器人，所以我用过深搜之后才更加震撼。
从国内之前的大模型到深搜，我根据我这段时间的使用经验，我觉得大模型的能力大概可以由易到难，划分为以下几种：改写能力、分析能力、创造能力、判断能力
1. 改写能力：改写能力标志着语言类大模型，对于自然语言的去冗余能力和再生成能力，国内再烂的大模型也不会太差。
深搜在改写能力方面有进步，但除非你提供特别具体、特别完善、完成度特别高的需求，不然的话，深搜和国内其他大模型拉不开差距。
改写能力的最大限制是用户，我试用了几天的结论是，不是深搜和国内其他大模型不行，而是我并不真正清楚我的具体需求。
我的需求是一个“好的结果”，这并不是一个具体需求，在语言类大模型对于好坏的判断能力发生质变之前，只有准确描述具体需求，才能用好改写能力。
但这就是一个悖论，当我需求特别完善、完成度特别高的时候，我为啥还要大模型呢？大模型的改写能力就特别难发挥。
所以当需求不具体的时候，大模型真正发挥的是作为一个共振器，让用户通过和大模型的交互，不断完善自己的具体需求。
最终，所有细节都是用户自己能力的体现，大模型在需求具体化的时候，起到的是一个共振加速的作用，让你更快做到，你能做到的事。
但在你能力之外的事情，你怎么求大模型都没用，因为对于你能力之外的事情，你根本没法把你的具体需求描述清楚。
2. 分析能力：依赖大模型的强大的知识库，过去语言类大模型的分析能力极弱，深搜的数理分析能力是“最为典型的质变”。
这一点基本上所有人都有体会，就不详细说了，你提出一个问题、提出一段逻辑，深搜能够依靠强大的知识库和数理分析能力，把问题细化，把逻辑补充完整，这就是我说的“智能助手”范畴最为核心的能力。
3. 创造能力：主要体现在自然语言方面的，深搜之前的大模型基本没有，深搜的创造能力就是把数据库蒸馏成知识库之后，诞生的最典型能力。
作为一个生成模型，深搜的创造能力其实是一种作画，但它判断它创造的好坏的能力是不足的，这就是一位”纯粹的天赋型创作选手“。
天赋横溢，但它彻底获得好坏的判断力之前，它不知道哪些创作是好的，哪些创作是坏的，所以它只能写出来一些”仅仅格式正确“的作品。
在自然语言方面的创作，越短的输出，它的判断能力越高，所以水平越高，越长的输出，它的判断能力越差，越流于形式。
这并不是深搜的创作能力不足，而是深搜的判断能力不足，除非你喂给它特别具体的描述，否在它的创作能力根本发挥不出来——这又是我前面说过一次的悖论，当我能够把我的需求细化得特别清楚的时候，大多数时候我自己就能创作出来。因为细化描述本身就是特别具体的创作流程，我又为啥需要深搜呢？
4. 判断能力：深搜的判断能力才是我最为震惊的一点。因为深搜的创作能力只是一种猫打翻墨瓶的”妙手偶得“，只是一种反应。
判断能力已经进入逻辑的范畴了。深搜之前的国内大模型都是近乎没有任何判断能力的，相当于幼儿园选手，但深搜的判断能力已经是小学生了。
当我分析出来这一点，你就知道我是何等的震惊？深搜大家用得都说好，并非前几个能力和国内大模型拉开差距，而是因为它具有了判断能力。
--
经由数理逻辑分析能力，诞生最初步的判断能力，这才是深搜最核心、也是我最为震惊的突破。
为了验证这点，我前天和昨天，自己写了一个网文设定，然后用百度的文心、阿里的千文，反复殴打我自己，想出来的三十多个网文标题。
这是三十多个网文标题，是我迭代了三十到四十次的结果，本身的质量就是缓慢上升的，但又是我不断往不同”起名方向“迭代的结果，其中包含好几个不同的”起名方向“。
我把它们和我最初的网文设定，扔给深搜去判断好坏。你知道吗？深搜真的能分析出来某些名字的好坏，帮我圈出来质量最高的几个网文名字。
国内大模型，仅仅帮我分析每个名字的缺点，也就是找茬它擅长，起名就算了。你让国内大模型提建议，它自以为得意的名字，并没有犯它找茬的毛病，但犯了很多我们人类起名绝对不会犯的毛病——正是因为我们人类不会范那些错误，所以这些约束信息根本没有人往机器里面输入，这就是我说的，现实的约束远比文字中表现出来的更多。
深搜是真的开始判断名字质量的高低了，虽然现在深搜的判断能力还比较初级，很明显是通过”数理分析能力“获得的，但这已经是特别了不起的成就！
就像我说的，我有时间多去永远深搜多好。论坛上太鱼龙混杂，能够达到交流门槛的比例其实不高。
大多数用户不仅是各方面能力都比不上深搜，还特别没自知之明，特别是那些体制内纯粹管理职位诞生的”脱产教士“。
--
贴前面部分名字，证明我并非虚言。相关的上古史我也在论坛写过两次到三次，我现在只是把它变成网文设定，自己起名，然后让国内大模型和深搜来判断好坏。
1《皇天后土之争：血肉精华与工具士兵》
2《皇与后：血肉精华与工具士兵》
3《巫皇与神后：血肉精华与洗脑军团》
4《皇巫与后神：血肉精华与洗脑军团》
5《巫皇神后：血肉精华神药与心灵枷锁军团》
6《神后乱巫皇：血肉精华神药与心灵枷锁军团》
7《巫皇神后之乱：血肉精华神药与心灵枷锁军团》
8《天倾之战：血肉精华神药与心灵枷锁军团》
9《天倾之战：神后的血肉精华神药与巫皇的心灵枷锁军团》
10《天倾之战：神后的血肉精华神药》
11《天倾之战：神后血晶》
12《天倾之战：神后造血华》
13《天倾之战：神后血华乱皇天》
14《天倾之战：神后血晶乱皇天》
15《上古天倾：神后血晶乱皇天》
16《皇天崩溃：神后血晶乱上古》
17《大同崩溃：神后血晶乱上古》
18《三皇五帝：神后血晶乱上古》
19《五帝终焉：神后血华之乱》
20《上古终焉：神后血华之乱》
21《上古终末：神后血华之乱》
22《上古终章：神后血华之乱》
23《终章：神后血华之乱》
24《天倾：神后血华之乱》
25《血华之乱——神后终结上古》
26《血华之乱——神后终上古》
27《血华之乱——神后隔古今》
28《上古之终：神后血华之乱》
29《上古之末：神后血华之乱》
30《天倾之战：神后血华隔古今》
31《天倾：神后血华隔古今》
32《上古天倾：神后血华隔古今》
33《皇天倾覆：神后血华隔古今》
34《皇天倾覆：神后血华隔今古》
35《皇天倾覆：神后血华隔上古》
通宝推：夜郎国主,审度,
家园 OpenAI的O3-mini涉嫌抄袭DEEPSEEK 有个疑问，既然DS开源，抄了也没啥索赔之类的法律问题吧？