尊龙人生就是博

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

鲸起生万物:有关DeepSeek的2期硬核播客总结

2025-02-14 02:09:53
来源:

猫眼影戏

作者:

孟子媛

手机检察

  猫眼影戏记者 法不阿贵 报道P6F9A2Y5R3B1T0V4X8W

文 | 阑夕 DeepSeek火出圈的这十几天,其实也是噪音最多的一段时间,说实话大部分的讨论制品都有种加班硬赶KPI的味道,是人是鬼都在掰扯,有留存价值的屈指可数,倒是有两期播客让我听后受益匪浅,很是推荐 。 一个是张小珺请来加州伯克利大学AI实验室博士潘家怡对DeepSeek论文的逐句讲解,接近3个小时的高密度输出,很是能杀脑细胞,但杀完之后排泄出来的内啡肽,也含量爆炸 。 另一个是Ben Thompson关于DeepSeek的3集播客合集,加起来1个多小时,这哥们是News Letter的开创者,也是全球最懂技术的剖析师之一,终年旅居台北,对中国/亚洲的近距离洞察比美国同行要高许多 。 先嗣魅张小珺的那期,嘉宾潘家怡其时是在读完DeepSeek的论文之后,最快开发出了小规模复现R1-Zero模型的项目,在GitHub上已经接近1万Stars 。 这种薪火相传式的知识接力,其实是技术领域理想主义的投射,就像月之暗面的研究员Flood Sung也说,Kimi的推理模型k1.5最初就是基于OpenAI放出来的两个视频获得了启发,更早一点,当Google宣布「Attention Is All You Need」之后,OpenAI立刻就意识到了Transformer的未来,智慧的流动性才是一切进步的先决条件 。 所以各人才对Anthropic首创人Dario Amodei那番「科学没有国界,但科学家有祖国」的封闭亮相大为失望,他在否定竞争的同时,也在挑战基本知识 。 继续回到播客内容上,我照旧试着划些重点出来给你们看,推荐有时间的照旧听完原版: - OpenAI o1在惊艳登场的同时做了很是深厚的隐藏事情,不希望被其他厂商破解原理,但从局势上有点像是在给行业提了一个谜语,赌的是在座列位没那么快解出来,DeepSeek-R1是第一个找出谜底的,并且找谜底的历程相当漂亮; - 开源能够比闭源提供更多简直定性,这对人力的增长和结果的产出都是很有资助的,R1相当于把整个技术路线都明示了出来,所以它在引发科研投入上的的孝敬要胜过藏招的o1; - 尽管AI工业的烧钱规模越来越大,但事实上就是我们已经有接近2年时间没有获得下一代模型了,主流模型还在对齐GPT-4,这在一个主张「日新月异」的市场里是很稀有的,即便不去追究Scaling Laws有没有撞墙,OpenAI o1自己也是一次新的技术线实验,用语言模型的方法让AI学会思考; - o1在基准测试里重新实现了智力水平的线形提升,这很牛逼,发的技术报告里没有披露太多细节,但要害的地方都讲到了,好比强化学习的价值,预训练和监督微调相当于是给模型提供正确谜底用来模仿,久而久之模型就学会依葫芦画瓢了,但强化学习是让模型自己去完成任务,你只告诉它结果是比照旧差池,如果对就多这么干,如果差池就少这么干; - OpenAI发明强化学习可以让模型爆发接近人类思考的效果,也就是CoT(思维链),它会在解题办法蜕化时回到上一步实验想些新步伐,这些都不是人类研究员教出来的,而是模型自己为了完成任务被逼,哦不,是涌现出来的能力,厥后当DeepSeek-R1也复现出了类似的「顿悟时刻」,o1的焦点堡垒也就被实锤攻破了; - 推理模型实质上是一个经济盘算的产品,如果强行堆砌算力,可能到了GPT-6仍然可以硬怼出类似o1的效果,但那就不是大力出奇迹了,而是奇迹出奇迹,可以但没须要,模型能力可以理解为逊с力x推理算力,前者已经太贵了,后者还很自制,但乘数效应是差未几相等的,所以现在行业都开始扎走搞性价比更优的推理路线; - 上个月末o3-mini的宣布和DeepSeek-R1可能关系不大,但o3-mini的订价降到了o1-mini的1/3,肯定是受到了很大的影响,OpenAI内部认为ChatGPT的商业模式是有护城河的,但卖API没有,可替代性太强了,海内最近也有关于ChatBot是不是一门好生意的争议,甚至DeepSeek很明显都没有太想明白怎么承接这波泼天流量,做消费级市场和做前沿研究可能是有天然冲突的; - 在技术专家看来,DeepSeek-R1-Zero要比R1越发漂亮,因为人工干预的身分更低,纯粹是模型自己摸索出了在推理几千步里寻找到最优解的流程,对先验知识的依赖没那么高,但因为没有做对齐处理,R1-Zero基本上没法交付给用户使用,好比它会种种语言夹杂着输出,所以实际上DeepSeek在公共市场获得认同的R1,照旧用了蒸馏、微调甚至预先植入思维链这些旧手段; - 这里涉及到一个能力和体现并差别步的问题,能力最好的模型未必是体现最好的,反之亦然,R1体现精彩很洪流平上照旧因为人工使劲的偏向到位,在训练语料上R1没有独吞的,各人的语料库里都会包括古典诗词那些,不保存R1明白更多,真正的原因可能在于数据标注这块,据说DeepSeek找了北大中文系的学生来做标注,这会显著提高文采表达的奖励函数,一般行业里不会太喜欢用文科生,包括梁文锋自己有时也会做标注的说法不可是说明他的热情,而是标注工程早就到了需要专业做题家去领导AI的田地,OpenAI也是付100-200美金的时薪去请博士生为o1做标注; - 数据、算力、算法是大模型行业的三个飞轮,这一波的主要突破来自算法,DeepSeek-R1发明了一个误区,就是古板算法里关于价值函数的重视可能是陷阱,价值函数倾向于对推理历程的每一步去做判断,由此事无巨细的把模型向正确的门路上引导,好比模型在解答1+1即是几的时候,当它爆发1+1=3的幻觉了,就开始处分它,有点像电击疗法,不许它出错; - 这种算法理论上没毛病,但也很是完美主义,不是每道题目都是1+1这样简单的,尤其是在长思维链里动辄推理几千个Token序列的情况下,要对每一步都进行监督,投入产出比会变得很是低,所以DeepSeek做出了一个违背祖训的决定,不再用价值函数去满足研究时的强迫症,只对谜底进行打分,让模型自己去解决怎么用正确的办法获得谜底,即便它保存1+1=3的解题思路,也不去太过纠正,它反而会在推理历程里意识到差池劲,发明这么算下去得不出正确谜底,然后做出自我纠正; - 算法是DeepSeek之于整个行业的最大立异,包括要怎么区分模型是在模模仿旧推理,我记得o1出来后有许多人声称通过提示词让通用模型也能输出思维链,但那些模型都没有推理能力,实际上就是模仿,它照旧凭据通例模式给出了谜底,可是因为要满足用户要求,又回过头基于谜底给出思路,这就是模仿,是先射箭后画靶的无意义行动,而DeepSeek在对抗模型破解奖励方面也做了许多努力,主要就是针对模型变得鸡贼的问题,它逐渐猜到怎么思考会获得奖励,却没有真的理解为什么要这么思考; - 这几年来行业里一直在期待模型降生涌现行为,以前会觉得知识量足够多了,模型就能自然演化出智慧,但o1之后发明推理似乎才是最要害的那块跳板,DeepSeek就在论文里强调了R1-Zero有哪些行为是自主涌现而非人为命令的,像是当它意识到生成更多的Token才华思考得越发完善、并最终提高自己的性能时,它就开始主动的把思维链越变越长,这在人类世界是本能——长考虽然比快棋更有战略——但让模型自个得出这样的经验,很是让人惊喜; - DeepSeek-R1的训练本钱可能在10万-100万美金之间,比起V3的600万美金更少,加上开源之后DeepSeek还演示了用R1去蒸馏其他模型的结果,以及蒸馏之后还能继续强化学习,可以说开源社区关于DeepSeek的拥戴不是没有理由的,它把通往AGI的门票从奢侈品酿成了快消品,让更多的人可以进来实验了; - Kimi k1.5是和DeepSeek-R1同时宣布的,但因为没有开源,加上国际上积累缺乏,所以虽然也孝敬了类似的算法立异,影响力却相当有限,再就是Kimi因为受到2C业务的影响,会比较突出用短思维链实现接近长思维链的要领,所以它会奖励k1.5用更短的推理,这个初志虽然是迎适用户——不想让人在提问后等太久——但似乎有些事与愿违的回报,DeepSeek-R1的许多出圈素材都是思维链里的亮点被用户发明并流传,关于头一次接触推理模型的人来说,他们似乎并不介意模型的冗长效率; - 数据标注是全行业都在藏的一个点,但这也执偾一项过渡计划,像是R1-Zero那种自学习的路线图才是理想,目前来看OpenAI的护城河照旧很深,上个月它的Web流量抵达了有史以来的最高值,DeepSeek的火爆客观上会为全行业拉新,但Meta会比较难受,LLaMa 3实际没有架构层的立异,也完全没有预料到DeepSeek对开源市场的攻击,Meta的人才储备很是强大,但组织架构没有把这些资源转化成技术结果 。 再说Ben Thompson的播客,他在许多地方交叉验证了潘家怡的判断,好比R1-Zero在RLHF里去掉了HF(人类反 。┑募际趿恋,但更多的论述则是放在了地缘竞争和大厂往事,叙事的观赏性很是流畅: - 硅谷太过重视AI宁静的动机之一在于可以借此把关闭行为合理化,早在GPT-2的协议里就以制止大语言模型被利用拿去生成「欺骗性、带偏见」的内容,但「欺骗性、带偏见」远未抵达人类灭绝级别的危害,这实质上是文化战争的延续,并且基于一个「仓廪实而知礼节」的假设上,即美国的科技公司在技术上拥有绝对的优势,所以我们才有资格分神去讨论AI有没有种族歧视; - 就像OpenAI决定隐藏o1思维链时说得义正辞严——原始思维链可能保存没有对齐的现象,用户看到后可能会感受到被冒犯,所以我们决定一刀切,就不给用户展示了——但DeepSeek-R1一举证伪了上面的迷之自信,是的,在AI行业,硅谷并没有那么稳固的领先职位,是的,袒露的思维链可以成为用户体验的一部分,让人看了之后越发信任模型的思考能力; - Reddit的前CEO认为把DeepSeek描述为斯普特尼克时刻——苏联先于美国发射第一颗人造卫星——是一个强行付与的政治化解读,他更确定DeepSeek位于2004年的Google时刻,在那一年,Google在招股书里向全世界展示了漫衍式算法是如何把盘算机网络连接在一起,并实现了价格和性能的最优解,这和其时所有的科技公司都纷歧样,它们只是购置越来越贵的主机,并宁愿身处本钱曲线最腾贵的前端; - DeepSeek开源R1模型并透明的解释了它是怎么做到这一点的,这是一个巨大的善意,若是凭据继续煽动地悦魅政治的路数,中国公司原来应该对自己的结果保密的,Google时刻也确实为Sun这样的专业效劳器制造商划定了终点线,推动竞争移动到商品层; - OpenAI的研究员roon认为DeepSeek为了克服H800芯片所作出的降级优化——工程师用不了英伟达的CUDA,只能选择更低端的PTX——是过失的示范,因为这意味着他们浪费在这上面的时间无法弥补,而美国的工程师可以毫无记挂的申请H100,削弱硬件无法带来真正的立异; - 如果2004年的Google听取了roon的建议,不去「浪费」名贵的研究人员构建更经济性的数据中心,那么也许美国的互联网公司今天都在租用阿里巴巴的云效劳器,在财产涌入的这二十年里,硅谷已经失去了优化基础设施的原动力,大厂小厂也都习惯了资本密集型的生产模式,乐于提交预算表格去换取投资,甚至把英伟达的芯片干成了典质物,至于如何在有限的资源里尽可能多的交付价值,没人在乎; - AI公司虽然会支持杰文斯悖论,也就是更自制的盘算创立更大宗的使用,但已往几年里的实际行为却是出心口纷歧的,因为每家公司都在体现出研究大于本钱的偏好,直到DeepSeek把杰文斯悖论真正带到了各人的眼皮底下; - 英伟达的公司变得更有价值,和英伟达的股价变得更有危害,这是可以同时保存时生长,如果DeepSeek能在高度受限的芯片上抵达如此成绩,那么想象一下,如果当他们获得全功率的算力资源后,技术进步会有多大,这对整个行业都是激励性的启示,但英伟达的股价建立在它是唯一供应方这个假设上,这可能会被证伪; - 中国和美国的科技公司在AI商品的价值判断上泛起了显性不同,中国这边认为差别化在于实现更优越的本钱结构,这和它在其他工业的结果是一脉相承的,美国这边相信差别化来自产品自己以及基于这种差别化创立的更高利润率,但美国需要反思通过否定立异——好比限制中国公司取得AI研究所需的芯片——来赢得竞争的心态; - Claude在旧金山的口碑再怎么好,也很难改变它在销售API这种模式上的天然弱点,那就是太容易被替换掉了,而ChatGPT让OpenAI作为一家消费科技公司拥有更大的抗危害能力,不过从久远来看,DeepSeek会让卖AI的和用AI的都有受益,我们应该谢谢这份丰富的礼物 。 嗯,差未几就是这些,希望这篇作业可以帮你们更好的理解DeepSeek出圈之后对AI行业爆发的真实意义 。

??时事1:原神女角色色图

??02月14日,数智赋能对外贸易 浙江创新技术性贸易措施体系,

  狈风身材修长,这样被拎着,有泰半截躯体拖在了地上,被荆棘、山石碰到,披头散发,与此前那个俊美、冷酷的少年比起来,实在是天地之差,狼狈不堪 。

,按摩按着按着一不小心就进去了 。

??02月14日,锚定现代化 改革再深化|“化工城”吉林展现人与自然和谐共生新图景,

  (六)开展主题运动,增强员工教育治理 。组织开展员工治理主题年运动,切实革新和增强员工治理 。各银行业金融机构要将员工教育培训作为案防事情的重要内容,系统、全面开展员工岗位规范和业务流程教育,明晰违规操作应担负的责任;开展职业品德教育,培养员工老实守信的职业操守;加大合规文化建设力度,增强各级治理人员合规意识,营造“合规从高层做起、合规人人有责、合规创立价值”的合规气氛 。

,爱情岛免费视频在线观看,迈开腿吃尝尝你,玖玖资源亚洲最大成人 。

??时事2:8x8x拔插拔插影库永久免费开放

??02月14日,美国“功夫小子”北京切磋武艺,

  “啪”的一声,族长指间符文闪烁,持一柄紫金小锤轻轻一敲,将紫蜈蚣头颅震裂,扔进了滚水中 。

,亚洲国产欧美大片在线播放,粉嫩素人高清视频软件app,高清无码视频免费在线观看 。

??02月14日,山西长治重大刑事案件致一人死亡 犯罪嫌疑人被当场控制,

  古今中外,对平等的追求是每个社会,每个人的配合理想 。从唐代史学家吴兢的“理国要道,在于公正正直”,到法国大革命平等的思想,再到社会主义焦点价值观,平等始终是我们追求的目标 。

,男生和女生差差差很疼app,动漫国产高清在线精品二区,国产又黄又爽又紧又粗91 。

??时事3:在线观看免费A片视频区域

??02月14日,吉林推动用数字化技术让非遗故事鲜活传承,

信用卡一万多逾期起诉会坐牢吗逾期起诉流程是什么

,另类亚洲视频,Zoom美国另一类,国产98午夜福利精品 。

??02月14日,云南进入两会时间 一张照片“晒出”民营企业发展信心,

  而小不点则哭了,他知道,老人耗尽了最后的精气神,纵然有圣药也救不回了 。

,王者荣耀被捅到流口水表情,狠狠狠A蜜臀色婷网网,人人曰人人做人人 。

??时事4:国产强伦姧在线午夜

??02月14日,F1中国大奖赛落幕,周冠宇获得正赛第14名,

  “逼你又怎样?”蛟鹏挑衅,此前肉身对决时被击败,这让他心中很不舒服,他早已决定要用宝术 。

,5G影院天天 5G天天爽,仙踪林companylite大陆,啊灬啊灬啊快日出水了西 。

??02月14日,CBA半决赛第二回合:辽宁本钢不敌广东华南虎,

  “哈哈……”

,亚洲国产精品美女动态图,走一步故意深深的咬住那个点,国内精品久久爱一区二区三区 。

【“五一”假期乐山大佛景区游客畅游】

【美国休斯敦警察工会警告城市不安全:大量嫌犯正在街上徘徊】

责编:张海迪

审核:闵小权

责编:黄晓慧

相关推荐 换一换

Copyright (C) 2001-2025   dzwww.com. All Rights Reserved

新闻信息效劳许可证 - 音像制品出书许可证 - 广播电视节目制作经营许可证 - 网络视听许可证 - 网络文化经营许可证

山东省互联网传媒集团主办  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001-2025 Dzwww   鲁ICP备09023866号-1

网站地图