尊龙人生就是博

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

鲸起生万物:有关DeepSeek的2期硬核播客总结

2025-02-13 16:38:47
来源:

猫眼影戏

作者:

拉马拉

手机检察

  猫眼影戏记者 黄鹭 报道P6F9A2Y5R3B1T0V4X8W

文 | 阑夕 DeepSeek火出圈的这十几天,其实也是噪音最多的一段时间,说实话大部分的讨论制品都有种加班硬赶KPI的味道,是人是鬼都在掰扯,有留存价值的屈指可数,倒是有两期播客让我听后受益匪浅,很是推荐。 一个是张小珺请来加州伯克利大学AI实验室博士潘家怡对DeepSeek论文的逐句讲解,接近3个小时的高密度输出,很是能杀脑细胞,但杀完之后排泄出来的内啡肽,也含量爆炸。 另一个是Ben Thompson关于DeepSeek的3集播客合集,加起来1个多小时,这哥们是News Letter的开创者,也是全球最懂技术的剖析师之一,终年旅居台北,对中国/亚洲的近距离洞察比美国同行要高许多。 先嗣魅张小珺的那期,嘉宾潘家怡其时是在读完DeepSeek的论文之后,最快开发出了小规模复现R1-Zero模型的项目,在GitHub上已经接近1万Stars。 这种薪火相传式的知识接力,其实是技术领域理想主义的投射,就像月之暗面的研究员Flood Sung也说,Kimi的推理模型k1.5最初就是基于OpenAI放出来的两个视频获得了启发,更早一点,当Google宣布「Attention Is All You Need」之后,OpenAI立刻就意识到了Transformer的未来,智慧的流动性才是一切进步的先决条件。 所以各人才对Anthropic首创人Dario Amodei那番「科学没有国界,但科学家有祖国」的封闭亮相大为失望,他在否定竞争的同时,也在挑战基本知识。 继续回到播客内容上,我照旧试着划些重点出来给你们看,推荐有时间的照旧听完原版: - OpenAI o1在惊艳登场的同时做了很是深厚的隐藏事情,不希望被其他厂商破解原理,但从局势上有点像是在给行业提了一个谜语,赌的是在座列位没那么快解出来,DeepSeek-R1是第一个找出谜底的,并且找谜底的历程相当漂亮; - 开源能够比闭源提供更多简直定性,这对人力的增长和结果的产出都是很有资助的,R1相当于把整个技术路线都明示了出来,所以它在引发科研投入上的的孝敬要胜过藏招的o1; - 尽管AI工业的烧钱规模越来越大,但事实上就是我们已经有接近2年时间没有获得下一代模型了,主流模型还在对齐GPT-4,这在一个主张「日新月异」的市场里是很稀有的,即便不去追究Scaling Laws有没有撞墙,OpenAI o1自己也是一次新的技术线实验,用语言模型的方法让AI学会思考; - o1在基准测试里重新实现了智力水平的线形提升,这很牛逼,发的技术报告里没有披露太多细节,但要害的地方都讲到了,好比强化学习的价值,预训练和监督微调相当于是给模型提供正确谜底用来模仿,久而久之模型就学会依葫芦画瓢了,但强化学习是让模型自己去完成任务,你只告诉它结果是比照旧差池,如果对就多这么干,如果差池就少这么干; - OpenAI发明强化学习可以让模型爆发接近人类思考的效果,也就是CoT(思维链),它会在解题办法蜕化时回到上一步实验想些新步伐,这些都不是人类研究员教出来的,而是模型自己为了完成任务被逼,哦不,是涌现出来的能力,厥后当DeepSeek-R1也复现出了类似的「顿悟时刻」,o1的焦点堡垒也就被实锤攻破了; - 推理模型实质上是一个经济盘算的产品,如果强行堆砌算力,可能到了GPT-6仍然可以硬怼出类似o1的效果,但那就不是大力出奇迹了,而是奇迹出奇迹,可以但没须要,模型能力可以理解为逊с力x推理算力,前者已经太贵了,后者还很自制,但乘数效应是差未几相等的,所以现在行业都开始扎走搞性价比更优的推理路线; - 上个月末o3-mini的宣布和DeepSeek-R1可能关系不大,但o3-mini的订价降到了o1-mini的1/3,肯定是受到了很大的影响,OpenAI内部认为ChatGPT的商业模式是有护城河的,但卖API没有,可替代性太强了,海内最近也有关于ChatBot是不是一门好生意的争议,甚至DeepSeek很明显都没有太想明白怎么承接这波泼天流量,做消费级市场和做前沿研究可能是有天然冲突的; - 在技术专家看来,DeepSeek-R1-Zero要比R1越发漂亮,因为人工干预的身分更低,纯粹是模型自己摸索出了在推理几千步里寻找到最优解的流程,对先验知识的依赖没那么高,但因为没有做对齐处理,R1-Zero基本上没法交付给用户使用,好比它会种种语言夹杂着输出,所以实际上DeepSeek在公共市场获得认同的R1,照旧用了蒸馏、微调甚至预先植入思维链这些旧手段; - 这里涉及到一个能力和体现并差别步的问题,能力最好的模型未必是体现最好的,反之亦然,R1体现精彩很洪流平上照旧因为人工使劲的偏向到位,在训练语料上R1没有独吞的,各人的语料库里都会包括古典诗词那些,不保存R1明白更多,真正的原因可能在于数据标注这块,据说DeepSeek找了北大中文系的学生来做标注,这会显著提高文采表达的奖励函数,一般行业里不会太喜欢用文科生,包括梁文锋自己有时也会做标注的说法不可是说明他的热情,而是标注工程早就到了需要专业做题家去领导AI的田地,OpenAI也是付100-200美金的时薪去请博士生为o1做标注; - 数据、算力、算法是大模型行业的三个飞轮,这一波的主要突破来自算法,DeepSeek-R1发明了一个误区,就是古板算法里关于价值函数的重视可能是陷阱,价值函数倾向于对推理历程的每一步去做判断,由此事无巨细的把模型向正确的门路上引导,好比模型在解答1+1即是几的时候,当它爆发1+1=3的幻觉了,就开始处分它,有点像电击疗法,不许它出错; - 这种算法理论上没毛病,但也很是完美主义,不是每道题目都是1+1这样简单的,尤其是在长思维链里动辄推理几千个Token序列的情况下,要对每一步都进行监督,投入产出比会变得很是低,所以DeepSeek做出了一个违背祖训的决定,不再用价值函数去满足研究时的强迫症,只对谜底进行打分,让模型自己去解决怎么用正确的办法获得谜底,即便它保存1+1=3的解题思路,也不去太过纠正,它反而会在推理历程里意识到差池劲,发明这么算下去得不出正确谜底,然后做出自我纠正; - 算法是DeepSeek之于整个行业的最大立异,包括要怎么区分模型是在模模仿旧推理,我记得o1出来后有许多人声称通过提示词让通用模型也能输出思维链,但那些模型都没有推理能力,实际上就是模仿,它照旧凭据通例模式给出了谜底,可是因为要满足用户要求,又回过头基于谜底给出思路,这就是模仿,是先射箭后画靶的无意义行动,而DeepSeek在对抗模型破解奖励方面也做了许多努力,主要就是针对模型变得鸡贼的问题,它逐渐猜到怎么思考会获得奖励,却没有真的理解为什么要这么思考; - 这几年来行业里一直在期待模型降生涌现行为,以前会觉得知识量足够多了,模型就能自然演化出智慧,但o1之后发明推理似乎才是最要害的那块跳板,DeepSeek就在论文里强调了R1-Zero有哪些行为是自主涌现而非人为命令的,像是当它意识到生成更多的Token才华思考得越发完善、并最终提高自己的性能时,它就开始主动的把思维链越变越长,这在人类世界是本能——长考虽然比快棋更有战略——但让模型自个得出这样的经验,很是让人惊喜; - DeepSeek-R1的训练本钱可能在10万-100万美金之间,比起V3的600万美金更少,加上开源之后DeepSeek还演示了用R1去蒸馏其他模型的结果,以及蒸馏之后还能继续强化学习,可以说开源社区关于DeepSeek的拥戴不是没有理由的,它把通往AGI的门票从奢侈品酿成了快消品,让更多的人可以进来实验了; - Kimi k1.5是和DeepSeek-R1同时宣布的,但因为没有开源,加上国际上积累缺乏,所以虽然也孝敬了类似的算法立异,影响力却相当有限,再就是Kimi因为受到2C业务的影响,会比较突出用短思维链实现接近长思维链的要领,所以它会奖励k1.5用更短的推理,这个初志虽然是迎适用户——不想让人在提问后等太久——但似乎有些事与愿违的回报,DeepSeek-R1的许多出圈素材都是思维链里的亮点被用户发明并流传,关于头一次接触推理模型的人来说,他们似乎并不介意模型的冗长效率; - 数据标注是全行业都在藏的一个点,但这也执偾一项过渡计划,像是R1-Zero那种自学习的路线图才是理想,目前来看OpenAI的护城河照旧很深,上个月它的Web流量抵达了有史以来的最高值,DeepSeek的火爆客观上会为全行业拉新,但Meta会比较难受,LLaMa 3实际没有架构层的立异,也完全没有预料到DeepSeek对开源市场的攻击,Meta的人才储备很是强大,但组织架构没有把这些资源转化成技术结果。 再说Ben Thompson的播客,他在许多地方交叉验证了潘家怡的判断,好比R1-Zero在RLHF里去掉了HF(人类反。┑募际趿恋,但更多的论述则是放在了地缘竞争和大厂往事,叙事的观赏性很是流畅: - 硅谷太过重视AI宁静的动机之一在于可以借此把关闭行为合理化,早在GPT-2的协议里就以制止大语言模型被利用拿去生成「欺骗性、带偏见」的内容,但「欺骗性、带偏见」远未抵达人类灭绝级别的危害,这实质上是文化战争的延续,并且基于一个「仓廪实而知礼节」的假设上,即美国的科技公司在技术上拥有绝对的优势,所以我们才有资格分神去讨论AI有没有种族歧视; - 就像OpenAI决定隐藏o1思维链时说得义正辞严——原始思维链可能保存没有对齐的现象,用户看到后可能会感受到被冒犯,所以我们决定一刀切,就不给用户展示了——但DeepSeek-R1一举证伪了上面的迷之自信,是的,在AI行业,硅谷并没有那么稳固的领先职位,是的,袒露的思维链可以成为用户体验的一部分,让人看了之后越发信任模型的思考能力; - Reddit的前CEO认为把DeepSeek描述为斯普特尼克时刻——苏联先于美国发射第一颗人造卫星——是一个强行付与的政治化解读,他更确定DeepSeek位于2004年的Google时刻,在那一年,Google在招股书里向全世界展示了漫衍式算法是如何把盘算机网络连接在一起,并实现了价格和性能的最优解,这和其时所有的科技公司都纷歧样,它们只是购置越来越贵的主机,并宁愿身处本钱曲线最腾贵的前端; - DeepSeek开源R1模型并透明的解释了它是怎么做到这一点的,这是一个巨大的善意,若是凭据继续煽动地悦魅政治的路数,中国公司原来应该对自己的结果保密的,Google时刻也确实为Sun这样的专业效劳器制造商划定了终点线,推动竞争移动到商品层; - OpenAI的研究员roon认为DeepSeek为了克服H800芯片所作出的降级优化——工程师用不了英伟达的CUDA,只能选择更低端的PTX——是过失的示范,因为这意味着他们浪费在这上面的时间无法弥补,而美国的工程师可以毫无记挂的申请H100,削弱硬件无法带来真正的立异; - 如果2004年的Google听取了roon的建议,不去「浪费」名贵的研究人员构建更经济性的数据中心,那么也许美国的互联网公司今天都在租用阿里巴巴的云效劳器,在财产涌入的这二十年里,硅谷已经失去了优化基础设施的原动力,大厂小厂也都习惯了资本密集型的生产模式,乐于提交预算表格去换取投资,甚至把英伟达的芯片干成了典质物,至于如何在有限的资源里尽可能多的交付价值,没人在乎; - AI公司虽然会支持杰文斯悖论,也就是更自制的盘算创立更大宗的使用,但已往几年里的实际行为却是出心口纷歧的,因为每家公司都在体现出研究大于本钱的偏好,直到DeepSeek把杰文斯悖论真正带到了各人的眼皮底下; - 英伟达的公司变得更有价值,和英伟达的股价变得更有危害,这是可以同时保存时生长,如果DeepSeek能在高度受限的芯片上抵达如此成绩,那么想象一下,如果当他们获得全功率的算力资源后,技术进步会有多大,这对整个行业都是激励性的启示,但英伟达的股价建立在它是唯一供应方这个假设上,这可能会被证伪; - 中国和美国的科技公司在AI商品的价值判断上泛起了显性不同,中国这边认为差别化在于实现更优越的本钱结构,这和它在其他工业的结果是一脉相承的,美国这边相信差别化来自产品自己以及基于这种差别化创立的更高利润率,但美国需要反思通过否定立异——好比限制中国公司取得AI研究所需的芯片——来赢得竞争的心态; - Claude在旧金山的口碑再怎么好,也很难改变它在销售API这种模式上的天然弱点,那就是太容易被替换掉了,而ChatGPT让OpenAI作为一家消费科技公司拥有更大的抗危害能力,不过从久远来看,DeepSeek会让卖AI的和用AI的都有受益,我们应该谢谢这份丰富的礼物。 嗯,差未几就是这些,希望这篇作业可以帮你们更好的理解DeepSeek出圈之后对AI行业爆发的真实意义。

??时事1:美女自卫慰视频福利老司机

??02月13日,百年诞辰忆金庸:南开大学原常务副校长陈洪谈金庸两三事,

  村人没有妄动,神色暗澹,差别就是差别,他们真的难以抗衡,远不是这群凶寇的敌手。

,入禽太深了免费视频。

??02月13日,上海和福建三明携手 产教融合促发展,

  此前在它看来,小不点纵然另有手段也不会太强了,即便爆发;,它也可以迅速召唤回鳞甲,进行防御。

,xman宅圈小站,五月天导航99,西瓜视频求黄瓜app网址。

??时事2:佛山偷拍情侣车震门

??02月13日,广西对东盟外贸规模首次突破3000亿元,

  这条蛟张牙舞爪,满身成灰褐色,古意沧桑,宛若从太古年代觉醒,跨越时空来参战!

,妞干网无码视频,国产精品秘 密入口免费网站,无翼少全彩日本漫画。

??02月13日,京西电竞节开幕 设置《黑神话:悟空》线下体验专区,

  信息化设备更新较快,不可满足生长应用的要求,各单位在每年的更改和本钱用度预算中,应考虑信息系统的更新、维护用度,以满足实际需要,包管信息网络系统的稳定运行和可连续生长。我想,首先,要凭据卢总的要求,管好、用好现有的钱,才会有更多的钱用。其次,光要钱,用欠好也是不可的。

,黄网站色视频免费观看男男,aaaaaa大片,美女露逼视频。

??时事3:拍拍拍叫痛的视频

??02月13日,山西吕梁田间地头的“电管家”:“把脉问诊”助春耕,

  “”时期,我县城镇建设的任务很大,必须将经营理念贯串于都会计划、建设和治理的全历程,积极探索都会资本营运的有效途径,多方筹措资金,加大城镇基础设施的投入。

,精品国内自产拍在线观看视频久,双人床上剧烈运动打扑克的,mm1313不能看了。

??02月13日,中俄最大界湖兴凯湖“文开湖” 水天一色引游人,  更要看到,6月4日,中共中央政治局委员、外交部长王毅在北京与土耳其外长费丹配合会见记者时,首次对中国是否加入乌克兰宁静峰会问题亲自回应。,人人操人人插人人操人人,污黄瓜视频app下载,夏日炎炎by没钱怎么办。

??时事4:极品3D遭戏弄

??02月13日,(两会速递)中国文旅部:对外国游客入境便利性进行全流程梳理,

  三要坚持学以致用。列位村干部能够联系各自的事情实际,学习上相互启发,生活上相互体贴,事情上相互学习,相互交流,取长补短,配合提高四方面事情能力:一是富一方黎民的能力。牢记为人民效劳,要明白权力是人民给的,应该从群众最体贴、最迫切需要解决的实际问题入手开展事情,在充分尊重民意的基础上,明确生长思路,因村制宜,因势利导,千方百计生长村级经济,增加农民收入。二是解决实际问题抓落实的能力。要强化责任意识、阵势意识,把上级的要求同群众的意愿结合起来,既对上卖力又对下卖力,找准两者最佳切入点,增强引导,解决实际问题。三是做好群众事情的能力。牢记党的宗旨,亲民、爱民、敬民、为民,能够经常走家窜户、谈心交心,学会民主选举、民主决策、民主治理、民主监督,新形势下做好农村事情,治理村务事务。四是保一方平安的能力。要牢记群众利益无小事,千方百计地化解矛盾,不推诿拖拉规避,善于运用政策、执法和人格力量去做调解事情,增进了家庭和气、村民团结和社会稳定。

,yy4408成人电影,亚洲AV与一夜情AV,色欲av人妻精品九色。

??02月13日,英媒:种族攻击、枪支暴力……信任缺乏让越来越多的美国少数族裔加入“生存预备者”队伍,

  5、如果从室外进室内时,闻到石油气味,千万不要开灯。因为石油气的着火点很低,在按电源开关的瞬间爆发的火星会引起爆炸而爆发火灾事故。这时,最好的做法是立刻关掉煤气炉,然后翻开窗户通风。

,在线观看国产精品18美女污污污,百度手机助手猫咪视频下载官方app,国产黄大片在线看网站。

【云南巍山:“调解+普法”,让普法更有人情味】

【湘台青年企业家融合发展大会在长沙举行】

责编:徐金海

审核:赵连庆

责编:慕平作

相关推荐 换一换

Copyright (C) 2001-2025   dzwww.com. All Rights Reserved

新闻信息效劳许可证 - 音像制品出书许可证 - 广播电视节目制作经营许可证 - 网络视听许可证 - 网络文化经营许可证

山东省互联网传媒集团主办  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001-2025 Dzwww   鲁ICP备09023866号-1

网站地图