尊龙人生就是博

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

如何优化测试时盘算 ?解决「元强化学习」问题

2025-02-14 02:13:37
来源:

猫眼影戏

作者:

郭友转

手机检察

  猫眼影戏记者 穆罕默德·布拉米 报道P6F9A2Y5R3B1T0V4X8W

选自ml.cmu.edu 作者:Amrith Setlur、Yuxiao Qu 等 机械之心编译 优化大模型的测试时盘算是提升模型安排效率和节省盘算资源的要害一环。前段时间 ,黄仁勋在 CES 2025 的演讲中把测试时 Scaling 形容为大模型生长的三条曲线之一。如何优化测试时盘算成为业界关注的重要课题。 到目前为止 ,革新大型语言模型 (LLM) 的主要战略是使用越来越多的高质量数据进行监督微调 (SFT) 或强化学习 (RL)。 不幸的是 ,这种扩展形式似乎很快就会遇到瓶颈 ,预训练的扩展定律会趋于稳定 ,有报告称 ,用于训练的高质量文本数据可能在 2028 年耗尽 ,特别是关于更困难的任务 ,例如解决推理问题 ,这似乎需要将目今数据扩展约 100 倍才华看到任何显著的革新。LLM 在这些困难任务中的问题上的目今体现仍然不尽如人意。因此 ,迫切需要数据高效的要领来训练 LLM ,这些要领可以逾越数据扩展并解决更庞大的挑战。 在这篇文章中 ,我们将讨论这样一种要领:通过改变 LLM 训练目标 ,我们可以重用现有数据以及更多的测试时盘算来训练模型以做得更好。 博客地点:https://blog.ml.cmu.edu/2025/01/08/optimizing-llm-test-time-compute-involves-solving-a-meta-rl-problem/ 图 1:训练模型以优化测试时盘算并学习「如何发明」正确谜底 ,而不是学习输出「什么谜底」的古板学习范式。 目今训练模型的主要原则是监督它们为输入爆发特定的输出。例如 ,监督微调实验匹配给定输入的直接输出 token ,类似于模仿学习 ,而 RL 微调训练响应以优化奖励函数 ,该函数通常应该在 oracle 响应上取最高值。无论哪种情况 ,我们都在训练模型以爆发它可以体现的 y* 的最佳近似值。 从笼统上讲 ,这种范式训练模型以爆发单个输入输出映射 ,当目标是直接解决给定漫衍中的一组类似盘问时 ,这种要领很有效 ,但无法发明漫衍外盘问的解决计划。牢固的、一刀切的要领无法有效适应任务的异质性。我们更希望有一个强大的模型 ,它能够通过实验多种要领并在差别水平上寻求信息 ,或者在无法完全解决问题时表达不确定性 ,从而推广到新的、未见过的问题。 我们如何训练模型来满足这些要求 ? 学习「如何回覆」 为了解决上述问题 ,一个新想法是允许模型在测试时使用盘算资源来寻找「元(meta)」战略或算法 ,这些战略或算法可以资助它们理解「如何」得出一个好的谜底。 实现能够付与模型系统性程序运行能力的元战略 ,应该能够使其在测试时外推和泛化到差别庞漂后的输入盘问。例如 ,如果一个模型被教了柯西 - 施瓦茨不等式的寄义 ,它就应该能够在简单和困难的证明问题上在适当的时候运用它;痪浠八 ,给定一个测试盘问 ,我们希望模型能够执行包括多个基本推理办法的战略 ,这可能需要消耗更多的 token。 图 2 展示了解决一个给定问题的两种差别战略的例子。我们如何训练模型来做到这一点呢 ?我们将把这个目标形式化为一个学习问题 ,并通过元强化学习的思路来解决它。 图 2: 展示了两种算法及其各自生成的 token 流示例。 将学习「如何做」形式化为一个目标 关于每个问题 x∈X ,假设我们有一个奖励函数 r (x,?):Y?{0,1}, 可以针对任何输出 token 流 y 进行盘问。例如 ,关于数学推理问题 x ,其 token 输出流为 y ,奖励 r (x,y) 可以是检查某个 token 子序列是否包括正确谜底的函数。我们只获得了训练问题数据集 D_train, 因此也只有奖励函数荟萃 {r (x,?):x∈D_train}。我们的目标是在事先未知的测试问题漫衍 P_test 上获得高奖励。测试问题的难度可能与训练问题差别。 关于未知的测试问题漫衍 P_test 和有限的测试时盘算预算 C ,我们可以从训练问题数据集 D_train 中学习一个算法 A∈A_C (D_train), 这个算法属于推理盘算受限的测试时算法类 A_C。这个类中的每个算法都以问题 x~P_test 作为输入 ,并输出一个 token 流。 在图 2 中 ,我们给出了一些例子来资助理解这个 token 流可以是什么。例如 ,A_θ(x) 可能首先包括针对问题 x 的某些实验 token ,然后是一些用于预测实验正确性的验证 token ,如果验证为不正确 ,接着是对初始实验的一些革新 ,所有这些都以「线性」方法串联在一起。另一个算法 A_θ(x) 可能是以线性方法模拟某种启发式引导搜索算法。算法类 A_C (D_train) 将由上述所有可能的 A_θ(x) 爆发的下一个 token 漫衍组成。注意 ,在这些例子中 ,我们希望使用更多的 token 来学习一个通用但可泛化的程序 ,而不是去推测问题 x 的解决计划。 我们的学习目标是学习由自回归大语言模型参数化的 A_θ(x)。我们将这整个流 (包括最终谜底) 称为响应 y~A_θ(x)。算法 A_θ(x) 的效用由奖励 r (x,y) 权衡的平均正确性给出。因此 ,我们可以将学习算法表述为解决以下优化问题: 将 (Op-How) 解释为元强化学习问题 接下来的问题是:我们如何解决由语言模型参数化的、在盘算受限算法类 A_c 上的优化问题 (Op-How) ? 显然 ,我们既不知道测试问题的结果 ,也没有任何监督信息。因此 ,盘算外部期望是徒劳的。对问题 x 推测最佳可能响应的「标准」大语言模型战略似乎也不是最优的 ,因为如果充分利用盘算预算 C ,它可能会做得更好。 主要思路是优化 (Op-How) 的算法 A_θ(x)∈A_c ,类似于强化学习中的自适应战略 ,它使用特另外 token 预算来实现某种算法战略来解决输入问题 x。有了这个联系 ,我们可以从类似问题通常的解决方法中获得启发:通过元学习的视角来看待 (Op-How) ,具体来说是元强化学习:「元」是因为我们希望学习算法而不是直接回覆给定问题 ,而「强化学习」是因为 (Op-How) 是一个奖励最大化问题。 一个很是简短的元强化学习入门 通常 ,强化学习训练一个战略来最大化马尔可夫决策历程 (MDP) 中的给定奖励函数。相比之下 ,元强化学习问题设定假设可以会见任务漫衍 (每个任务都有差别的奖励函数和动态特性)。在这种设定下 ,目标是在来自训练漫衍的任务上训练战略 ,使其能够在从相同或差别测试漫衍抽取的测试任务上体现良好。 别的 ,这种设定不是凭据战略在测试任务上的零样本体现来评估它 ,而是让它通过在测试时执行几个「训练」回合来适应测试任务 ,在执行这些回合之后再评预战略。 那么解决 (Op-How) 就对应着找到一个战略 ,该战略能够在盘算预算 C 内快速适应测试问题 (或测试状态) 的漫衍。从认知 POMDP 的视角来看这种测试时泛化的看法是另一种方法 ,这是一个将在 M_x 族上学习战略视为部分视察强化学习问题的结构。这个视角提供了另一种引发自适应战略和元强化学习需求的方法:关于那些有强化学习配景的人来说 ,解决 POMDP 等同于运行元强化学习这一点应该缺乏为奇。因此 ,通过解决元强化学习目标 ,我们正在寻求这个认知 POMDP 的最优战略并实现泛化。 适应性战略如何适应测试问题 ? 在元强化学习中 ,关于每个测试 MDP M_x ,战略 A_θ 在通过 A_θ 生成最终响应进行评估之前 ,可以通过消耗测试时盘算来获取信息。在元强化学习术语中 ,获得的关于测试 MDP M_x 的信息可以被视为在测试问题 x 引发的 MDP 上收集「训练」回合的奖励 ,然后再在测试回合上进行评估。注意 ,所有这些回合都是在模型安排后执行的。因此 ,为了解决 (Op-How) ,我们可以将来自 A_θ(x) 的整个 token 流视为分成几个训练回合的流。为了优化测试时盘算 ,我们需要确保每个回合都能提供一些信息增益 ,以便在测试 MDP M_x 的后续回合中体现更好。如果没有信息增益 ,那么学习 A_θ(x) 就退化为一个标准的强化学习问题 —— 只是盘算预算更高 —— 这样就不清楚学习「如何做」是否有用。 可以获得什么样的信息 ?虽然 ,如果 token 流中涉及外部接口 ,我们可以获得更多信息。可是 ,如果不涉及外部工具 ,我们是否在利用免费午餐 ?我们指出不是这种情况 ,在 token 流进行历程中不需要涉及外部工具也能获得信息。流中的每个回合都可以有意义地增加更多信息 ,也就是说 ,我们可以将消耗更多的测试时盘算视为从模型对最优解的后验近似 P (?|x,θ) 中采样的一种方法 ,其中每个回合 (或输出流中的 token) 都在革新这个近似。因此 ,显式地调解先前生成的 token 可以提供一种盘算可行的方法 ,用牢固巨细的大语言模型来表征这个后验。 综上所述 ,当被视为元强化学习问题时 ,A (?|?) 成为一个历史条件 (「自适应」) 战略 ,通过在给定测试问题上花费最多 C 的盘算来优化奖励 r。 图 3:智能体 - 情况交互协议。图源:https://arxiv.org/pdf/1611.02779 学习自适应战略的元强化学习 图 4:A_θ(x) 的响应包括一串 token。 我们如何解决这样一个元强化学习问题 ?也许解决元强化学习问题最明显的要领是接纳黑盒元强化学习要领。这将涉及最大化输出轨迹 A_θ(x) 中想象的「episodes」的奖励总和。例如 ,如果 A_θ(x) 对应于使用自我纠正战略 ,那么每个 episode 的奖励将对轨迹中泛起的单个响应进行评分。如果 A_θ(x) 划定了一种在生成和生成验证之间交替的战略 ,那么奖励将对应于生成和验证的乐成。然后我们可以优化: 一般情况下 ,输出 token 流可能无法清晰地分成生成和验证片段。在这种情况下 ,可以考虑元强化学习问题的更笼统形式 ,直接使用信息增益的某种预计作为奖励。 可以通过多轮强化学习要领来解决 (Obj-1) 和 (Obj-2)。实际上 ,只要能够使用某种执行按期在线战略采样的强化学习算法来解决优化问题 ,强化学习要领的选择 (基于价值照旧基于战略) 可能并不重要。 我们还可以考虑另一种制定元强化学习训练目标的要领:只优化测试回合获得的奖励 ,而不是训练回合的奖励 ,从而制止量化信息增益的需要。

??时事1:中国农村真卖BBwBBw

??02月14日,美媒:美国或将胡塞武装重新列入“特定全球恐怖主义实体”,

  孩子们表功 ,希望能获得原谅。

,小早川怜子加勒比。

??02月14日,国台办:赖清德当局如继续在“台独”邪路上冒进 必将给台湾民众带来更大伤害,

  管事很恭谨 ,道:“一直在打探 ,但还未见夏小姐回来 ,一有消息 ,马上向您禀告。”

,人与动性行为视频i电影,一区二区三区按摩肏屄电影网址,欧美多毛熟女。

??时事2:56yyyav

??02月14日,香港西九社区参与计划推出共融茶馆剧场体验及触感导赏团,

  “天啊 ,不要!”

,日本一级A片,精品国产午夜理论片不卡97,佐久间英子五十路九息网9c9cc。

??02月14日,政要遭袭,专家遇刺,伊朗为何暗杀频发?,

  这个变故很惊人 ,凶寇没有想到这软弱的村子竟有人敢对抗 ,并且照旧一个孩子 ,马上有点懵了。

,人妻少妇精品视频专区vr亚瑟,射射视频永久下载app,人人人操人人人极品视觉盛宴。

??时事3:狼友视频免费观看永久网站

??02月14日,石河子大学启动农田残膜污染治理项目,

  “唔 ,那孩子手中的莹白骨块也极其惊人啊 ,不愧是构建虚神界通道的废物。”许多人注意到了这块骨。

,国产成人久久免费观看,免费观看最新黄色网址,正在播放首页国产精品。

??02月14日,石门沟村:60余载让“林进沙退” 欲点“沙”成金,

  作为教师 ,我们早已做好准备 ,我们愿倾我们所有 ,全力以赴。因为选择了这个职业 ,就注定我们的梦想荣誉都与你们连在了一起 ,你们是幸福的 ,我们就是快乐的 ,你们是进步的 ,我们就是欣慰的 ,你们是乐成的 ,我们才是优秀的。

,h+玩弄+跪趴+调教,帮妈妈疏通下水道黄,人妻AV无码系列专区欢迎您。

??时事4:锕锕锕锕锕锕锕好疼漫画网站

??02月14日,国家金融监管总局:三年来银行机构向脱贫地区累计发放贷款19.7万亿元,

  石家庄工程职业学院是我省教育厅直属的民办高校之一 ,历来重视学生创业就业事情 ,近几年在学生创业方面做了大宗事情 ,学校董事会和学院领导高度重视 ,从人力物力财力各个方面投入很大 ,取得了开端效果 ,显示出了良好的生长前景。民办高校的资源和条件与国办相比还都保存差别 ,作为一所民办高校能够克服困难 ,首先启动“众创空间” ,为民办高校学生的创业就业起到了引导作用 ,很是值得赞赏 ,具有很好的推广价值。

,苏易正秋佳乙,日在线黄色网站,国产三级高质量视频在线免费观看。

??02月14日,交通运输部:推动大宗货物运输“公转铁”“公转水”取得务实成效,

  同志们 ,这次村干部培训班虽只安排了一天 ,但领导的内容与我们的实际事情较为密切 ,各村、镇属企事业各单位回去后要凭据今天学习的内容 ,和等下**镇长的

,欧美中日韩黄色A片免费版,好·色·先·生·,朋友夫妇:交换。

【今年前9个月泰国出口额持续增长】

【员工上厕所不报备被开,公司缘何属于“合法解雇”?】

责编:韦龙就

审核:詹敏

责编:林汉姆

相关推荐 换一换

Copyright (C) 2001-2025   dzwww.com. All Rights Reserved

新闻信息效劳许可证 - 音像制品出书许可证 - 广播电视节目制作经营许可证 - 网络视听许可证 - 网络文化经营许可证

山东省互联网传媒集团主办  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001-2025 Dzwww   鲁ICP备09023866号-1

网站地图