上下文长度达 13 万 token✿✿，适用于多段文档综合分析✿✿、金融✿✿、法律华体会体育APP官网下载✿✿、科研等复杂领域任务✿✿。

　　近期的推理大模型（LRMs）通过强化学习（RL）展现出强大的推理能力✿✿，但这些改进主要体现在短上下文推理任务中✿✿。相比之下✿✿，如何通过强化学习扩展 LRMs 以有效处理和推理长上下文输入✿✿，仍然是一个尚未解决的关键挑战✿✿。

　　来自阿里巴巴通义实验室的团队首先形式化定义长上下文推理强化学习范式富二代APP推广二维码✿✿，并识别出其中的两个核心挑战✿✿：次优的训练效率与不稳定的优化过程

　　区别于短上下文推理强化学习促进模型利用内部知识推理✿✿，长上下文推理强化学习需要模型首先定位外部关键信息然后整合内部推理

　　长上下文推理强化学习训练效率低✿✿，具体表现在（a）奖励收敛较慢✿✿，（b）模型输出熵的显著降低✿✿，限制了优化过程中的探索行为华体会体育APP官网下载✿✿。同时富二代APP推广二维码✿✿，长上下文推理强化学习训练不稳定✿✿，具体表现为（c）KL 散度突刺较多富二代APP推广二维码✿✿，这是由于（d）较长的输出长度和不均匀的输入长度导致方差变大✿✿，导致策略更新不稳定✿✿。

　　基于渐进式上下文扩展技术混合奖励机制✿✿，QwenLong-L1 通过强化学习实现了从短文本到长文本的稳定上下文适应✿✿。

　　基于传统的短上下文推理强化学习框架✿✿，QwenLong-L1 主要提出如下改进✿✿：渐进式上下文扩展技术和混合奖励机制✿✿。

　　训练长上下文推理大模型存在不稳定的优化动态特性✿✿。为解决这些问题✿✿，我们提出了一种渐进式上下文扩展框架✿✿，该框架包含✿✿：课程引导的分阶段强化学习策略以稳定从短到长上下文的优化过程✿✿；难度感知的回顾采样机制富二代APP推广二维码华体会体育APP官网下载✿✿，优先探索复杂实例✿✿；以及稳定的监督微调预热阶段✿✿，在强化学习训练前提供稳健的初始化基础富二代APP推广二维码✿✿。

　　稳健的监督微调预热✿✿：使用蒸馏的长上下文推理数据在强化学习前监督微调模型✿✿，获取稳定的初始策略✿✿，降低训练过程中的不稳定✿✿。

　　课程引导的分阶段强化学习✿✿：将强化学习训练分为两阶段✿✿，阶段 I 输入长度 20K✿✿，阶段 II 扩展至 60K✿✿，逐步适应长上下文富二代APP推广二维码✿✿。每阶段仅训练当前长度区间的样本✿✿，避免混合长度导致的优化冲突✿✿。

　　难度感知的回顾采样✿✿：根据样本平均奖励动态计算难度✿✿，低奖励样本（高难度）被优先保留至后续阶段✿✿。阶段 II 训练时✿✿，包含阶段 I 的高难度样本✿✿，强制模型持续探索复杂案例✿✿。

　　在数学✿✿、编程和逻辑推理等短上下文推理任务中✿✿，先前的研究工作通常采用基于规则的奖励函数✿✿。然而✿✿，开放域问答等长上下文推理任务因其固有的答案多样性带来了独特挑战✿✿。在这种情境下✿✿，限制性过强的基于规则的奖励机制可能会制约有效答案的多样性✿✿，从而可能影响整体性能✿✿。针对这些局限性✿✿，我们提出一种融合规则验证模型评判的混合奖励机制✿✿，通过互补性评估实现精确率与召回率的平衡✿✿。

　　规则奖励✿✿：通过正则表达式从模型输出中提取答案✿✿，与标准答案严格匹配✿✿。确保答案格式正确性✿✿，防止 Reward Hacking✿✿。

　　模型评判✿✿：训练过程采用 Qwen2.5-1.5B-Instruct 作为轻量级评判模型✿✿，评估预测答案和标准答案之间语义等价性✿✿。

　　SFT 和 RL 发挥着互补作用✿✿，SFT 较低代价到可接受性能✿✿，而 RL 对达到最佳结果至关重要✿✿；要实现最优性能✿✿，必须优先考虑 RL 而不是 SFT✿✿，因为过度关注 SFT 可能使模型陷入局部最优✿✿，从而限制 RL 提升✿✿；

　　所有模型都表现出明显的各类推理模式✿✿，且长上下文相关的 Grounding 出现频率最高RL 自然地使这些推理模式出现频率越来越高✿✿，最终性能也会随之增长SFT 尽管让推理模式取得了远高于 RL 的增加✿✿，但转换成的性能提高相较于 RL 有限

　　这项研究通过强化学习探索了长上下文推理大模型的开发✿✿。其首先提出长上下文推理强化学习范式华体会体育APP官网下载✿✿，并发现次优的训练效率和不稳定的优化过程等关键问题✿✿。

　　我们的分析揭示了长上下文推理强化学习的三项关键洞察✿✿：渐进式上下文扩展对实现稳定适应的重要作用✿✿、优先强化学习对最优性能的必要性✿✿，以及强化学习训练过程中长文本推理模式的增加对性能提升的促进作用华体会体育APP官网下载✿✿。

　　05月21日华体会体育APP官网下载✿✿，纪录片《天下第一团》开播 聚焦大同耍孩儿剧✿✿，立博入口登录✿✿，大赢家即时比分大赢家体育✿✿，万博手机登陆页面✿✿，网上体育娱乐网站

　　05月21日✿✿，特写✿✿：“起舞”阿尔泰山冰雪间✿✿，美高梅在哪注册✿✿，凯发娱乐手机端官网登录✿✿，完美365体育ios下载✿✿，伟德官网

　　05月21日✿✿，看见·法国——中法建交60周年特别版✿✿，188bet体育下载华体会体育APP官网下载✿✿，银河国际娱乐✿✿，乐动体育登录入口✿✿，AG鸭油倒闭

　　05月21日“五一”期间北京共接待游客1696.6万人次宝马线上娱乐登录网站九游会ag网址大全111edf巴黎人充值登录

　　05月21日踏访悉尼唐人街 “四海一家”迎来客manbetx手机版万博manbetx体育官网乐鱼app官方英皇体育快速开户

　　05月21日以科技创新塑造发展新优势 杭州怎么做？澳门皇冠国际官方APP客户端千赢手机版苹果版下载365体育app手机版安装优信彩神争霸官网……

　　05月21日富二代APP推广二维码✿✿，香港传媒学子✿✿：以笔为媒撰写内地生物医药产业“炼成记”✿✿，球探官网app下载✿✿，AG亚游平台✿✿，银河国际网址手机版✿✿，美高梅美狮澳门网站

　　05月21日✿✿，急性呼吸道传染病呈上升趋势 0-14岁病例增多✿✿，js6633✿✿，凯时kb88手机版✿✿，威廉娱乐✿✿，竞彩足球app

　　05月21日女子高铁站晕倒 湛江西站上演7分钟急速救援365bet365体育火凤凰棋牌官方天美棋牌新版博鱼娱乐官网

　　05月21日✿✿，“绿色恐怖”何时休？台湾知名店家因“和祖国不能分割”标语遭攻击富二代APP推广二维码✿✿，西甲直播✿✿，九游会平台网址✿✿，新蒲京娱乐平台✿✿，BBIN体育新闻下载

　　05月21日✿✿，外交部✿✿：中方愿以APEC会议契机 为亚太伙伴创造更多机遇✿✿，太阳集团2018登录网址✿✿，米6体育app✿✿，12bet在线试玩✿✿，天博app软件下载官网

　　05月21日✿✿，【奥运画刊】起猛了✿✿！看见AI混进奥运会了？✿✿，十大真钱平台✿✿，天辰娱乐平台地址✿✿，捕鱼送分送钱的平台✿✿，AOA在线日道中华丨你知道云冈石窟的开凿年份有何深意吗？杭侃院长带您领略云冈石窟的魅力线体育手机网址快乐抢庄牛牛188宝金博在哪里玩

　　05月21日天舟货运飞船发射频次调整为“两年三发”乐鱼体育登录网站英皇娱乐平台首页98858vip威尼斯心博天下好玩吗?

　　05月21日四川省遂宁市人大常委会党组成员✿✿、副主任罗孝廉接受审查调查另翡翠秘笈千亿买球九游官网登录首页必威亚洲备网

　　广东持续强降雨已致4死10失联✿✿，易建联回应王栎鑫海南发布地质灾害气象风险预警 这些地区要注意体育综合平台有哪些立博网址登录心博天下在线买球澳门手机银河

　　子期杀了子期✿✿，王楚钦4比2雨果四天三艘“中国造”货轮上海外高桥口岸首航德甲狼堡贝博PG电子游戏真人百家乐澳门平台app下载凯时ag旗舰厅官网

　　日本主持人称难怪烟花是中国发明的✿✿，流人 第四季美智库专家刊文✿✿：美国自身功能失衡才是美元最大的威胁云顶娱乐官网下载苹果AG真人电竞波肖门尾最佳公开版age官网网站入口

　　狼队2比6切尔西✿✿，钱天一女单进四强《具身智能》新书首发 探讨人类创造智能的未来篮球188即时比分网大发国际888最新官网皇冠游戏登录京灵平台官网登录

　　王楚钦回应球拍被踩断✿✿：我是受害者✿✿，2023年末中国男比女多3097万人中消协点名充电桩人工客服形同虚设leyu乐鱼苹果版188体育在线直播平台威尼斯注册威尼斯人网页手机登陆

　　孟子义生日直播✿✿，杭州多起半夜骑行党相撞事故泰国创新“90天报到”制度 简化外籍人士居留流程天博体育官网网址99真人备用网址网络线元第一桶金华体会体育最新登录✿✿，华体会HTH体育APP华体会·(HTH)体育官方全站APP华体会hth(中国)官方网站✿✿，华体HTH体育✿✿，华体会体育(中国)hth·官方网站✿✿，华体会·(HTH)官方网站✿✿！华体会体育·HTH(中国)官方网站✿✿，