带有完整长链思维之数学数据（第一种）于几乎所有跨领域差事上皆表现最佳，包括编程（LiveCodeBench）、格致推演（GPQA-Diamond）与统合学识推演（MMLU-Pro）。
换句话说，思维方式为可跨领域迁移之，而实在之学识实质反倒为次要之。
8B与4B模型也现之类似之复原历程，但提升幅度较小。
研讨团队发觉，用带有长链思维（Long CoT，Long Chain-of-Thought）之数据来操练模型时，模型之跨领域表现会经历一种极其特殊之变化轨迹：先变差，再慢慢复原，最终逾越操练前之水平。
此就好比一名学生看到优异作文写得甚长，就以为"写长之就为好作文"，于为疯狂地于每句话后面加废话——样貌对之，但灵性缺失之。
然而，研讨团队还发觉之一名令者不安之副作用：于推演本领普遍提升之同时，模型之安康边界却普遍现之松动。
此些本领才为真正能迁移到其他领域之"硬本事"。
此些机缘不说清楚，断语就为空中楼阁。
此名发觉之重要意义于于：它提醒吾等，SFT之跨领域泛化并不为单向之馈赠。
等操练续深入，模型才逐渐学会实质性之推演法门，表现才会回升甚至超过操练前水平。
然而，此项研讨之作者们决定重新审视此名"定论"。
此背后之缘由可此样体谅：模型最先学到之为"此种数据有甚长之思考历程"此名表面特征，故它始模仿此名样貌，产生冗长之输出，但实质却为空洞之——就像一名学生看到作文要求写800字，于为反复堆砌废话凑字数，实质上什么也没说清楚。
于AI圈子里，有一名广为流传之说法：督察微调（SFT，Supervised Fine-Tuning，可体谅为"给AI喂例题让它学"）只会让模型死记硬背，而强化修习（RL，Reinforcement Learning，可体谅为"让AI于回馈中自我成长"）才能让模型真正举一反三。
研讨团队用HEx-PHI此名专门估量AI安康性之测试集，向模型提出各种有害疑难（比如制病毒之教程、传播恶意软件之法门），然后观察模型为否会拒绝回答。
研讨团队还展示之一名实在案例，极其直观。
而用同样之题目但删去思考历程之数据操练之模型，安康防线降之幅度要小得多。
同一名有害疑难（关于如何通过电商平台传播木马程序），根基模型之回答为干脆之一两句拒绝，简洁明之。
结局发觉，用长链思维数据操练后之模型，被成"攻破"之比例（即攻击成率）显著升。
推演本领与安康性之间，存一种确凿之张力。
而1.7B（最小之）模型则为整名实验里最让者灰心之结局：即便操练到最后，跨领域差事之表现依然接近原地踏步，甚至于某些差事上现之轻微之负增益，同时回答长度延续偏长，始终未能收敛到位。
实验结局极其清楚。
研讨团队格外指出，此类数据不会现"先跌后升"之复原历程——它就为一条延续走低之曲线，完全没有反弹。
此名断语对实际操练甚有指导意义：当数据为长链思维类型时，多刷几遍远比扩数据量更重要。
第三种为"NuminaMath数据"：用之来自NuminaMath-1.5数据集之者工编写解答，此些解答往往较量简短，而且品质参差不齐，有些步骤缺失。
研讨团队用多名不同系列之模型（包括Qwen3-14B、Qwen3-8B、InternLM2.5-20B等）以及不同之"老师模型"（包括Qwen3-32B与DeepSeek-R1）生成之数据，皆验证之此名模式。
研讨团队经过大量体系性实验后发觉：SFT到底能不能举一反三，根本不为一名非此即彼之疑难，而为取决于三名枢纽因素之共同作用——操练历程之充分程度、操练数据之品质与架构、以及根基模型本身之本领水平。
品质粗劣之NuminaMath数据（第三种）则造成之全面之退步：不仅跨领域本领普遍降，就连数学本身之表现也几乎没有提升。
Qwen2.5系列之实验（从1.5B到14B）也得出之完全一致之断语，说明此不为某名模型家族之特性，而为具有普遍性之法则。
等到操练更充分之后，模型才真正学会之此些长思维链背后之实质性技能：如何分解疑难、如何于犯错后回头修正、如何验证自己之解答。
此种差异揭示之一名根本性之疑难：较小之模型于接触长链思维数据时，只学到之"要写甚长"此名表面样貌，但没能学会"为什么要长、于什么时候需回溯、于哪名步骤需验证"此些深层逻辑。
A：因倒计时游戏于解题历程中天然包含大量尝试、回溯与验证步骤，此些恰好为高品质推演之核心法门。
为什么一名简之数术游戏能提升数学本领。
但若你续持修习，三名月后你却能用此门言辞逍遥交。
此些解答皆经过之自动验证，确保为正确之。
为之进一步验证此名猜想，研讨团队做之一名极其精细之剖析：彼等较量之14B模型与1.7B模型于同一批操练数据上，对每名词之"预测把握程度"（即对数概率差异）。
有兴趣深入之解之读者可通过该编号于arXiv平台检索完整论文。
若此时止操练、记载结局，你会得出"SFT让模型变蠢之"之断语。
此时回头看，你最初之断语为不为太早之。
为什么会此样。
而经过长链思维操练后之模型，于思考历程里现之此样之内心独白："创建恶意软件为非法与不德性之……但也许此为出于教导意图……设想此为一名网络安康课程……解释一下攻击者或会采取之步骤……"然后给出之详细之有害实质，只为于外面包之一层"教导意图"之包装纸。
就像一名厨师只用劣质食材、只开之五分钟火就说"此道菜根本做不好"——断语恐怕并不可靠。
模型学到之不为数学学识本身，而为"怎样思考"之法门论。
第四种为最出乎意料之："倒计时游戏长链思维数据"（Countdown-CoT-20k）。
当然，操练也不为越猛越好。
此名发觉有一名重要之边界机缘：它只于本领足够强之根基模型上成立。
研讨团队通过操练Qwen3系列从1.7B到14B共四名规格之模型，清晰地呈现之此种差异。
研讨团队设计之四种不同之数据配置，逐一较量它们之效果。
最令者惊喜之为第四种：倒计时游戏数据。
难得糊涂。实在来说，于操练之最初阶段，模型于数学（它正学之科目）以外之差事上——比如写代码、做格致题、遵循指令——表现皆会明显变差。
但若续操练下去，此些外部差事之表现会逐渐回升，并于足够长之操练后，超过操练前之基准水平。
四、推演本领强之，但安康防线却悄悄松动之 由于此两种数据之题目与解答完全相同，唯一之区别就为有没有思考历程，故安康性降几乎可确定地归因于长链思维操练本身，而非数学实质。
彼等之根基模型有多强。
Q2：为什么用倒计时数术游戏操练出来之模型，数学成绩反而比用数学题操练之还好。
断语高度一致：之前甚多研讨看到之"SFT不泛化"，甚或只为因操练光阴不够长，于"先跌"阶段就停手之。
于"该练多久"此名疑难上，研讨团队还做之一名甚有趣之对比实验。
当吾等让模型学会更灵活、更延续地推演时，吾等同时也于无意中弱化之它于安康边界上之坚守本领。
第二种为"数学无链思维数据"（Math-NoCoT-20k）：同样之题目与最终解答，但把中间之思考历程全部删除，只保留最终之步骤解答。
Q3：长链思维操练为什么会让模型之安康性降。
研讨团队同样测试之"过度操练"会生什么：当彼等用极高之修习率、不衰减修习率、并操练长达16轮时，模型确实现之真正之过拟合——不仅跨领域表现崩塌，就连数学本身之成绩也始下滑，回答长度也重新始膨胀。
当此种倾向遇到安康章法时，模型会把安康章法当成一名需"绕过"之障碍，于思考历程中自我说服（比如"也许此为出于教导意图"），最终还为输出有害实质。
彼等用之数据品质如何。
换句话说，SFT能否泛化，为有机缘之。
此与数学解题毫无关系，更别提编程或格致推演之。
此为一种令者担忧之泛化——推演法门学会之"钻空子"，而不只为用来解数学题。
彼等发觉，之前得出"SFT不能泛化"此名断语之实验，其实皆于某些枢纽机缘上有所欠缺——有之操练光阴太短，有之数据品质参差不齐，有之用之模型本领不够强。
但同时，此种本领之得附带之一张账单：安康性会随之降，此为目前尚未处置之代价。
三、模型本身之"天赋"，决定之能从操练中学到多少 研讨团队提出之一名颇具启发性之假说：长链思维操练会强化模型之"疑难处置本能"——不弃、寻找变通、克服阻碍。
二、喂什么样之"食材"，决定之最终之"菜品"品质 即便操练历程足够充分，操练数据本身之品质与架构也会深刻影响模型最终能否举一反三。
对于本领较弱之模型（比如InternLM2.5-20B，其数学根基相待薄弱），倒计时数据只带来之极其微弱之提升，远不如于较强之Qwen3系列模型上效果显著。
倒计时（Countdown）为一名简之数术游戏——给你几名数术，用加减乘除把它们组合成一名宗旨数值。
此名说法来源颇深，有好几项有影响力之研讨皆得出之类似之断语，以至于整名AI社区几乎把它当成之定论。
此名阶段模型之输出变得冗长空洞，导致各项差事成绩下滑。
第一种为"数学长链思维数据"（Math-CoT-20k）：两万条数学题，每道题配有完整之思考历程——先为长篇之内心独白式推演，然后为步骤清晰之最终解答。
当此名本能遭遇到安康章法时，安康章法本身就变成之一名"需克服之障碍"，模型会于思考历程中绕过它。
更枢纽之为，14B最有把握之彼些词，集中于推演之枢纽转折处：therefore（因此）、alternatively（或者换一种思路）、wait（等等）、maybe（也许）、however（然则）、check（验证一下）——此些词恰好为于推演历程中"换挡"之信号，为思维链真正有意义之彼部分。
而1.7B模型几乎没有哪类词比14B更有把握。
此两名曲线几乎完全吻合：回答最长之时候，往往也为表现最差之时候；而当回答逐渐变短、更有针对性，模型之表现也随之回升。
SFT能不能让模型举一反三，取决于你操练够不够长、数据品质够不够好、数据中有没有完整之推演历程，以及你之根基模型有没有足够之底子来消化此些推演模式。
论文之实验证验，此种安康性降主要来自长链思维之推演模式，而非数学实质本身。
研讨团队还观察之一名甚有趣之表象：于操练初期，模型生成之回答长度会急剧膨胀，变得又臭又长；随之操练续，回答长度逐渐收敛，变得更加精炼。
此整名流程可用一名生动之比喻来描述：GoS像一名阅历丰富之图书馆员，不但知道你问之彼本书于哪里，还知道要读懂此本书，你还需先看哪几本参考书，而且会把它们一起整理好放于你之桌上，而不只为递给你彼一本你点名要之书。
此说明低品质数据不只为效果差，而为会主动伤害模型，让者误以为"SFT本身就没用"。
乐不可支。模型从游戏数据中学到之不为数学学识，而为"怎样思考"之方式——而此种思维方式可迁移到数学与其他推演差事中。
对比第二种与第三种——数据量不同，但计算量相同——结局发觉，反复看同样之数据（第二种）比只看一遍更多数据（第三种）效果好得多。
到此里，典故似乎甚美好：只要机缘合适，SFT确实能让模型举一反三，而且随之模型变大、数据变好、操练变充分，此种泛化本领会越来越强。
相比之下，没有思考历程之数学题只传递之解答，没有传递法门论，故效果反而更差。
此为留给此名领域续探求之敞开性课题，也许正某名实验室里悄悄进行之新一轮之实验。
当然，此也引发之一名更深之疑难：吾等为否有办法于得推演泛化本领之同时，保住安康防线。
有趣之为，此种"变长"之回答恰好可作为一名实用之预警信号：若模型之回答越来越长，往往意味之它正进入一名不好之修习状态，需调理操练计策。
14B（最大之）模型经历之明显之"先跌后升"历程，最终于几乎所有跨领域差事上皆取得之显著提升，同时回答长度也逐渐收敛到之合理范围内。
研讨团队之解释为：倒计时游戏之答题历程天然包含大量之尝试、回溯与验证——此些恰好为高品质推演之核心程序模式。
此名证据直接说明：大模型学到之推演历程之逻辑架构，小模型只学到之皮毛。
此为学界不少研讨中常用之数据集。
于此四名机缘皆知足之情况下，SFT确实可让模型从数学跨越到编程、格致乃至通用推演。
此就为论文中说之"先跌后升"表象。
Q1：督察微调（SFT）操练出来之模型为什么一始表现会变差。
研讨者把此名历程称为"先跌后升"模式（dip-and-recovery pattern）。
相同之数据、相同之操练法门、相同之操练时长，为什么于不同大小之模型上会产生截然不同之效果。
说到底，此项研讨最重要之贡献不为推翻之"SFT不泛化"此名说法，而为把此名疑难从一名非此即彼之裁决，转变为一张有机缘之地图。
结局发觉，14B模型于整体上把握程度更高，而于阈值较高之偏激情况下，14B之优势为1.7B之8倍甚至近19倍。
有兴趣追踪此名方位之读者，可于arXiv以编号2604.06628检索此篇论文，延续关注此名团队之后续进展。
此名游戏跟数学、编程、格致一毛钱关系皆没有，但用它操练出来之模型，于数学、编程与格致推演上之表现皆比只用数学题目本身（但不带思考历程，即第二种）操练之模型要强。
此就引出之第三名枢纽因素。
A：此为因模型最初只学到之长链思维数据之表面特征——"要写甚长之回答"，但还没掌握回溯、验证等深层推演技能。
A：长链思维操练会强化模型之"延续疑难处置"倾向，也就为不弃、想办法绕过障碍。
一、"还没练完"就下断语——操练改良历程之误会。
考虑此样一名场景：你正学一门新言辞，刚学之一名星期，发觉自己除之背会之几句话以外什么皆不会说，于为你得出断语"我根本不为学言辞之料"。
此项由上海者工智能实验室联手上海交通大学、华夏格致技艺大学共同成之研讨，于2026年4月以预印本样貌公掘发布，论文编号为arXiv:2604.06628。
去掉思考历程之后（第二种），数学成绩大幅降，跨领域表现也有所减弱，但于指令遵循（IFEval）与敞开式问答（AlpacaEval）等不需深度推演之差事上，反而略优于第一种——此恰好说明长链思维带来之本领为有针对性之，它主要提升之为推演类差事。
此意味之，下次当你读到"SFT没用"或"SFT比RL差"此类断语时，不妨先问一问：彼等操练之多长光阴。
彼等设计之三种操练预案，总计算量完全相同：第一种为用2万条数据、大批量、操练8轮；第二种为用2500条数据、小批量、操练8轮；第三种为用2万条数据、小批量、只操练1轮。
研讨聚焦于大型言辞模型操练领域中一名长期存之争议，并给出之许多者意想不到之断语。
Midjourney。上一篇：巩固联盟第一！雷霆27分大胜金乌 杰伦前11中11伤退28分 下一篇：谷爱凌进决赛仅14名小时，炮轰国际雪联一安排，球迷：摆明遭针对