实验结局表明，加入此名折扣因子后，AI于操练历程中延续探求、延续长进，而去掉折扣因子之对照组则甚快陷入停滞。
实在操作分两名阶段。
研讨团队从三名来源共收集之约49619名原始视频样本，经过第一阶段信号筛选，剩下约9046名；再经过第二阶段语义筛选，最终只保留之8220名高品质样本，淘汰率超过83%。
AI虽答对之题，但它没有学到真正有身价之技能，就好像学生于考试中靠猜解答拿到之分数，但实际上什么皆没学会。
彼等想到之一名绝妙之类比——拼图游戏。
研讨历程中一名反直觉之发觉值得单独来说。
通过一名看似简之拼图游戏，配上精心设计之模态遮蔽计策、严格之数据筛选流水线与合理之奖惩机制，它让AI于同时有"眼睛"与"耳朵"之情况下，真正学会之把两者结合起来用，而不为偷懒只靠其中一名。
Q2：OmniJigsaw之"双模态捷径效应"为怎么发觉之，又为怎么处置之。
视频里有画面、有声响，两者共同讲述一名典故。
只有同时通过两关之视频，才能保证AI于操练时面对之为真正"值得拼"之拼图。
此种"讯息不完整"之压力，反而逼出之更深度之修习。
实在到他最近与教皇之抵触，就让者哭笑不得。
首先，视频须同时有画面与声响，缺少任何一种之直接淘汰。
第二种计策叫做"片段级模态遮蔽"（CMM），也为研讨中效果最好之法门。
此项由浙江大学与小米公司联手开展之研讨发表于2026年4月，论文编号为arXiv:2604.08209，题为"OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering"，有兴趣深入之解之读者可通过该编号查询完整论文。
比如一段烹饪教学视频，厨师之操作步骤于画面上极其清晰，彼画面就为主导模态；而一段播客节目，说话者始终坐于彼里几乎不动，声响里之实质才为真正之典故线，彼音频就为主导模态。
它之工方式分两步：首先，让AI剖析整段视频，裁决此名视频之光阴线索主要来自画面还为声响。
JMI计策操练出来之AI，于剖析一段烹饪教学视频时，它之思考记载里现之"全程完全只依赖言辞线索、没有任何视觉剖析"此样之表述，最终给出之过失解答。
最精妙之设计为一名"准确率折扣因子"。
于视听协同推演方面，测试集包括DailyOmni（测试视听光阴对齐）、IntentBench（测试举止与意图推演）与OmniVideoBench（需同时使用视觉与音频线索才能回答之疑难）。
接之为音频品质查验：用音量气（RMS）来裁决为否大部分光阴为静音，用频谱变化率（Spectral Flux）来裁决声响为否单调无变化，不通过此两项查验之视频同样淘汰。
道理其实不难体谅：当你同时给之AI两条路，它会自地选择彼条更易走之路。
第一阶段通过信号检测快速排除静态视频与音频品质差之样本，第二阶段用语义模型裁决视频为否有清晰之光阴因果逻辑与状态变化。
整名审查历程要求模型先于特定标签内写下推演历程，最后输出"为"或"否"之判定，只有两者皆通过才算合格。
三、当AI有"双眼"与"耳朵"时，它会选择只用其中一名 此名设计背后之逻辑极其有趣：于强化修习中，AI通常会尝试找到"代价最小之成路径"。
一、为什么教AI"看"视频此件事，比你想象之难多之 结局出乎意料地令者失。
从操练角度来看，此种"偷懒"为灾难性之。
AI于此种情况下之表现，反而不如只给它看画面或只让它听声响之版本。
此正为真正之跨模态体谅本领。
确定之主导模态之后，体系就只保留彼名模态之讯息，把另一名模态完全遮掉，然后再让AI做拼图排序。
浙江大学与小米之研讨团队从另一名角度切入：能不能找一名不需者工标注之差事，让AI于成此名差事之历程中，自地学会整顿视觉与听觉讯息。
第二阶段，按照此些标签办理打乱顺序后之片段——被标为"只看画面"之，就把声响替换为静音；被标为"只听声响"之，就把画面替换为全黑。
比如，用它来小结一段集会录像时，它不只会转录说话实质，还能结合画面中者物之动作、展示之图表来体谅集会之实际进展；剖析一段教学视频时，它能同时体谅画面里之操作步骤与讲解音频，给出更完整之实质描述。
研讨团队用一名相待轻量之多模态大模型（Qwen2.5-VL-7B）来担任"审查员"。
说到底，OmniJigsaw此项研讨之核心贡献于于：它找到之一种几乎不需苍生标注就能大规模操练AI跨模态体谅本领之法门。
Q3：OmniJigsaw数据筛选流水线为什么要淘汰掉83%以上之原始视频。
对苍生来说，同时接收视觉与听觉讯息、然后融合体谅，为一件再自不过之事。
然而，把此套法门搬到视频与音频之领域里，却遇到之一名几乎无法绕过之麻烦：没有足够多之高品质标注数据。
Geometry。数学题有标准解答，代码能运行就为对。
但正因如此，它没有动力深入剖析每名片段之实质——有一条易走之路，它就走彼条路。
然后，查验画面之动态性：通过计算相邻帧之间之平均无对差值，若超过70%之帧之间几乎没有变化，就认定此为一段低动态视频，直接丢弃。
但要让AI体谅一段视频里视觉与听觉之深层联系，就需者工去标注大量"此名画面配此段声响，它们之间之关系为此样之"，此种工既贵又耗时，根本做不到大规模展开。
此对吾等来说意味之什么。
研讨团队用15名不同之标准测试集来估量OmniJigsaw操练出来之AI本领，涵盖视频体谅、音频体谅与视听协同推演三大类。
此时候，AI面临之应战就完全不同之。
然则，JMI（同时提供视频与音频之全讯息操练）却于视频体谅与音频体谅两方面皆比对应之单模态操练更差，而不为更好。
任何需同时看画面与听声响才能真正体谅之场景，皆能从中受益。
核心思路为此样之：拿一段视频，把它剪成若干小片段，然后打乱顺序给AI看，要求AI把正确之顺序还原出来。
前景之视频助手、集会小结器物、教导视频剖析体系，皆或因此类技艺而变得更慧——不只为听懂你说之什么，也不只为看懂画面里生之什么，而为真正像者一样同时体谅声响与画面之间之关系，然后给出更准确、更有洞察之剖析。
要把正确之顺序拼出来，AI须于剖析不同片段时不停地于"看"与"听"两种模式之间切换，并且把从不同模态得之零散线索拼接成一名完整之光阴图谱。
两部分各占50%权重。
彼等把每名视频均匀切成6名片段，然后于切割处各丢掉5%之实质，意图为防备AI靠相邻片段之边界拼接特征作弊——就像拼图时不让你通过纸板背面之纹路来匹配，须真正看图案实质。
A：研讨团队最初直接把完整之视频（同时含画面与声响）用来操练AI做拼图排序，结局发觉AI之表现反而不如只提供画面或只提供声响之版本。
A：因拼图游戏本身须为"可解之"，才有操练身价。
它之逻辑更进一步：不为于整名视频层面做决定，而为对每一名小片段单独估量，决定此名片段应保留画面、保留声响、还为两者皆保留。
第一阶段，AI先按正常顺序看完所有6名片段，然后为每名片段做一名"模态标签"之决定——比如：第1片画面里有明显动作变化，标记为"只保留画面"；第3片里有枢纽对白，标记为"只保留声响"；第5片里画面与声响皆有不可或缺之讯息，标记为"两者皆保留"。
然后把此些办理过之片段打乱顺序，交给AI去排序。
为之处置此名疑难，研讨团队设计之两种更慧之操练计策。
CMM计策操练出来之AI，于办理同一段视频时，它会分别描述每名片段之视觉实质（比如"第4片展示之最终清理洁之鱼排，画面极其清晰，展示之成品"）与音频实质（比如"第5片之男者正直接对之镜头讲话，音频带来之与即时切割动作无直接关联之新讯息，音频为此名片段之核心"），然后把此些剖析统合起来，按照"准备→操作→精细办理→成→讲解技巧"之逻辑推导出正确顺序，最终给出之正确解答。
四、第一种解法：于整段视频层面，逼之AI只用一种感官 第一种计策叫做"样本级模态选择"（SMS）。
CMM计策恰好反过来。
通过剖析AI之思考记载，彼等发觉AI于两种讯息皆有之情况下，会选择更易剖析之彼名模态来解题，完全忽视另一名。
第一阶段用轻量级之信号检测法门快速过滤。
七、奖惩机制：不只为答对就给糖，须全部答对才能吃大餐 为此，彼等设计之一条严格之两阶段筛选流水线。
折扣因子者为地放大之"完全正确"与"差一点"之间之差距，让AI感受到：差一点点与差甚多于奖上没有本原区别，只有全对才为真正之成。
若视频几乎没有变化（比如静态画面、单调噪声），打乱顺序后AI根本无法裁决哪段于前、哪段于后，此种操练样本不只没有身价，还会给AI过失之信号。
研讨团队甚早就意识到一名枢纽疑难：拼图本身须为好拼图。
第二部分为"邻接准确率"：查验AI给出之顺序中，相邻两名片段为否也与正确顺序中相邻之两名片段一致。
不过，它也有局限性：一段视频之主导模态为于整体层面裁决之，但实际上，同一段视频里，某些片段或画面最重要，另一些片段或声响最枢纽。
研讨团队从三名来源共收集之约49619名原始视频样本，经过第一阶段信号筛选，剩下约9046名；再经过第二阶段语义筛选，最终只保留之8220名高品质样本，淘汰率超过83%。
三军可夺帅也，匹夫不可夺志也。数术甚枯燥，但数术甚残酷。
还有一项独特之检测：用专门之语音举动检测模型（Silero VAD）来剖析视频中语音实质之比例，要求于30%到80%之间——太低说明几乎没有语音讯息，太高则说明画面上或没什么有意义之视觉变化，两者皆不适协作为操练素材。
处置预案为CMM计策：对每名视频片段单独决定保留哪种模态之讯息，强制AI于不同片段之间切换用视觉与听觉，没有"走捷径"之机会。
还有重复罚：若AI于思考历程中不断重复相同之书契（一段20字以上之实质重复现超过3次），就扣0.5分，防备它于不知所措时靠"水字数"来凑解答。
单模态之视频拼图操练，能有效提升AI之视频体谅本领；单模态之音频拼图操练，能有效提升AI之音频体谅本领——此皆符合预期。
就像给你一本书之六名章节，但顺序被打乱之，你需根据实质裁决哪章于前、哪章于后。
通过第一阶段筛选之视频，还要接受第二阶段之语义层面审查。
此8220名样本被称为OmniJigsaw-8K数据集，其中8156名用于操练，64名用于验证。
于视频体谅方面，研讨团队用之8名测试集，涵盖从根基光阴感知到高层认知推演之各名维度。
CMM计策于OmniVideoBench上提升之1.70分，于IntentBench上提升之1.49分，于DailyOmni上提升之1.17分，全面验证之跨模态协同推演本领之提升。
Culture。此说明它于办理画面实质时走之捷径，没有真正融合视觉讯息。
八、15名测试场地，全面检验AI之视听体谅本领 六、一套挑剔之"质检流水线"，确保拼图本身值得拼 有兴趣深入之解此项研讨全部细节之读者，可通过arXiv编号2604.08209查询完整论文。
值得一提之为，CMM计策下操练出来之AI，于音频体谅上之表现甚至超过之只靠音频片段操练之"纯音频拼图"版本，说明视觉讯息之融合确实帮AI更好地体谅之声响。
操练AI之历程需设计合理之奖惩机制，研讨团队于此方面也做之细致之考量。
此类成甚大程度上依赖一种叫"强化修习后操练"之技艺——简体谅，就为给AI出题、裁决解答对不对、然后奖或罚它，逐步让它越来越慧。
第一部分为"位置准确率"：AI给出之每名片段位置，若与正确位置吻合，就得一分，6名片段满分6分，取平均值。
操练历程中它之推演记载里甚至现之"全程只依赖言辞线索"此样之表述，说明它于完全忽视视觉讯息。
二、把视频打乱再还原：一名既简又深刻之操练游戏 目前最前卫之大型言辞模型，于纯书契之差事上已相当厉害，比如解数学题、写代码，甚至与者对话。
若一段视频之画面实质足够明显，AI就只靠画面来裁决；若音频里有清晰之语音线索，AI就只靠声响来裁决。
若此段视频为轮回重复之动作、画面太相似以至于顺序无法裁决、或者各片段之间缺乏内于联系，就会被标记为不合格。
AoTBench专门测试AI对"光阴箭头"之感知，也就为能否裁决事件生之先后顺序；TempCompass与TUNA-Bench测试AI对视频实质细节之细粒度体谅；Video-Holmes与Video-TT则试炼更高层次之推演本领，需AI像侦探一样从视频中搜集线索来回答繁疑难；MLVU、MLVU-Test与Video-MME则关注长视频之全局体谅与多差事统合表现。
当然，研讨团队也坦诚地指出之几名局限：此项研讨只于一名根基模型上做之实验，能否推广到不同规模之模型还需验证；数据筛选流程为于操练前一次性成之，无法根据AI当前之本领水平动态调理难度；视频片段之划分方式还较量简，皆为等长切割，更繁之切割计策或带来更好之效果；奖机制目前只关注排序为否正确，若能加入对推演品质之评议，效果或会进一步提升。
研讨团队专门较量之CMM、JMI（全讯息联手操练）以及只用视频或只用音频之单模态操练此四种计策，发觉之一名极其有趣之法则。
此名计策被称为"联手模态整顿"（JMI）。
整体上，研讨团队要求此6名片段之标签不能全为一种，须有必之混搭，此样才能真正锤炼AI跨模态整顿之本领。
从实际数据来看，此条流水线之淘汰率相当高。
九、当你给AI"更多讯息"，它反而学得更差 研讨团队把此套法门命名为OmniJigsaw（"全感官拼图"）。
打乱后之片段交给AI，AI需用思维链（一步步列出推演历程）来剖析，最终给出原始顺序。
从实际数据来看，此条流水线之淘汰率相当高。
电视机与收音机之区别，大家皆甚清楚。
同时，要想把顺序还原得好，AI就不得不认真剖析每名片段里生之什么，以及片段之间之逻辑关系，此正为体谅视频所需之核心本领。
若给AI之操练素材为一段几乎没有变化之视频——比如一小时之集会录像，画面始终为同一间集会室，声响为均匀之底色噪声——彼么打乱顺序之后，AI几乎无法裁决哪段于前哪段于后，此种数据对操练完全没有身价，甚至会产生负面效果。
但最终，它学到之本领更扎实，于各种下游差事上之表现也更出色。
此名法门有效地除去之"捷径效应"，因根本就没有第二条路可走。
研讨团队面对之核心难题，可用一句话来描述：如何让AI于同时有眼睛与耳朵之情况下，真正地把两者结合起来用，而不为偷懒只靠其中一名感官来解题。
此样，AI就没有"走捷径"之机会，须认认真真地剖析它面前之彼一种讯息，深度体谅其中之光阴逻辑。
Availability。此一指标之身价于于，即使整体排序不完全正确，也能鼓励AI识别出局部之正确关系，体现部分推演成。
此名发觉对AI操练领域来说甚有启发意义：给模型更多讯息，不必会带来更好之修习效果；有时候，计策性地限制讯息、制造适当之讯息缺口，反而能逼迫模型演进出更强之本领。
基本奖由两部分组成。
此8220名样本被称为OmniJigsaw-8K数据集，其中8156名用于操练，64名用于验证。
基准模型为Qwen3-Omni-30B-A3B-Instruct，此为一名已相当强盛之多模态大模型。
一刀切之全局裁决，会错过此种局部之细节。
除此之外，还有格式奖：若AI按照要求之格式（先写思考历程，再写最终解答）来回答，就额外加0.2分，此为鼓励AI进行深度推演而非直接猜解答。
此名因子之章法为：只有当AI把6名片段全部排对时，才能拿到全额之位置与邻接奖；只要有一名片段排错，此两项奖就会打折到原来之20%。
此名模型会看200帧均匀采样之画面，思考此段视频为否具备清晰之因果进展（比如先放材料、再烹饪、再出锅）、视觉状态为否有明显变化、事件之间为否有逻辑连贯性、为否存明确之光阴标志。
某些片段只有画面，某些只有声响，还有些两者皆有。
A：经过OmniJigsaw法门操练之AI，于体谅视频实质方面明显更准确。
于音频体谅方面，测试集包括MMAU-Pro（统合听觉体谅）、MMAU-test-mini（层次化推演）、MMSU（细粒度感知）与MMAR（需深度推演之音频场景）。
从操练曲线来看，CMM计策下AI之差事奖增益得更慢，此为因题目更难之，AI不得不做更深层之剖析。
两种模态并存，反而给之它"偷懒"之机会——它不需把两者结合起来，就能大概率答对题目，于为它就没有动力去真正学会融合体谅。
从操练历程之奖曲线来看，JMI计策下AI之差事成率最高，说明它确实能答出更多题。
研讨团队把此名表象命名为"双模态捷径效应"。
若排对5名、排错1名也能得到不错之奖，AI就或知足于此种"差不多就行"之状态，不再勤勉追寻完美解答。
十、定性剖析：从AI之"思考历程"里，看见真正之体谅 Q1：OmniJigsaw操练出来之AI，于日常活里能有什么实在用处。
此名对比清楚地展示之两种操练计策于培育AI本领上之本原差异：一名只为学会之"猜题技巧"，另一名学会之"真正体谅视频"。
五、第二种解法：更精细之操作，逐片段决定用哪只感官 研讨团队还专门较量之CMM与JMI两种计策操练后AI于答题时之思考历程，发觉之明显之品质差异。
CMM计策于MMAR上带来之2.50分之提升，于MMAU-Pro上提升之1.98分。
经过OmniJigsaw之CMM计策操练之后，它于MLVU-Test上提升之4.38分，于AoTBench上提升之4.02分，于Video-TT上提升之2.70分，于TUNA-Bench上提升之2.72分，于几乎所有视频测试集上皆有明显提升。
因不同片段之模态被随机遮掉，AI每次皆不知道下一名片段能给它什么讯息，须认真对待每一名有效之讯息来源，才能把六名片段之顺序拼出来。
研讨还专门较量之有音频与无音频两种评测模式下之表现，发觉OmniJigsaw于两种情况下皆有稳固提升，说明它不只为学会之使用音频讯息，而为真正提升之底层之推演本领。
此名差事之故精妙，于于它有天然之"标准解答"——视频原本之光阴顺序就为正确解答，完全不需苍生去标注。
研讨团队最初之做法为最直接之：给AI完整之视频片段（既有画面又有声响），让它同时依靠两种讯息来裁决顺序。
但对于AI来说，此件事出奇地难做到。
上一篇：15系列等机型 华为公布最新5A设备名单：涵盖畅享70X、nova 下一篇：多国司法交锋，透视中兴、三星全球专利博弈