对于实时问答与主动问答，模型会先做场景分段与描述，复生成带光阴戳之问答对；对于多次响应问答，则会生成同一疑难于不同光阴点之多名有效解答。
论文通讯作者为香港中文大学 MMLab 李鸿升副教授与华为小艺大模型应用实验室主任刘睿博士。
Coarse-to-Fine 数据引擎 AURA 之操练与实验结局 OVO-Bench 测试结局 于流式架构化阶段，AURA 会把前面得到之带光阴戳 QA 标注，转换成真正符合流式推演样貌之操练样本。
若证据不足，模型就或学到 “明明看不到也硬答” 之坏习性，增幻觉险情。
体系把视频流、ASR 与 TTS 集结于一起，支视频输入、语音输入、多模态推演与语音输出之完整闭环。
于基准测试上，AURA 于三名代表性流式视频体谅 benchmark 上皆取得之当前最优结局： AURA 具有以下几名显著特征 更值得注意之为，AURA 不仅超过之多种开源基线，于部分指标上也超过之 GPT-4o 与 Gemini-1.5-Pro 等闭源模型，说明它于 “实时视觉体谅 + 主动交互” 此名方位上确实做出之较量完整之体系突围。
Jetty。有上下文管，有三类流式交互定义，有体系化之数据引擎，有专门为 “沉默 — 发声” 均衡设计之操练宗旨，还有面向实时部署之高效推演框架。
与此同时，由于滑动窗口会截断上下文，较早之史册回答于当前窗口中或已没有足够证据支撑，若续把此些回答皆当作督察宗旨，还会增模型幻觉险情。
除之操练，AURA 还专门设计之实时推演体系。
论文还给出之端到端延迟拆解。
一为只督察所有沉默消息与最后一名非沉默回答； 于品质校验阶段，AURA 会进一步查验：经过窗口截断后，当前保留下来之视频实质与史册上下文，为否仍然足以支撑宗旨解答。
AURA 认为，实时视觉助手最枢纽之本领之一，不为始终说话，而为知道什么时候不该说话。
模型初始化自 Qwen3-VL-8B-Instruct，只微调 LLM 部分，视觉编码器与连接模块保冻结。
ASR 转写延迟约84.2 msAURA 主模型 TTFT 约75.0 ms首句解码光阴约60 msTTS 首块语音延迟约93.0 ms StreamingBench 测试结局 当然，AURA 也不为完全没有代价。
小艺大模型应用实验室长期关注终端智谋助手从被动响应走向延续感知、主动效劳与全球交互之演进。
2. 不只为回答疑难，还会 “选择沉默” 若说过往之视频大模型更像 “看完录像后写呈文之者”，彼么 AURA 想做之，就为一名真正站于现场、延续值守、随时响应之 AI 助手。
缘由于于：于流式场景里，沉默消息远比非沉默回答多得多。
操练方面，AURA 用约11.5 万条流式视频 QA 样本与约5.9 万条离线视频 QA 样本，总计约17.4 万条样本、约12 亿 token。
此样既能控制上下文长度，又能尽或保留对交互最有身价之讯息。
视频预办理，QA 合成，QA 精炼，流式架构化，品质校验 第一类为Real-Time QA，也就为实时问答。
为之免除上下文无穷增益，AURA 用之 “双滑动窗口” 计策。
为此，AURA 专门围绕 “沉默” 与 “发声” 之均衡设计之操练宗旨。
此种方式甚适合做事后剖析，却不适合实时助手、直播体谅、机器者交互、现场监控等对时效性要求极高之场景。
论文实验表明，滑动窗口与 prefix caching 两者结合，才能同时控制上下文增益并维持较低之首 token 延迟。
StreamingBench上，AURA 总分达到73.1%OVO-Bench上，AURA 总分达到65.3%OmniMMI上，AURA 总分达到25.4% 于部署层面，AURA 以Qwen3-VL-8B-Instruct为底座模型，并集结 ASR 与 TTS，最终实现之一名可实际演示之实时体系。
AURA 不再把 “为否响应” 与 “如何响应” 拆给两名不同模型，而为让一统模型于连续视频流中直接成观察、裁决与回答。
1. 一统式流式视觉交互 于QA 合成阶段，AURA 分别为不同类型之流式问答构造督察信号。
AURA 首先设计之一套Interactive Video Stream Context Management机制。
风声鹤唳。论文给出之默认超参数为：视频窗口长度 30 秒，额外缓冲 15 秒，保留最近 10 组 QA 史册。
于视频预办理阶段，团队从公开互联网收集之竞技、vlog、纪录片、百科实质、影视、课程、游戏、动画等多种类别之视频，并一统重采样到 2 FPS，同时转码为 H.264，以提升后续办理之一致性与稳固性。
AURA 之提出，不仅为面向确凿场景之一次重要探求，也让视频模型朝之真正体谅全球、参与交互迈出之枢纽一步。
视频窗口负责保存最新之视觉证据，问答窗口则保留用户意图与枢纽史册讯息。
论文标题：AURA: Always-On Understanding and Real-Time Assistance via Video Streams论文地址：https://arxiv.org/pdf/2604.04184GitHub链接：https://github.com/aurateam2026/AURA 第三类为Multi-Response QA，也就为多次响应问答。
论文呈文显示，经过流式操练后，模型于旧俗离线视频体谅差事上之表现相比底座模型会有必回落，但整体仍然保之较强角逐力。
Techno-phobia。论教养确指出，此三类问答共同构成之 AURA 数据构造与本领建模之核心。
用户提出疑难后，模型立刻基于当前或已观察到之画面给出回答。
XR。AURA 把流式交互分成三类。
从此篇论文可看出，AURA 想处置之并不为旧俗之视频问答，而为一名更接近确凿全球之疑难：如何让视频大模型成为一名始终于线、延续观察、懂得沉默、能够主动响应之视觉助手。
Matplotlib。比如对实时问答增强难度层级，对主动问答与多响应问答改写不同表述方式，以更贴近确凿用户于流式交互中之提问习性。
因此，AURA 会过滤掉彼些视觉依据不充分、光阴对应不准确、或者解答与上下文不一致之样本，只保留真正可靠之数据。
统合估算，从用户语音输入到体系输出第一段语音回复之总延迟约为312.2 ms。
AURA 为此设计之一套五阶段数据引擎，包括： 专门为 “沉默与发声” 设计之操练宗旨 由香港中文大学 MMLab 与华为小艺大模型应用实验室联手推出之 AURA，正为对此一疑难之一次有力回应。
OmniMMI 测试结局 从消融实验来看，此名设计极其有效。
此也说明，AURA 并不为简追寻 benchmark，而为于离线本领与于线交互本领之间做之一次相待均衡之营造取舍。
之后，此些候选样本还要经过再次验证，确保疑难合理、解答有依据、光阴戳准确。
为什么旧俗 VideoLLM 不够用。
第一，视频流与对话史册会不断增益，模型如何于有尽上下文里延续工；第二，模型不只为要 “会答题”，还要学会裁决什么时候该说、什么时候不该说、什么时候应等看到更多讯息后再说。
实在来说，体系先按光阴块机构视频与对话，再按双滑动窗口章法截断上下文，最后把同一段连续交互 “展开” 为多名操练样本。
若改回默认交叉熵损失，AURA 于 OmniMMI 上之总体成绩会从25.4%降到16.4%，其中主动提醒本领 PA 甚至会直接掉到 0.0%。
部署改良后，体系可于两张 80G 加速卡上以2 FPS实时运行。
近年来，视频多模态大模型（VideoLLM）演进迅猛，于视频描述、视频问答、时序定位等差事上不断刷新性能上限。
Coarse-to-Fine 数据引擎 流式问答之关隘，不只为模型架构，更于于操练数据怎么构造。
对于一名同时涉及视频体谅、语音识别、文本生成与语音合成之体系来说，此名速度已极其接近实时交互体验。
此说明对于流式智能体来说，“什么时候不说” 确实与 “说什么” 一样重要。
于QA 精炼阶段，AURA 进一步增强操练样本之多样性。
用户先抛出一名请求，模型不必即刻回答，而为等前景现足够证据时再给出响应。
因此，AURA 采用之两项计策： 二为让体系能稳固办理无界增益之视频与文本输入，于长光阴延续运行时依然保可用。
它至少带来之两名新应战。
随之模型本领延续增强，业界也始思考一名更重要之疑难：视频大模型能不能不再只为 “看完一段视频再回答”，而为真正进入实时全球，延续观察、实时体谅，并于枢纽时刻主动给出回馈。
AURA 之宗旨甚明确： 围绕此两名宗旨，AURA 并不为只改之某一名模块，而为从上下文管、数据构造、操练宗旨到推演部署做之整套协同设计。
相比每来一帧就立刻删最旧实质之简 FIFO 方式，此种设计能减前缀变化频率，从而更高效地复用已计算过之缓存，显著降低重复计算。
针对一名延续演化之场景，模型可随之新讯息现，陆续给出多名回答，而不为只答一次。
为之保证长光阴运行时之低延迟，AURA 于推演阶段引入之 KV cache 复用与带缓冲区之浮动窗口计策。
它之核心身价，不只为提出之一名新模型，而为把流式视频体谅此件事拆解成之一整套可落地之法门： 更进一步说，流式视频体谅并不为简把 “离线推演” 加快一点就能处置之。
若直接用寻常交叉熵操练，模型甚或学到一名 “最安康计策”—— 尽量始终沉默。
随之此类工不断推进，前景之视觉智能体系或许不再只为 “回答你问之什么”，而为能进一步体谅场景、体谅时机，并于真正重要之时候主动开口。
对于实时问答，要点查验解答为否有视觉支撑、为否事实正确、为否光阴一致；对于主动问答与多响应问答，则要点查验回答时机为否合理、实质为否准确且 grounded。
AURA 之全称为Always-On Understanding and Real-Time Assistance via Video Streams，为一套面向实时视频流之端到端视觉交互框架。
此种方式之好处为，模型之上下文体谅与最终响应来自同一套内部状态，理论上更一致，也更适合繁之敞开式交互。
一为让同一名模型能够逐帧办理视频流，并自立决定为保沉默，还为输出合适之回答； 于视频预办理阶段，团队从公开互联网收集之竞技、vlog、纪录片、百科实质、影视、课程、游戏、动画等多种类别之视频，并一统重采样到 2 FPS，同时转码为 H.264，以提升后续办理之一致性与稳固性。
第二类为Proactive QA，也就为主动式问答。
尽管现有 VideoLLM 已于多名差事上取得不错成绩，但大多数法门仍然建立于 “离线视频体谅” 之范式上：先把整段视频缓存下来，再交给模型一统办理。
论文认为，现有法门要么采用 “触发模型 + 主模型” 之分离式架构，易现触发裁决与最终回答不一致之疑难；要么虽为一统式架构，但更偏连续描述，对繁敞开式问答与长光阴交互之鲁棒性仍然不足。
为之处置此些疑难，论文提出之 AURA：一套基于一统 VideoLLM 之实时视觉交互框架。
此也为此篇工之亮点所于：它不为单点改良，而为把 “流式视频体谅” 当成一名完整体系疑难来做。
二为对沉默类宗旨降权，让 “沉默” 与 “发声” 于操练中保相待均衡。
一面保留最近一段视频窗口，另一面保留最近若干组问答史册。
于确凿流式场景里，大多数光阴模型皆应保沉默，只有于用户提问、场景生枢纽变化，或者用户预先设定之机缘被触发时，才需输出响应。
它望构建之不再为一名 “事后剖析员”，而为一名始终于线之视觉助手：一面延续接收视频流，一面体谅场景变化，于需之时候回答疑难，于应沉默之时候保静，甚至还能于发觉枢纽讯息时主动提醒用户。
简体谅，它把视频流切成一名名小光阴块，并把每名光阴块对应之用户输入、模型回答、以及 “沉默” 状态机构成连续对话。
此样做之意图，为让操练历程尽量贴近确凿于线推演时之输入样貌。
AURA 之操练宗旨叫Silent-Speech Balanced Loss。
每名样本只对应一名需督察之宗旨回答，并昔文史册作为上下文。
此名设计极其枢纽。
上一篇：苹果公司成立50周年之际!库克宣布将卸任苹果CEO 下一篇：陈设宇航动力+太空算力 江苏华辰与东方天算签署方略协作协议