论文综述：VideoJev——不写答案、直接给候选打分的视频 System One 模型

一、论文是干什么的？

先解释一个背景概念：System One 模型。心理学里常把人的思考分成「系统一」（快、直觉式判断）和「系统二」（慢、一步步推理）。最近 AI 圈出现了一类模型（论文引用的是 TypeSafe AI 的 Jev），它们不像聊天机器人那样一个字一个字地「写」出答案，而是直接给出一个带概率的结构化判断，例如「选 A 的概率 0.92」，软件可以直接拿来用。之前这个思路已经被推广到文本和图片，VideoJev 则是把它推广到视频。

为什么视频需要这样做？设想一个厨房助手机器人在看你做菜，它需要不停地问自己：「盐加了吗？」「现在是第几步？」「刚才切洋葱是在哪几秒？」这些问题的答案其实都很「短」：要么是一个时间区间，要么是 A/B/C/D 中的一个。但现在的视频多模态大模型（MLLM）回答这类问题时，仍然要像写作文一样逐 token 地生成时间戳或答案字母，开启「思考模式」（Thinking）时甚至要先生成很长的推理过程，一个问题可能要花上两分多钟。VideoJev 的做法相当于把「写作文的考生」换成「涂答题卡的考生」：模型照样完整地看完视频、读懂题目，但最后不写字，而是直接给每个候选答案（或每个时间片段）打一个分数。作者把这一能力用在两个任务上：时间定位（temporal grounding，找出某件事发生在视频的哪一段）和多选视频问答（multiple-choice Video QA）。

二、核心方法与创新

1. 一个共享的「候选打分头」

VideoJev 以现成的视频大模型（Qwen3.5-4B 和 Qwen3.6-35B-A3B）为底座做改造：

拿掉「写字」的部分：去掉语言模型最后一层的 MLP 和输出词表的 LM head。作者依据自己之前 FreeRet 工作的观察——最后一层 MLP 之前的特征更适合做语义相似度——把这部分换成一个候选打分器（candidate scorer）。
新增两个特殊 token：<|option_end|> 放在每个候选的末尾，用来「读出」这个候选的表示；<|decide|> 放在候选列表的末尾，用来读出「这道题到底在问什么」的整体决策表示。两者都用预训练模型里 <|im_end|> 的词向量初始化。
打分公式：把决策状态 $h_d$ 和第 $i$ 个候选状态 $h_i$ 分别线性投影到 512 维并归一化为单位向量，再算余弦相似度：

u=\frac{W_q h_d+b_q}{\|W_q h_d+b_q\|_2},\qquad v_i=\frac{W_k h_i+b_k}{\|W_k h_i+b_k\|_2},\qquad s_i=10\,u^{\top}v_i+b

其中缩放系数固定为 10， $b$ 是可学习的标量偏置。打个比方： $u$ 像「题目想要的东西的画像」， $v_i$ 像「每个候选的画像」，两张画像越像，分数 $s_i$ 越高。

输入的排列顺序是：先放视频 token，再放任务说明、问题和候选列表。由于语言模型是因果（从左往右）建模的，每个候选的读出可以看到视频、问题和排在它前面的候选，而 <|decide|> 能看到整个列表。

2. 时间定位：把时间轴切成小格子，逐格判断「是不是」

底座模型会把每两帧压缩成一组（twofold temporal compression），所以论文把时间轴切成 $K$ 个候选区间，每个区间对应一个帧对，用时间戳文本来标识。对每个区间，模型给出一个 sigmoid 概率 $p_i=\sigma(s_i)$ ，表示「这一格属于被问的事件吗」。这有点像在一条时间线上逐格涂色。

训练时用两个损失：

多标签二元交叉熵（BCE），逐格监督「属于/不属于」：

\mathcal{L}_{\mathrm{BCE}}=-\frac{1}{K}\sum_{i=1}^{K}\left[y_i\log p_i+(1-y_i)\log(1-p_i)\right]

Soft IoU 损失：BCE 只管每一格对不对，不直接奖励「把整个事件都覆盖住」，因此再加一个按区间时长 $d_i$ 加权的软交并比损失：

\mathcal{L}_{\mathrm{IoU}}=1-\frac{\sum_i d_i p_i y_i}{\sum_i d_i\left[y_i+p_i(1-y_i)\right]}

分子奖励覆盖事件，分母惩罚涂到事件外面的部分。

推理时，要把一格格的分数拼成一段连续区间。论文用概率阈值 $\tau=0.25$ 调整 logit 后，找「加起来最大的一段连续格子」：

(a^{\star},b^{\star})=\arg\max_{1\leq a\leq b\leq K}\sum_{i=a}^{b}\left[s_i-\log\frac{\tau}{1-\tau}\right]

这正是经典的「最大子段和」问题，用 Kadane 算法在 $O(K)$ 时间内就能解出。若所有调整后的分数都是负的，就退回到分数最高的那一格。 $\tau=0.25$ 在两种规模、所有推理模式、所有实验中保持不变。

3. 多选问答：给选项打分，取最高

每个选项得到一个 logit，经过 softmax 变成概率，用交叉熵训练。为了防止模型「偷懒」记住「正确答案常在 C」这种位置规律，训练时会对每道合格的题目做一个可复现、与答案无关的选项打乱（引用了选项位置或前文的题目除外）。

4. 视频只看一遍，问题可以问很多次

这是 VideoJev 面向「交互」的关键设计。因为视频放在最前面、模型是因果的，视频部分的计算与后面问什么无关，所以可以共享：

Cached inference（缓存推理）：视频编码并 prefill 一次，之后每来一个新问题，就从缓存的视频前缀分出一支，只需对问题和候选再做一次前向。适合问题陆续到来的场景，好比老师已经把课文读熟，学生随时来问都只需要现场想一下题目。
Joint inference（联合推理）：把多个问题及其候选列表依次接在同一段视频前缀后面，每个问题有自己的 <|decide|>，一次前向就给出所有问题的分数。后面的问题能看到前面问题的文本和候选，但不会插入任何参考答案或预测答案，因此不存在「答案泄露」。为了保留 FlashAttention 这类优化内核的好处，论文采用标准因果注意力，不加自定义掩码去隔离各问题（论文 3.4 节原话），因此后面的问题可以看到前面的问题和候选。训练也采用同样的多问题拼接布局。

5. 两阶段训练

借鉴 LLaVA 先对齐投影层的思路：

第一阶段（头部对齐）：冻结语言主干和新 token 的词向量，只训练打分头，使用 30% 的视频；此时定位只用 BCE，问答用 CE。
第二阶段（联合适配）：在剩下 70% 的视频上同时训练语言主干、新 token 词向量和打分头，定位损失变为 $\mathcal{L}_{\mathrm{TG}}=\mathcal{L}_{\mathrm{BCE}}+2\,\mathcal{L}_{\mathrm{IoU}}$ ，问答仍是 CE。

视觉编码器和 merger 全程冻结；每个阶段只跑 1 个 epoch，各自使用独立的优化器和学习率调度。

三、使用了哪些模型和计算资源？

基础模型（底座 MLLM）（来源：论文 2.4 节、GitHub README 的 Models 表）：

VideoJev 模型	底座	类型
VideoJev-4B	Qwen3.5-4B	稠密模型
VideoJev-35B-A3B	Qwen3.6-35B-A3B	MoE 模型（总参数约 35B，激活约 3B）

打分头投影权重用标准差 0.005 的高斯分布初始化，偏置初始为 0。发布的权重格式为 BF16 Safetensors（README）。论文未提及使用任何商业 API（内部选择题语料的构建方式未披露，附录 A.2 还提到一个未点名的纯文本答案提取器）；表 1、表 2 中 GPT-5、Gemini-2.5-Pro、GPT-5.2、Gemini-3-Pro、Claude-Opus-4.5、Seed2.0-Pro 等闭源模型的分数是引用的已发表成绩（表 2 的闭源分数标注引自 Qwen3.5 官方博客与 Seed2.0 模型卡，附录 A.2 也说明其余基线沿用已发表分数），论文没有给出任何 API 调用量或费用，API 成本为「暂无相关信息」。

训练数据（论文 2.4 节）：

时间定位：TimeLens-100K 与 TimeLens2-93K，把标注区间转为候选级标签。
多选问答：内部整理的约 24 万道选择题，覆盖约 1.9 万个视频（游戏、体育、烹饪、音乐舞蹈、户外、手工等），视频时长从 4 分钟到接近 2 小时，每题 4 或 5 个选项。论文称该语料为内部整理；截至 2026-10-16，论文和仓库没有提供下载链接（README 致谢只列出了两个公开的 TimeLens 数据集），因此无法据此完整复现训练数据。
附录 A.3 给出合并后的规模：训练分区共 404,037 道题、58,424 个视频。

训练算力与超参数（论文 3.1 节）：

硬件：64 张 NVIDIA H200 GPU，BF16 计算，两种规模都是这一配置。
全局 batch 为 64 条打包序列；训练视频 2 fps 采样，最长序列 144K token，视觉 token 预算占 80%。
AdamW，weight decay 0.01，梯度裁剪 1.0；每阶段 5% warm-up 后余弦衰减到峰值的 10%。
学习率：打分头在第一阶段为 $3\times 10^{-4}$ ，第二阶段为 $10^{-4}$ ；语言主干在第二阶段为 $5\times 10^{-6}$ （4B）或 $2\times 10^{-6}$ （35B-A3B）。
两个阶段分别跑 160 和 375 次优化器更新。
分布式：4B 用 DeepSpeed ZeRO-2，35B-A3B 用 ZeRO-3。GitHub README 说明训练代码基于 XTuner，示例启动命令为单机 8 卡 torchrun。
自回归对照模型（附录 A.3）：Qwen3.5-4B 原生结构，用 XTuner FSDP2 训练 1 个 epoch，共 546 次更新，学习率 $5\times 10^{-6}$ 。

训练耗时：论文只给出更新步数，没有给出每次训练的墙钟时间、GPU 小时数或每步耗时，为「暂无相关信息」。

推理硬件与耗时（论文 3.1 节、附录 A.1，均为单张 H200、batch size 1，只计模型前向时间，包括视觉编码、prefill 和全部解码步，不含视频读取解码、预处理、数据传输与后处理）：

测量单位	VideoJev-4B	VideoJev-35B-A3B	对应底座
Charades 全测试集，每个定位查询（1,313 个视频、3,363 个查询）	0.276 秒	0.336 秒	Qwen3.5-4B 0.763 秒；Qwen3.6-35B-A3B 1.054 秒
LVBench 全测试集，每道问答（103 个视频、1,549 题）	1.123 秒	1.493 秒	Qwen3.5-4B Thinking 144.929 秒；Qwen3.6-35B-A3B Thinking 149.777 秒
同一视频连续 10 个查询（图 3，4B，Joint inference；问答计时在 Video-Holmes 抽样的 40 个视频上测得，准确率取自 LVBench 全集）	定位 0.39 秒；问答 1.64 秒	暂无相关信息	Qwen3.5-4B Instruct 10 个定位查询 5.98 秒；Qwen Thinking 10 个问答 1,393 秒

按上表的每查询时间乘以查询数，可以推算跑完一次完整基准的累计模型前向时间（本综述推算，不是论文直接给出的数字，且不含预处理等开销）：VideoJev-4B 跑完 Charades 约 15.5 分钟、35B-A3B 约 18.8 分钟；跑完 LVBench 时 VideoJev-4B 约 29 分钟、35B-A3B 约 38.5 分钟，而 Qwen3.5-4B Thinking 约 62.4 小时、Qwen3.6-35B-A3B Thinking 约 64.4 小时。

部署环境（README）：Python 3.12、PyTorch 2.8 / CUDA 12.8、Triton 3.4、FlashAttention 2、causal-conv1d，需 trust_remote_code=True 加载。论文附录 A.1 说明测速时 VideoJev 的打分头（以及 35B-A3B 的 MoE router）保留 FP32 精度。

四、实验结果

评测设置：时间定位用 TimeLens-Bench 修订标注版本的 Charades-STA、ActivityNet Captions、QVHighlights，指标为 R1@0.3/0.5/0.7 和 mIoU；问答用 LVBench（1,549 题）、Video-MME（2,700 题）、LongVideoBench 验证集（1,337 题）、MLVU 开发集 7 个选择题任务（2,174 题），只输入视频帧，不用字幕和音频。问答统一用 256K（262,144 token）上下文，最多 2,048 帧。

1. 时间定位（表 1，mIoU，三个基准平均）

模型	Charades	ActivityNet	QVHighlights	平均	每查询延迟
GPT-5	40.5	42.9	56.8	46.7	–
Gemini-2.5-Pro	52.8	58.1	70.4	60.4	–
Qwen3.5-4B	52.3	55.6	67.9	58.6	0.763 秒
TimeLens2-4B	57.7	59.0	69.3	62.0	0.646 秒
VideoJev-4B	60.1	62.8	73.2	65.3	0.276 秒
Qwen3.6-35B-A3B	47.3	56.0	67.5	56.9	1.054 秒
VideoJev-35B-A3B	63.7	65.5	74.0	67.7	0.336 秒

大白话：VideoJev-4B 比自己的底座平均高 6.7 分、比专做时间定位的 TimeLens2-4B 高 3.3 分；35B-A3B 比底座高 10.8 分。最严格的 R1@0.7 指标上，4B 版比 TimeLens2-4B 高 2.8 到 4.8 分，说明定位边界更精确。同时延迟只有底座的约三分之一（2.8 到 3.1 倍提速），而且这里的对比基线也共享了视频 prefill，所以加速主要来自「不用逐 token 生成时间戳」。在本表中，两个开源 VideoJev 模型的平均 mIoU 也高于表中引用的 GPT-5 与 Gemini-2.5-Pro。

2. 多选视频问答（表 2，四基准平均）

模型	LVBench	Video-MME	LongVideoBench	MLVU	平均	每题延迟
Qwen3.5-4B Instruct	60.0	70.6	61.2	73.3	66.3	1.355 秒
Qwen3.5-4B Thinking	66.4	76.9	73.6	82.8	74.9	144.929 秒
VideoJev-4B	67.9	75.0	73.6	80.6	74.3	1.123 秒
Qwen3.6-35B-A3B Instruct	66.0	77.1	72.4	79.5	73.8	2.379 秒
Qwen3.6-35B-A3B Thinking	71.4	82.5	74.9	86.2	78.8	149.777 秒
VideoJev-35B-A3B	73.4	81.8	77.1	85.9	79.5	1.493 秒

大白话：比起不思考的 Instruct 模式，VideoJev 平均高 8.0 分（4B）和 5.7 分（35B-A3B）；和「先写一大段推理再作答」的 Thinking 模式比，4B 只差 0.6 分，35B-A3B 反而高 0.7 分，但速度分别快 129 倍和 100 倍。细看会发现：VideoJev 在 LVBench 上胜过 Thinking，在 LongVideoBench 上持平或更好，但在 Video-MME 和 MLVU 上 Thinking 仍然更强。闭源模型方面，多个模型在部分基准上仍高于 VideoJev-35B-A3B：Gemini-3-Pro 在 LVBench（76.2）和 Video-MME（87.7）上更高，GPT-5.2（73.7 与 85.8）也高于它的 73.4 与 81.8，Seed2.0-Pro 在 LVBench（76.4）和 LongVideoBench（80.3 对 77.1）上同样更高。

3. 消融实验（均在 VideoJev-4B 上）

实验	结论
同数据自回归对照（表 3）	用完全相同的数据单阶段微调普通 Qwen3.5-4B 让它「写」区间或答案字母，VideoJev 仍高出定位 1.3 分、问答 1.9 分，说明收益不只是来自数据
Joint 与 Cached 推理（表 4）	Joint inference 反而更好：4B 定位/问答平均高 0.8/0.5 分，35B-A3B 高 0.3/0.7 分，14 项比较中 13 项提升，只有 35B-A3B 的 QVHighlights 降 0.1 分
联合训练两任务（表 5）	与单任务训练相比，7 个基准全部提升，定位平均 +0.7、问答平均 +1.3，LongVideoBench 提升最大（+1.9）
Soft IoU 损失（表 6）	定位平均 mIoU 从 60.7 升到 65.3（+4.6），连问答也从 73.9 升到 74.3
去掉最后一层 MLP（表 7）	去掉后定位、问答各高 0.2 分，基本持平，按奥卡姆剃刀采用更简单的设计
两阶段与单阶段（表 8）	单阶段在定位上高 0.1、问答上高 0.4（主要来自 MLVU），两者大致相当；两阶段只用 70% 视频更新主干，更省算力

4. 多问题扩展与置信度

问题越多越划算（图 3）：同一视频的查询数从 1 增加到 10，Joint inference 的前向时间只增加 55 毫秒（定位）和 31 毫秒（问答）。10 个查询时 Joint 用 0.39 秒和 1.64 秒，Cached 用 0.85 秒和 2.17 秒。自回归模型的 Direct 模式（只预测一个选项 token）虽然也能联合处理，但准确率从 60.0% 掉到 58.7%，低于 VideoJev 在相近延迟（1.64 秒对 1.67 秒）下的 67.9%。
置信度有用但偏自信（图 4）：在 LVBench 上，35B-A3B 对 591 道置信度不低于 99% 的题目答对率达 95.8%（总体为 73.4%），这提示高置信筛选可能有价值（例如高置信直接用、低置信转交给更强的推理模型），但这是综述者的设想；论文并未验证这种路由策略，仍需校准和独立验证。但四个基准平均的期望校准误差（ECE）为 8.65 个百分点（4B）和 8.13 个百分点（35B-A3B），即概率普遍高估了正确率。论文没有做任何专门的校准训练。

五、潜在应用与已落地应用

论文自己描述的方向（第 5 节 Future Work）：

把候选打分接口推广到动作识别、事件检测、场景状态分类、视觉条件核验等任务，减少对任务专用模型和预测头的依赖。
「系统二负责规划、系统一负责判断」：上层智能体把开放目标按标准作业流程（SOP）或生成的计划拆成一个个视觉核查项，交给 VideoJev 打分，再据此规划下一步。作者列出的场景包括流程监控、交互式助手、具身智能体、电脑操作（computer-use）智能体。
流式输入：需要增量视觉编码、内存管理和及时更新决策上下文，目前尚未实现。

已开源与可试用的内容：

代码仓库 MCG-NJU/VideoJev（Apache-2.0），包含训练、评测与推理代码，predict_video 接口可一次传入多个定位与选择题。
模型权重：VideoJev-4B 与 VideoJev-35B-A3B。查询时（2026-10-16）Hugging Face API 显示下载量分别为 328 和 90，点赞 18 和 13。
项目主页。
社区演示：Hugging Face 员工 apolinario 在仓库 issue 中说明，他基于 VideoJev-4B 在免费 ZeroGPU 上搭建了 Hugging Face Space 演示（页面可访问，非作者官方维护）。

已落地情况： 论文与仓库均未报告任何生产环境部署或商业产品案例。下面是本综述的推测，不是论文结论：对需要对同一段监控或操作视频反复做「是否发生」「在哪一段」判断的场景（如流程合规检查、视频检索预筛），这种「一次编码、批量打分」的方式在成本上很有吸引力；但它目前只能在给定候选中选择，不能生成开放式回答。

与姊妹工作 Jeva 的关系： 同一周的 HF 热门论文 Jeva: System One Models from First Principles 也研究 System One 模型，但关注的是决策结构本身（能区分「无答案」、对选项顺序不敏感、可扩展到上千候选、可缓存）。VideoJev 的参考文献中并未引用 Jeva，（根据从未互引推断）两者应为独立工作；值得注意的是，VideoJev 的候选读出本身基于因果注意力（每个候选能看到排在它前面的候选），所以不保证对选项顺序不变（作者靠训练时打乱选项来缓解位置偏差），这正是 Jeva 所强调的「permutation-invariant」性质的反面，读者可以对照阅读。

六、网络上的讨论与评价

Hugging Face 论文页：共 3 条评论。第一作者 ZhuYuhan 发帖介绍模型并附代码与权重链接；另两条分别是 ResearchStudio 机器人自动生成的海报、视频与博客，以及 Librarian Bot 推荐的相似论文（如 OneStreamer、SPARE、StreamScout）。没有看到其他读者的实质性讨论。
GitHub 仓库：查询时有 148 个 star、5 个 fork、2 个 issue。一个是上面提到的 HF 演示 Space；另一个是 Hugging Face 的 Niels Rogge 将论文的 7 项评测结果录入 Papers with Code，称 VideoJev-35B-A3B 目前在 ActivityNet-TimeLens、Charades-TimeLens、QVHighlights-TimeLens 三个榜单排名第一，在 LongVideoBench 排名第四，并请作者核对。两个 issue 查询时均无回复。
X/Twitter：据 Digg AI 的聚合页，Aran Komatsuzaki 和 AK（@_akhaliq）发帖介绍了该论文，聚合页显示合计约 811 个赞、22 条评论、116 次转发、5.63 万次浏览，并标注「讨论尚不充分」。X 页面本身需要登录，本综述无法直接核实这些数字。
新闻与博客：俄语的 Neurohive、德语的 Mind-Verse、英文的 RuntimeWire 以及 OrcaRouter 博客等都有报道，大多是复述论文。其中较有价值的评价：
- OrcaRouter 指出，VideoJev 的核心结果来自作者自己的评测框架，尚无第三方复现；概率校准误差约 8 个百分点，分数适合排序但不宜直接当作概率；部署依赖 PyTorch 2.8、CUDA 12.8、FlashAttention 2 和 trust_remote_code，目前也没有 vLLM 或 SGLang 支持。该博客还称 35B 配置以 FP32 运行，但按论文附录 A.1 的原文，保留 FP32 的只是 MoE router 和决策头，权重本身是 BF16，这一说法不够准确。
- Neurohive 归纳的局限包括：不能生成自由文本答案、只能输出单一连续区间（不支持多段事件）、尚不支持流式视频、小物体计数较弱，以及延迟只统计 H200 上的模型前向、不含视频解码。这些都能在论文原文中找到依据。
Hacker News：通过 Algolia 接口按 VideoJev 与 arXiv 编号检索，未找到相关帖子。
Reddit、知乎、机器之心、量子位：Reddit 对脚本和 Playwright 无头浏览器均返回拦截页，知乎要求登录；网页搜索未发现相关中文媒体报道或讨论，暂无发现。
本综述基于原文的几点观察（非外部评价）：
- 延迟只统计模型前向，并且是 batch size 1；对生成式基线，表 2 的准确率是「每题独立回答」测得的，而延迟则是「共享视频前缀」测得的，两者协议不同，论文在附录 A.2 中明确说明了这一点。
- 「比 Thinking 快 100 倍以上」是与需要生成长推理链的模式比较；与不思考的 Instruct 模式相比，VideoJev 在问答上的延迟优势并不大（4B：1.123 秒对 1.355 秒），主要优势是准确率更高。
- 训练用的 24 万道选择题是内部数据，外部无法完整复现训练过程。
- Qualitative 案例中作者也展示了失败：两种规模都在 Video-MME 的一道「数书本」小物体计数题上答错。

七、思维导图

mindmap
  root((VideoJev 视频 System One 模型))
    研究背景与问题
      视频MLLM靠自回归生成时间戳与答案 Thinking每题约145到150秒
      智能体需对同一视频反复提问 视觉计算应复用
      System One范式 Jev类型化概率判断 推广到视频
    统一候选打分架构
      去掉最后一层MLP与LM head 换成candidate scorer
        新token option_end与decide 由im_end初始化
        512维投影归一化 s_i=10 u·v_i+b
      时间定位 帧对区间作候选 sigmoid成员概率
        阈值tau=0.25 Kadane最大子段和 O(K)解码
      多选问答 softmax选项概率 训练时打乱选项去位置偏差
      视觉计算复用
        Cached inference 视频prefill一次 问题逐个分支
        Joint inference 多问题一次因果前向 不插入答案
    训练配方
      损失 BCE加2倍Soft IoU 问答用CE
      两阶段 先只训头30%视频 再联合适配70%视频
      数据 TimeLens-100K TimeLens2-93K 内部24万选择题1.9万视频
      64张H200 BF16 160与375次更新 ZeRO-2与ZeRO-3
    实验结果
      时间定位 Charades ActivityNet QVHighlights
        4B平均mIoU 65.3 比Qwen3.5-4B高6.7
        35B-A3B 67.7 比底座高10.8 提速约3.1倍
      视频问答 LVBench Video-MME LongVideoBench MLVU
        4B 74.3 35B-A3B 79.5 比Thinking快129与100倍
      消融结论
        同数据AR SFT对照 定位高1.3 问答高1.9
        Soft IoU带来4.6 mIoU 两任务联合训练互惠
        Joint优于Cached 14项比较中13项提升
    局限与展望
      ECE为8.65与8.13 概率偏自信 未做校准训练
      只能闭集候选 单一连续区间 小物体计数失败
      未来 流式输入 System Two规划加System One判断