7月13日消息，商汤科技正式发布并全面开源 SenseNova-Vision，一个将计算机视觉表述为统一多模态生成的视觉大模型。该模型基于 Bagel-7B-MoT 微调，用单一架构覆盖目标检测、OCR、关键点检测、图像分割、深度估计、表面法线预测、点云重建和相机位姿估计，不引入任何特定任务的预测头或架构修改。同步开源的还有包含 5000 万条样本的训练语料 SenseNova-Vision Corpus（SN-VC-50M）。这是目前公开的规模最大的计算机视觉指令-响应数据集之一。模型在结构化视觉理解任务上超过现有专用系统，在稠密几何预测和分割任务上接近最强专用基线。需要指出的是，这些结果来自论文自评，社区独立复现尚未出现。
核心做法：自然语言指令定义任务，文本和图像生成空间承载输出
SenseNova-Vision 的技术路径是将所有视觉任务转换为统一多模态模型（UMM）的原生文本和图像生成问题。自然语言指令指定任务类型、目标区域和解码规则；模型的输出形式取决于任务性质——检测框、OCR 文本、关键点坐标等符号化结果用文本生成表达，深度图、法线图、分割掩码等稠密空间目标用图像生成表达，混合任务则同时输出文本和图像。这意味着同一个模型用同一个推理流程处理从语义理解到三维几何的全部经典视觉任务，输出格式的差异由指令和解码约定控制，而非由独立的模型架构实现。
模型基于已有的预训练 UMM（Bagel-7B-MoT）进行混合任务微调，训练 5 万步。文本目标走标准交叉熵 loss，图像目标走 VAE 潜空间的 rectified-flow 目标。训练后模型在多模态理解（MMVP 79.0）和文本生成图像（GenEval 0.85）上基本保持了原始基座的能力，没有因视觉任务训练而严重退化。
5000 万条开源语料覆盖四大任务族
SN-VC-50M 是这次发布中可能比模型本身更有长期价值的部分。该语料将公开计算机视觉数据集的异构标注转换为统一的指令-响应格式，覆盖四个任务族：结构化视觉理解（1890 万帧）、稠密几何预测（1730 万帧）、分割（130 万帧）和多视图视觉几何（1250 万帧），总计 73 个数据集-任务条目、10 种任务类型。对于标注不完整的源数据，团队使用 MoGe-2 补全深度和法线标注，使用 LingBot-Depth 补全稀疏深度信息，并对分割数据进行文本-图像对齐验证。
语料以 Apache 2.0 协议发布在 Hugging Face，同时公开了数据源列表、提示模板、转换规则和示例脚本，使得完整语料可复现。
Benchmark 表现：结构化理解领先，几何和分割接近专用模型
在结构化视觉理解上，SenseNova-Vision 在 COCO 通用检测（F1 56.6）、LVIS 长尾检测（54.8）、稠密小目标检测 Dense200（66.8）和 OCR 定位 ICDAR15（49.5）上均超过此前最优的统一模型 Rex-Omni 和 LocateAnything。在稠密几何预测上，NYUv2 深度误差（abs rel 4.0）接近专用几何模型 MoGe-2（3.5），表面法线估计在 NYUv2 上达到 14.4 度平均误差，优于 MoGe-2 的 14.7。在多视图几何上，相机位姿估计接近专用模型 VGGT 和 Depth Anything 3，但重建精度仍有差距。
与近期其他通才视觉模型对比，SenseNova-Vision 在 COCO 检测 mAP（53.7 vs Youtu-VL 的 47.1）、Cityscapes 语义分割 mIoU（71.2 vs Vision Banana 的 69.9）和 RefCOCOg 指代分割 cIoU（80.3 vs Vision Banana 的 73.8）上均有优势。
真正的增量不是某个 benchmark，而是"统一"本身的可行性证明
这篇工作容易被读成"又一个多任务视觉模型"，但它的真正信息增量在于证明了一个此前未被充分验证的命题：经典计算机视觉的全部任务族——从符号化的检测框到稠密的三维几何——可以在一个 7B 参数的通用生成模型中被统一表达，且性能不付出代价性的损失。过去两年，检测有检测的模型，分割有分割的模型，深度有深度的模型，每个任务都需要独立的架构设计和训练流程。SenseNova-Vision 的意义在于它提供了一条将这些能力合并进通用基础模型的工程路径，附带了一套可复用的数据转换方法和 5000 万条开源训练数据。
需要克制的判断：7B 参数级别的模型在部分任务上仍不及专用系统（尤其是多视图重建和全景分割），"统一"带来的便利是否足以抵消与最优专用模型的性能差距，取决于具体应用场景和对单模型推理简洁性的需求程度。此外，模型基于 Bagel（一个社区开源模型）微调而非从头训练，这降低了成本但也意味着模型上限受基座制约。
接下来要看社区复现和规模化验证
SenseNova-Vision 目前只在 7B 参数规模上验证了这条路线。论文未给出更大参数量模型的结果，也未披露在大规模工业视觉流水线中的真实部署表现。社区的下一步验证有两个方向：一是用同样的数据协议和开源语料在其他基座模型上复现统一视觉能力，验证这条路径是否通用；二是观察更大参数规模是否能进一步缩小与专用模型的差距，尤其是在多视图几何等目前仍有代差的任务上。SN-VC-50M 语料的开源使第一个方向立即可执行，这也是此次发布的实质门槛降低所在。
