在人工智能的飞速发展下，计算机视觉（CV）领域正经历着一场革命。随着大模型的崛起，CV领域的应用边界不断拓宽，从图像识别到视频处理，再到三维重建，大模型技术正在改变我们对视觉信息处理的认知。本文将盘点近年来大模型CV领域的一些热门论文，以揭示该领域的最新研究动态。
1. 3D基础模型时代开启？Meta与牛津大学推出VGGT
简介
牛津大学VGG（Visual Geometry Group）与Meta AI团队联合发布的最新研究VGGT（Visual Geometry Grounded Transformer），提出了一种基于纯前馈Transformer架构的通用3D视觉模型。
关键技术
- 端到端推理：仅需一次前向推理，即可预测相机参数、深度图、点云与3D轨迹等核心几何信息。
- Transformer架构：采用大规模3D标注数据与Transformer架构的结合，模型在一次前向传播中即可完成全部几何推理任务。
- 高效性能：推理速度可达秒级，性能显著超越传统优化方法与现有SOTA模型。
实验结果
- 在多个3D任务中性能显著超越传统优化方法。
- 推理速度可达秒级。
相关链接
2. 视频多模态模型——视频版ViT
简介
Google提出的用于视频处理的视觉Transformer模型，在视频多模态领域有重要应用。
关键技术
- Transformer编码器分解：在空间和时间维度上分别对Transformer编码器各组件进行分解，提高模型效率。
- 时空注意力：针对视频长序列标记，提出几种高效模型变体，对输入空间和时间维度分解。
实验结果
- 在多个视频分类基准测试中取得领先成果，超越基于深度3D卷积网络的先前方法。
相关链接
3. RT-DETRv3：实时端到端目标检测算法
简介
百度推出的基于Transformer设计的实时端到端目标检测算法，属于代表模型DETR的魔改进化版。
关键技术
- 多层次的密集正样本辅助监督：通过引入多层次的密集正样本辅助监督方法来提高模型的训练效果和检测性能。
- 自注意力扰动模块：通过多组查询的多样化标签分配，增强解码器的监督。
实验结果
- 在速度和准确性之间取得了很好的平衡，超越了现有的实时检测器。
相关链接
4. AI大模型竞争，本质上是数据的竞争
简介
猎豹移动傅盛认为，AI大模型竞争的本质是数据的竞争，高质量的数据和应用高度结合是制胜的关键。
实验结果
- 猎豹移动在AI数据标注能力和数据服务能力方面具有独特优势，为用户提供定制化的模型、数据标注及应用研发等全流程服务。
相关链接
- 傅盛访谈：新浪科技
总结 大模型CV领域的研究正在不断推进，从3D基础模型到视频多模态模型，再到实时目标检测算法，大模型技术正改变我们对视觉信息处理的认知。同时，数据的竞争也成为大模型CV领域竞争的关键因素。在未来，大模型CV领域将继续保持高速发展态势，为各个行业带来更多创新应用。