遥感目标检测的合成数据怎么做?可控视频生成模型也许是条路子
原创
mapxiaotu
mapxiaotu
空天感知
2026年11月13日 08:34
中国香港
去阅读
(原文上周发过,不知何故被限流了,基本没有阅读量,重新发一遍)
先看底下的视频,如果我说这个视频是完全自动生成,标签也是自动生产,是否会感觉有些惊艳~
已关注
关注
重播 分享 赞
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏
空天感知已关注
分享视频
,时长00:05
0/0
00:00/00:05
切换到横屏模式
继续播放
[ ]
进度条,百分之0
播放
00:00
/
00:05
00:05
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
继续观看
遥感目标检测的合成数据怎么做?可控视频生成模型也许是条路子
观看更多
转载
,
遥感目标检测的合成数据怎么做?可控视频生成模型也许是条路子
空天感知已关注
分享点赞在看
已同步到看一看写下你的评论
视频详情
这就是本文要带来的利用视频生成模型进行标注样本自动生产。
最近有做目标检测和巡检算法的朋友聊起:想搞一些长尾极端场景的算法测试,但数据实在太难采了。在现实业务中,有些样本不仅采集成本极高,很多时候根本碰不到。
大家通常会想到两种路子:
一种是搞传统三维仿真(UE等),自己搭模型渲染真实场景,但周期长、成本高;
另一种是最近火热的视频大模型。单靠文字 Prompt 生成图像视频,但是生成内容不可控。
我想了想,单纯文生视频的“不可控”在于它缺乏三维物理刚性;而纯三维CG的软肋是缺乏真实神经渲染质感。与其二选一,不如把两者拆解分工:
在视频生成前,先用三维软件在空间里定好刚体几何与相机轨迹;把真实的物理质感与气象环境交给视频模型来生成;在此过程中同步解算标注,做到“生成即标注”。
正好最近MiniMax团队联系我,探讨如何用大模型辅助做目标检测,于是用他们的H3视频生成模型做了测试。
这两天抽空把整套流程跑通了,做了一些普适场景的小试验,简单分享如下。
SECTION
1. 空间先验确定几何,生成式模型产出成果
大模型本身是没有空间坐标概念的,单纯文字描述根本无法稳定约束车辆的相对间距与航向角。
因此,核心逻辑就是先立骨架,再填神经物理质感,并在生成链路中完成标注提取:
- 三维引擎负责定几何
在 Blender 里不花精力做精细贴图,而是严格标定物理相机与目标刚体:真实视场角、相机高度、俯仰角,以及车辆的刚体外框和运动轨迹。在三维空间中形成确定性的几何参照。
Blender三维空间先验与刚体几何约束视口
- MiniMax 负责视频渲染
将带有空间约束的先验信息交由国内的 MiniMax 视频大模型 处理。MiniMax 沿着预设的空间轨迹走,同时自发补足了复杂的流体粒子(扬尘、尾迹)、光影漫反射与传感器噪声,画面质感自然。
- “生成即标注”:无需事后人工介入
这套流程最核心的收益是自动标注。因为相机的透视投影矩阵与目标三维空间位姿在生成前就是已知的,在生成过程中直接同步完成空间向像素平面的投影解算,自动生成标准的旋转框(OBB)。
视频生成完毕的同时,DOTA / YOLO-OBB 格式标注也同步产出,彻底告别了事后逐帧人工拉框。
SECTION
2. 几个普适场景的实际测试
为了验证效果,我挑了几个常见的巡检场景做了跑测:
案例 1:低空无人机车队巡检
- 对标场景
低空 200 米光电吊舱、45° 俯角。
* **实测效果
已关注
关注
重播 分享 赞
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏
空天感知已关注
分享视频
,时长00:05
0/0
00:00/00:05
切换到横屏模式
继续播放
[ ]
进度条,百分之0
播放
00:00
/
00:05
00:05
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
继续观看
遥感目标检测的合成数据怎么做?可控视频生成模型也许是条路子
观看更多
转载
,
遥感目标检测的合成数据怎么做?可控视频生成模型也许是条路子
空天感知已关注
分享点赞在看
已同步到看一看写下你的评论
视频详情
低空无人机车队巡检仿真与自动OBB标注**
这个场景里,重型卡车在荒漠行进时车轮扬起的半透明黄沙羽流自然向后弥散,透光感很强。
案例 2:卫星遥感视频小目标跟踪
- 对标场景
轨道高度 500km,真天底正射视角,GSD 约 0.8 米。
* 实测效果
已关注
关注
重播 分享 赞
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏
空天感知已关注
分享视频
,时长00:05
0/0
00:00/00:05
切换到横屏模式
继续播放
[ ]
进度条,百分之0
播放
00:00
/
00:05
00:05
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
继续观看
遥感目标检测的合成数据怎么做?可控视频生成模型也许是条路子
观看更多
转载
,
遥感目标检测的合成数据怎么做?可控视频生成模型也许是条路子
空天感知已关注
分享点赞在看
已同步到看一看写下你的评论
视频详情
真实卫星遥感视频立交桥小目标自动追踪与OBB标注
在轨卫星真天底俯视。在 0.8m GSD 下,车辆呈现为 10~20 像素的微小长方形,并伴随真实星载相机的点扩散与大气微弱薄雾。
(这个视频有点翻车,车在空中飘😁)
案例 3:机载长波热红外夜视车队
- 对标场景
深宵高空,长波红外(LWIR)白热模式。
* 实测效果
已关注
关注
重播 分享 赞
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏
空天感知已关注
分享视频
,时长00:05
0/0
00:00/00:05
切换到横屏模式
继续播放
[ ]
进度条,百分之0
播放
00:00
/
00:05
00:05
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
继续观看
遥感目标检测的合成数据怎么做?可控视频生成模型也许是条路子
观看更多
转载
,
遥感目标检测的合成数据怎么做?可控视频生成模型也许是条路子
空天感知已关注
分享点赞在看
已同步到看一看写下你的评论
视频详情
机载长波热红外白热模式夜视车队仿真与OBB标注
长波红外的重点在于热辐射对比度。生成画面中,高速摩擦的轮胎和发动机排气格栅呈现白热高亮,中段装甲板呈现中等灰度,冷凝荒野背景则是暗部,比较符合 FLIR 热力学特征。
当然以上合成视频还多多少有些细节问题,但相比单纯UE搭建或者豆包生图,成本与可控性都要好很多。
SECTION
3. 小结
折腾完这套链路,最大的体会是:生成视频只是表象,关键在于解决标注的确定性。
之前我一直没有测试图像/视频生成模型,是因为自己觉得丢失物理特性,但是前一阵看到Google发布的论文讲,图像生成模型天然自带了世界的物理性质,是掌握了这方面知识的,所以只要做到足够的输入约束,理论上可以将合成数据做的更好。
借助三维先验做刚性约束,再让大模型生成质感,不仅大幅压缩了时间成本,更重要的是实现了“生成即标注”。当然这个过程还需要更多的优化,比如怎么做到自定义的目标输入和物理约束等等。
更重要的是,也还要真正做下消融,看看这个合成数据是否真的带来指标提升。
Minimax的视频模型确实很优秀~推荐大家都去尝试
各位同行如有更好的思路,请随时交流指正。如有做此方向的研究,也欢迎共同研究合作。
联系作者:mapxiaotu
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。











评论