车内图像处理注意事项:踩过坑才知道的6个细节

分类:新闻中心 编号:

做车载DMS和OMS图像处理这三年,我最大的感受是:车外那套视觉方案搬到车内,八成要翻车。车外目标大、场景相对规整,车内是人脸、是逆光、是随时乱晃的补光灯,变量多到离谱。下面这些坑我都实打实踩过一遍,写出来给同行省点调试时间。

光照是最难缠的对手

车内光照的动态范围比车外还夸张。晴天中午阳光斜射进车窗,驾驶员一侧脸直接过曝,另一侧黑成一团;进隧道那两秒,自动曝光还没收敛,画面已经废了。我做过一组统计,一个2000帧的实车数据包里,因为曝光跳变导致人脸检测丢帧的比例能到11%左右。

车内图像处理注意事项:踩过坑才知道的6个细节

夜间的坑更隐蔽。DMS基本都靠红外补光,850nm方案便宜、灵敏度高,但太阳光里含大量近红外成分,白天户外容易整幅泛白。后来我们把方案换成940nm加窄带滤光片,灰度直方图分布才回到正常区间。代价是同样功率下亮度掉了一截,补光电流得往上调。这个取舍没有标准答案,看你的镜头光圈和曝光时间能给到多少余量。

车内图像处理注意事项:踩过坑才知道的6个细节

镜头位置和状态别想当然

安装角度这件事,差5度结果差很远。转向柱位置装摄像头,方向盘转动时会遮挡下半张脸,视线估计的俯仰角误差能到七八度。后视镜位置视野好,但挡风玻璃反光会把仪表盘倒影叠在人脸区域,尤其是夜间。我们最后的做法是加遮光罩,同时把镜头稍微下倾,避开反光带。

车内图像处理注意事项:踩过坑才知道的6个细节

分辨率也别省。人脸区域在画面里本来就小,驾驶员戴帽子、口罩、墨镜之后可用特征更少。我的经验值是1080p起步,人脸框像素高度不低于80px,低于这个数关键点抖动会明显变大。再往上堆到4K,算力和带宽又吃不消,除非你在域控上跑。

实车标定前,这几项我一般会挨个过一遍:

  • 逆光、隧道进出口、地库出入口三个场景的曝光收敛速度
  • 红外补光在白天强日照下是否造成局部过曝
  • 镜头脏污与起雾检测,别等画面糊了才发现是硬件问题
  • 车辆颠簸时卷帘快门带来的果冻效应,人脸关键点会跟着扭
  • 不同肤色、不同眼镜反光条件下的检测召回率

数据合规不能事后补

车内图像里有人脸、有语音,属于敏感个人信息。我见过项目上线前才想起来处理这事,结果整个数据链路推倒重来。比较稳妥的做法是原始图像只在车端处理,出车的是特征向量或者结构化结果,需要回传样本时做人脸脱敏,并且单独走授权流程。存储周期也要写清楚,别默认永久保留。

还有个小细节:测试阶段录的那些实车数据,很多人随手拷到个人电脑上,这个习惯真的会出事。我们后来统一走加密盘加审批,麻烦是麻烦,但至少睡得着觉。

说到底,车内图像处理拼的不是模型多先进,而是边界条件覆盖得够不够全。光照、位置、合规这三块只要有一块没兜住,后面调算法全是白费功夫。先把采集端的稳定性做扎实,再谈识别精度,这个顺序别搞反。

标签: