智东西（公众号：zhidxcom）

作者 | 杨畅

编辑 | Panken

7月25日消息，近日，新加坡耶鲁-新加坡国立大学学院副教授罗比报道

谭的研究团队在2021年国际计算机视觉和模式识别会议()上发表了三项研究，介绍了如何利用计算机视觉技术来提高录制过程中受环境因素影响的视频的分析精度。

这三项研究优化了解决视频分析中常见的降雨因子、夜间因子、拥挤环境因子三大问题的方法，可用于提升与计算机视觉相关的应用性能，如监控设备、自动驾驶汽车、视频游戏、体育节目转播等。

第一项研究介绍了研究人员利用帧对齐和深度估计的方法，同时处理雨天录制的视频中主要影响视频清晰度的雨带和雨幕效应。

本文标题为“传输自对准视频脱水-传输深度一致”

深度一致性)，发表于2021国际计算机视觉与模式识别大会(6月19日至6月25日)。

论文地址：

https://open access . the VF.com/content/cvpr 2021/papers/Yan _ Self-Aligned _ Video _

deraining _ wit _ Transmission _ Depth _ Consistency _ CVPR _ 2021 _ paper . pdf

在第二项研究中，研究人员训练了半监督网络，以增加视频的动态范围并抑制光效应，从而更彻底地解决了夜间视频清晰度的问题。

这篇论文的题目是“通过增加动态范围和抑制照明效应来提高夜间可见度”

光效应的动态范围和抑制)，发表在2021年国际计算机视觉和模式识别会议上。

论文地址：

https://open access . the VF.com/content/cvpr 2021/papers/Sharma _ night _ Visibility _ Enhancement _ by _

增加动态范围和抑制CVPR

第三项研究也涉及到环境因素的影响，但不是雨天、夜晚等自然环境因素，而是视频中人群等社会场景因素。研究人员将自上而下和自下而上的方法相结合，提高视频中估计3D人体姿态的准确性，进而提高视频处理效果。

本文的题目是基于自顶向下和自底向上网络的单目三维多人位姿估计

集成自上而下和自下而上的网络)，发表于2021年国际计算机视觉和模式识别会议。

论文地址：

https://open access . the VF.com/content/cvpr 2021/papers/Cheng _单眼_3D_Multi-

通过整合自上而下和自下而上的方法来估计人的姿态

Up_CVPR_2021_paper.pdf

# #一、计算机视觉分析易受环境影响

计算机视觉技术越来越多地应用于自动监控系统、自动驾驶汽车、人脸识别、护理和社交距离工具等领域。

用户需要准确可靠的视觉信息才能充分利用视频分析应用的优势。然而，视频数据的质量通常会受到环境因素的影响，例如拍摄时的下雨或夜间环境，以及视频图像中的人物(一个场景中多个重叠人物的图像)。在实践中，这三个场景可能单独出现，也可能混合出现。

具体来说，下雨降低视频可见性的原因。

雨水条纹部分会遮挡背景外观，导致视频图像场景看起来模糊。雨水积聚就像出现雾一样，会冲淡场景颜色，降低视频整体对比度并产生遮蔽效果。这两者都会降低场景能见度，因此，要获得更好的视频背景场景视觉信息，人们就需要去除视频中雨水条纹和雨水积聚问题。

而晚上拍摄的视频存在的问题，跟在雨中拍摄的视频存在的问题有差异。

夜晚拍摄会受到光照变化和多个人造光源影响，夜间视频图像不仅存在低光区域，还有辉光灯、眩光灯和泛光灯照射区域，这会严重降低图像可见度。因此，通过提高低光区域强度来增强夜间图像可见性，同时抑制夜间光效应（辉光、眩光）是一项重要任务。

除了下雨和夜间等因素影响，当场景中出现很多人对于视频分析来讲也是一大挑战。

由于其对现实世界应用很重要，基于单目（单个相机拍摄的视频）的3D人体姿态估计技术已引起了越来越多关注。但是，这个技术存在挑战，就是当场景中存在多个人时，人多会产生遮挡，导致人体检测错误以及人体关节分组识别不可靠。

为了解决视频分析中遇到的这些影响准确性的环境因素问题，Robby

Tan和来自中国香港城市大学、瑞士苏黎世联邦理工学院和腾讯游戏人工智能研究中心研究人员一起进行了三项研究，分别提高雨天视频、夜间视频和有人群密集场景视频处理准确性。

## 二、研究一：帧对齐和深度估计消除视频中雨水影响

针对雨天录制视频中存在的问题，研究人员先用合成降雨视频（带有地面实况）和真实降雨视频（没有地面实况）来训练对齐网络，然后研究人员使用基于特征的对齐网络去对齐几个连续的输入帧。最后，对齐网络根据相邻帧的对齐特征，删除每一帧中的雨条纹。

处理雨幕问题，研究人员使用了积累网络，利用从视频中获得的深度线索，结合去除雨水条纹的图像，最终输出无雨水影响的图像。

消除下雨环境影响的图像处理流程

从效果上来看三种方法都相较于之前方法有所改进。与现有专注于去除雨水条纹方法不同，新方法可以同时去除雨水条纹和雨幕效果。

从上到下，第一张图时输入（现有方法），中间图显示去除雨痕的中间输出，第三张是使用研究团队新方法去除雨水痕迹和雨幕效果的最终输出

## 三、研究二：半监督网络被用于优化夜间图像

处理夜间视频目标是，通过同时增加动态范围（以处理低光和过度曝光区域）和抑制光效应（辉光、眩光等）来提高其可见性。

研究人员提出一个半监督网络，使用配对图像（高动态范围成像的地面实况）来训练半监督网络以增加动态范围，并使用未配对的图像（没有地面实况）来训练半监督网络以抑制灯光效果，得到两种训练网络。

具体操作是研究人员首先使用线性化网络估计输入夜间图像的逆条件随机场（CRF），获得线性化图像后，将其分解为低频（光场，LF，包含辉光、眩光效果）和高频（同态滤波，HF，包含噪声、纹理等效果）特征图。光场特征图和同态滤波特征图使用训练得到的两个网络来，分别抑制光效应和去除噪声。最后将处理过的光场特征图和同态滤波特征图融合并输出。

消除夜间环境影响的图像处理流程

夜间视频图像新技术同样解决了以前方法处理不彻底的问题：夜间图像以及视频中因为眩光不能被忽视时对于视频清晰度的影响。

上面四张图是研究人员采用新方法，抑制光效并产生增强能见度；下面三张图是现有方法，无法处理的光学效果（如眩光），还错误增强了它

## 四、研究三：结合两种3D人体姿态估计方法，实现更可靠输出

而针对3D人体姿态估计问题，研究人员通过结合两种现有方法（即自顶向下方法和自底向上方法）来估计视频中的3D人体姿态。

自顶向下网络被用来估计每个检测到的边界框内的人体关节，生成联合热图（heatmap）反馈到自底向上网络，自底向上网络同样也进行估计生成图像。最后研究人员将自顶向下和自底向上网络输出的3D估计姿态输入到集成网络中，以获得给定图像序列的最终3D姿态估计图像。

3D人体姿态估计改进流程

3D 人体姿态新方法则可以产生更可靠的姿态估计，并更稳健地处理个体之间距离（或尺度变化）。

从上到下，第一张是输入图；第二张是采取自顶向下方法，受人际遮挡影响；第三张是自底向上方法，对尺寸（3D）变化很敏感；第四张是研究人员提出的新方法

## 结语：避免物理环境干扰，是计算机视觉热点

计算机视觉技术在应用时会受到各种各样的影响，不止是下雨、夜晚或者出现人群等情况，比如白天光线过强、摄像头处于逆光角度等因素也会影响计算机视觉技术的处理效果。有时视频中只会有一种环境因素影响分析准确性，有时会混合出现多种，这种情况下针对每个因素都需要分别研究最优方法，最后才能分因素逐步优化视频分析结果。

计算机视觉是人工智能最广泛的技术方向之一，如何减少物理环境对计算机视觉应用方面影响仍是持续性热点话题。

来源：Yale-NUS College