高阶自动驾驶不做选择题：清高分辨率和高处理能力全都要？-全球新消息

自动驾驶系统在发展过程中对感知视觉产生了更多的依赖，主要体现在要求配置的传感器能够产生更大分辨率图像，以便在理解图像的时候能够识别出更多小目标或者容易在常规识别中被大家所忽视的目标。那么有个问题就来了，高分辨率图像也就意味着对图像处理芯片的高要求，这个过程不仅涉及其AI算力（NPU资源），也包括逻辑算力（CPU资源）。

当前很多自动驾驶公司已在着力研发自己的自动驾驶感知算法，算法评价力度主要倾向于如下几个重要的方面：

(资料图片)

1）如何利用合理的图像缩放算法对视频图像合理的缩放（通常又称之为Resize算法），以便为后续神经网络处理提供便利？

2）如何通过合理的规划算法在原图中裁剪（Crop）出远距离目标并进行有效的缩放后处理。该过程可以弥补Resize算法缩放过程中可能造成的远距离小目标丢失问题。

如下图中显示了一种典型的Resize+Crop的视频图像处理方式。其中，原始图像通过两条网络分别进行处理。网络1主要进行Crop操作：聚焦于远距离目标，可提供精确的目标位置。网络2主要进行Resize操作：着力于近距离目标检测。两条网络中检测的结果通过一定的算法进行融合后可以实现对整个图像的有效处理。

其上两个过程通常是在整个自动驾驶数据闭环过程中进行的，开发前期会进行有效的数据采集、清洗、处理等。其中最重要的是如何选择可靠的算法模型对图像进行合理的Resize和Crop。

本文将针对如上两种经典的图像处理算法进行详细解析，并根据解析内容说明如何在后期自动驾驶系统设计中尽最大可能的设置相应的测试用例用于评测其开发算法有效性和可靠性。

0 1

智驾域视频感知中的卷积神经网络

近年来卷积神经网络在自动驾驶视频图像处理过程中取得了长足的发展，其算法中最终的就是提升被训练任务的准确性和高效性。在基于卷积神经网络的应用过程中，图像Resize是必不可少的一个步骤。可以说，图像大小对被训练的任务的准确性和高效识别会产生较大的影响。比如，当前使用的800万像素的摄像机拍摄的高分辨率图像，由于网络模型输入一般没有这么大，像Yolo系列目标检测的网络模型输入大小一般为608x608/512x512 。在其输入图像的大小被调整到一个相对较小的空间分辨率(例如，1920X1080）再进行训练和推理时，往往可以很大程度的减少卷积神经网络中的运算复杂度。

如上图的右侧，红色的输入层代表输入图像，它的宽度和高度就是图像的宽度和高度，它的深度是3（代表了红、绿、蓝3种颜色通道），与红色相邻的蓝色部分是经过卷积和池化之后的激活值（也可以看做是神经元），后面是接着的卷积池化层。可以看出图像分辨率越高，其图像处理的神经元数越多。但在处理高维度图像输入时，让每个神经元都与前一层中的所有神经元进行全连接是不现实的。可以看出，当输入图像分辨率越低，其对应的宽度和高度就越小，这样在卷积池化层里的神经元感受野尺寸（其实就是滤波器的空间尺寸）就越小，这也有利于我们对整个图像的加速处理。

0 2

智驾视频图像处理中的Resize算法解析

如前所述，我们研究的重点是如何将那么大的尺寸图像通过预处理输入到神经网络模型进行有效处理呢？这就需要应用合适的Resize算法。

一般结构化图像缩放裁减Resize包括三个层级：首先是依据滤波器通道剪裁占 40%；其次是依据滤波器三维子单元剪裁占 30% ，随机剪裁占 20%；在满足裁减率的同时需要保证无明显性能损失，剪裁后的稀疏结构和MAC阵列吻合，以便利用稀疏加速。可以说好的Resize方法是提升网络引擎性能，降低功耗的主要因素。

Resize作为图像预处理的一个经典算法步骤，在进行预处理时对图像resize时方法会存在较大的不同。

第一种，采用的是直接resize，就是不保证原始图像长宽比直接对图像进行缩放（缩放类型包括不等比例缩放和等比例缩放两种）。当然，如果在网络模型训练时，所有的训练素材都是直接拉伸到网路的输入尺寸（不保持宽高比例），那么模型推理时也应该如此。一些算法应用框架对细节封装得很好，对原始图像进行Resize的过程被隐藏起来，具体Resize的方式也不得而知。当发现模型集成后的准确性下降严重，就有可能是模型框架对图像Resize的方式跟前期模型训练时不一致导致的。

第二种，通过一些有效的线性或非线性插值算法来实现。Resize操作方法十分丰富，大家最常见应该就是darknet版本的仿射变换函数letterbox仿射变换操作，其处理过程就是计算宽高缩放比例，选择较小的那个缩放系数。比如，针对输入图像大小为3840*2160 Pixels时，选择的图像匹配模板缩放尺寸是640*480，当对其长和宽都除以原始图像的尺寸后，可以得到0.17和0.22两个缩放系数，选择小的缩放系数0.17对图像进行缩放即可。

这里对于图像处理的Resize核心无问题无非有如下几个问题：图像Resize过程，应该选择什么样的插值方式；图像Resize前后，是否应该保持宽高比例一致？图像内容变形是否对模型效果有影响？

对于第一个问题，其实两种方式均可，前提是要保证模型训练和模型推理时的操作方式一致。训练时会对短边进行填充从而保证长宽比，其中保持宽高比例的做法一般是用增加padding的方式，然后用固定颜色填充，这样可以基本保证图像画面中部的内容不变形。随后需要进行合理的Resize处理，通常一般推荐使用直接拉伸的方式去做图像Resize，原因是增加padding填充后会对网络带来一定噪音，影响模型准确性。

至于Resize的插值方法选择，一般有最近邻、双线性、双三次、基于像素区域关系、兰索斯插值等；其各自的实现原理及优缺点如下图：