数字图像稳定固定相机 - 相关性的方法

简介 H4>这篇文章，我决定读文章«大规模并行图像稳定»，它描述后写算法防抖云台。这一次我实现算法的图像稳定与固定摄像机，它采用的是 IP视频服务器的珠宝盒的事实和 Synesis 的某些其他产品，其中我的工作现在。该算法横空出世在其速度快的特点相当成功。特别是，它是由偏置电流的图像相对于背景的实现非常高效的搜索算法。这个效率被允许使用其基本特征（当然有一些修改）陪伴的对象，并且还以核实它们的固定性。

稳定化算法包括以下主要元件：检测偏差为当前帧时，偏置和定期更新的背景的补偿对其中存在的稳定化。下面我详细的符号为他们每个人。



图。 1图像稳定有时是非常有用的。

检测偏置电流的帧日 h4>的基本方法，它是基于相关的方法来确定的偏置可简要描述如下方法：
1）取在背景图像的中心部分。压痕的大小是由最大可能的确定的偏移，这是我们希望确定。中央部分不宜过小，否则该相关函数（见下文）将没有足够的数据进行稳定的操作。
2）在当前帧中选择的相同大小的部分，但偏移量相对于图像的中心位置。
3）对于每一个被计算描述该背景的中央部分和当前图像之间的相关性的量度的偏移。这可以用于，例如，平方差的和，对于每个点的两个图像的，或者，例如，对于每个点的差分绝对值的总和。
4）的量，最大相关性（小于平方差或绝对差之和）的总和为要求的偏移量的偏移量。


图。 2将当前帧的背景的移位。

自然地，如果该方法被应用到前额，则算法的速度是灾难性的低，甚至尽管事实上的相关函数的速度可以非常高。这并不奇怪，因为我们将需要经过所有图像偏移相对于彼此的可能方案（在该算法的复杂性可以被推定为为O（n ^ 2），其中n - 在图像中的像素数）。

第一优化是使用不是对所有可能的选项的全数调查，并使用最速下降法，在开始时，相关性被计算为零的3×3区域的偏移，然后用最大相关换档选择，并且重复直到直到局部最大值被检测到的处理。这种方法是相当快的，但在大位移最坏的情况下，将有一个复杂性为O（n ^ 1.5），这是不能接受的。


图3.搜索的相关函数的最大值。梯度下降。

该方法摆脱这种局面是利用多尺度影像（每个缩放级别降低了图像的两倍）的。现在搜索我们将寻求规模最大化，然后在一个较小的规模也一直指定本地最大相关性。因此，该算法复杂度降低为O（n）的，这是完全可以接受的。


图4.多尺度影像。

亚像素精度 H4>如果补偿相机抖动的图像像素精度，稳定的形象还是很明显的混蛋。幸运的是它可以是固定的。如果我们仔细分析相关函数的峰值附近的附近（见图3）中，我们可以看到，该函数的值是不是对称于最大，这意味着最大不在，她之间某处的点（2 3）与点（1，4）。如果我们接近附近的抛物面的最大相关函数的行为， A * X ^ 2 + B * X * Y + C * Y ^ 2 + D * X + E * Y + F = 0 B>，确认最大的原产地接任务减少到等参数抛物面的选择在哪些其从实际值在已知点的偏差是最小的。经验表明，用这种方法获得的准确度将澄清的0.1-0.2的顺序。当你摇晃补偿这样的精度，稳定的图像几乎没有抽搐。

补偿偏移日 h4>偏移补偿为​​整个换档如下：将当前的图像上发现的移具有相反符号。背景填充边缘附近空区。对于子像素偏移补偿方法执行双线性插值。在这种情况下，然而，可以是稳定的图像的轻微模糊。如果这是至关重要的，它有可能使用双三次插值法。

更新背景 H4>在后台，你可以只使用任何一帧。然而，稳定的质量，如果使用作为背景平均超过许多图像帧显著改善。背景理想的是周期性地更新，以补偿在所述场景照明可能发生的变化。当更新的背景，你需要确保该背景值足够的对比度和不均匀的。否则，该相关函数不具有明确的峰，这大大降低了稳定剂的准确度。它也是高度期望的是对本移动物体的背景。

工作同步进行运动检测日 h4>如果稳定剂搭配一个运动检测器，更新的背景可以更容易的方法。平时运动探测器已经在它的组成，平均帧数背景资料，其中检测到的运动。相同的图案，可用于稳定的操作。稳定的稳定剂又降低的用于运动检测的假阳性的数目的图像。也可以使用在其工作过程中的运动检测器获取掩模区域与运动的存在的事实。得到的最后一帧上的运动检测器这个掩模，可以使用在该相关函数的计算中排除的区域与运动。其中也有在图像稳定器的工作产生了积极的效果。

该方法的优点： H4> 1）算法的高速。特别是，以稳定的1280×720格式BGRA32处理器核心i7-4470图像分辨率（1芯参与）算法需要1.5毫秒。
2）支付的相机抖动造成的亚像素精度。

在当前实施

该方法的缺点 H4> 1）图像稳定功能只能用于固定摄像机。
2）检测并补偿只有空间转移的摄像头，摄像头转动不补偿。
3）背景必须足够清楚和非均匀的，否则该相关函数不会赶上保持状态。因此，在黑暗中或雾中的稳定将无法正常工作。
4）背景应该是固定的。稳定剂上的行波的背景也是不可能的。

在实际执行 H4>开始

注意，我们注意到，对剪切充分利用只有灰度图像的决心，颜色特征对精度几乎没有影响，但自然地减慢计算。

实现时，理想的是使用稳定剂的优化函数处理图像。我已经用于此目的的图书馆 SIMD 。它尤其可以发现如下：
1）SimdAbsDifferenceSum和SimdAbsDifferenceSumMasked - 用于相关函数的计算。
2）SimdReduceGray2x2，SimdReduceGray3x3，SimdReduceGray4x4和SimdReduceGray5x5 - 为多尺度图像的施工
3）SimdBgrToGray - 灰度图像
。 4）SimdShiftBilinear - 以补偿移
。

查看该算法的结果 H4>例1：


例2：


资料来源： habrahabr.ru/post/219815/