光流法学习「建议收藏」

全栈程序员-站长 • 2022年7月1日下午11:16 • 未分类 • 阅读 26

大家好，又见面了，我是你们的朋友全栈君。

光流的计算

光流估计就是指利用时间上相邻的两帧图像，得到点的运动。满足以下几点假设：

前后两帧点的位移不大（泰勒展开）
外界光强保持恒定。
空间相关性，每个点的运动和他们的邻居相似（连续函数，泰勒展开）

在相邻的两帧图像中，点 $(x, y)$

光流法学习「建议收藏」

从这个式子出发，我们将其利用Taylor展开做一阶线性近似。其中 $I_{x}$

光流法学习「建议收藏」

上面两式联立，可以得到，

　　　　　　　　光流法学习「建议收藏」

上式中，光流法学习「建议收藏」 $I_{x}$

上面就是光流估计的基本思想。上述式子虽然给出了光流估计的思路，但是还是没有办法解出位移量。

L-K方法

Lucas-Kanade方法是一种具体的求解方法。L-K方法依据相邻像素之间的位移相似的假设，通过一个观察窗口，将窗口内的像素点的位移看做是相同的，建立了一个超定方程，使用最小二乘法进行求解。下面是观察窗口为 $5 \times 5$

$5 \times 5$

使用最小二乘法求解，可以得到如下的式子，求和号代表是对窗口内的每一个像素点求和。

光流法学习「建议收藏」

上式即是L-K方法求解光流估计问题的方程。

金字塔方法

在最开始的假设中，第一条指出点的位移应该是较小的。从上面的分析可以看出，当位移较大时，Taylor展开式一阶近似误差较大。其修正方法就是这里要介绍的金字塔方法。我们通过将图像降采样，就能够使得较大的位移在高层金字塔图像中变小，满足假设条件1.如下所示。

光流法学习「建议收藏」

求像素梯度

而图像是一个二维函数f(x,y)，其微分当然就是偏微分。因此有：

　　光流法学习「建议收藏」

因为图像是一个离散的二维函数， $ϵ$

光流法学习「建议收藏」

这分别是图像在(x, y)点处x方向和y方向上的梯度，从上面的表达式可以看出来，图像的梯度相当于2个相邻像素之间的差值。

梯度的方向是函数f(x,y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小，图像处理中把梯度的模简称为梯度，由图像梯度构成的图像成为梯度图像(we can get the gradient image through computing the gradient of each pixel in the image)
经典的图像梯度算法是考虑图像的每个像素的某个邻域内的灰度变化，利用边缘临近的一阶或二阶导数变化规律，对原始图像中像素某个邻域设置梯度算子，通常我们用小区域模板进行卷积来计算，有Sobel算子、Scharr 算子(opencv)、Robinson算子、Laplace算子等。

Opencv求光流函数　　　

函数位置opencv-2.4.9/modules/video/src/lkpyramid.cpp

void cvCalcOpticalFlowPyrLK(
                            const CvArr* prev,
                            const CvArr* curr,
                            CvArr* prevPyr,
                            CvArr* currPyr,
                            const CvPoint2D32f* prevFeatures,
                            CvPoint2D32f* currFeatures,
                            int count,
                            CvSize winSize,
                            int level,
                            char* status,
                            float* track error,
                            CvTermCriteria criteria,
                            int flags );

1. 光流估计 https://xmfbit.github.io/2017/05/03/cs131-opticalflow/

2. 图像梯度的基本原理 https://blog.csdn.net/saltriver/article/details/78987096

3. 数字图像的梯度概念以及计算(the gradient of the image) https://blog.csdn.net/computer_liuyun/article/details/21328753

4. opencv入门12:梯度和边缘检测-GRADIENTS AND EDGE DETECTION https://harveyyeung.github.io/2018/05/11/PracPythonOpenCV/PracPythonOpenCV12/#espandi

5. Lucas-Kanade算法原理介绍及OpenCV代码实现分析 https://blog.csdn.net/banyao2006/article/details/39484113#commentBox

6. [learning opencv]第十章跟踪与运动：金字塔Lucas-kanade(cvCalcOpticalFlowPyrLK)检测光流 https://blog.csdn.net/moc062066/article/details/6636106

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/155021.html原文链接：https://javaforall.net

光流法学习「建议收藏」

光流的计算

L-K方法

金字塔方法

求像素梯度

Opencv求光流函数

相关推荐

104规约笔记「建议收藏」

银行家算法C++实现

mysql导入Excel表格中文表头_把一个表里的数据导入另一个表

深入理解适配器设计模式（java版本）

产品经理面试内容_产品专员简历

linux amd显卡驱动画面撕裂,从此告别画面撕裂 AMD-FreeSync技术解析

发表回复

Opencv求光流函数　　　