OpenCV如何实现背投

返回:OpenCV系列文章目录（持续更新中......）

上一篇：OpenCV直方图比较

下一篇 :OpenCV系列文章目录（持续更新中......）

目标

在本教程中，您将学习：

什么是背投以及它为什么有用
如何使用 OpenCV 函数 cv::calcBackProject 计算背投
如何使用 OpenCV 函数 cv::mixChannels 混合图像的不同通道

理论

什么是背投？

背投是一种记录给定图像的像素与直方图模型中像素分布的拟合程度的方法。
为简化起见：对于“背投”，您可以计算要素的直方图模型，然后使用它在影像中查找此要素。
应用示例：如果您有肉色直方图（例如，色相饱和度直方图），则可以使用它来查找图像中的肉色区域：

它是如何工作的？

我们通过使用皮肤示例来解释这一点：
假设您已经根据下图获得了皮肤直方图（色相饱和度）。此外，直方图将是我们的模型直方图（我们知道它代表了肤色的样本）。您应用了一些蒙版来仅捕获皮肤区域的直方图

现在，让我们想象一下，你得到另一个手部图像（测试图像），如下所示：（及其各自的直方图）：
我们想要做的是使用我们的模型直方图（我们知道它代表皮肤色调）来检测测试图像中的皮肤区域。步骤如下
1. 在我们的测试图像的每个像素即p（i，j）中，收集数据并找到该像素的相应箱位置即 h{i，j}, s{i，j} ）。
2. 在相应的 bin 中查找模型直方图 h{i，j}， s{i，j} - 并读取 bin 值。
3. 将此图柱值存储在新图像（BackProjection）中。此外，您可以考虑先对模型直方图进行归一化，以便您可以看到测试图像的输出。
4. 应用上述步骤，我们得到以下测试图像的 BackProjection 图像：

在统计方面，存储在 BackProjection 中的值表示测试图像中的像素属于皮肤区域的概率，基于我们使用的模型直方图。例如，在我们的测试图像中，较亮的区域更有可能是皮肤区域（实际上确实如此），而较暗区域的可能性较小（请注意，这些“黑暗”区域属于带有一些阴影的表面，这反过来又会影响检测）。

C++代码

这个程序是做什么的？
- 加载图像
- 将原始格式转换为 HSV 格式，并仅分离用于直方图的 Hue 通道（使用 OpenCV 函数 cv::mixChannels )
- 让用户输入用于计算直方图的箱数。
- 计算直方图（并在条柱更改时更新它）和同一图像的背投。
- 在窗口中显示背投和直方图。

可下载代码：
- 单击此处获取基本版本（在本教程中解释）。
- 对于稍微花哨的东西（使用 H-S 直方图和 floodFill 为皮肤区域定义蒙版），您可以查看改进的演示
- ...或者，您可以随时查看示例中的经典 CamshiftDemo。
代码一览：

#include "opencv2/imgproc.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
 
#include <iostream>
 
using namespace cv;
using namespace std;
 
Mat hue;
int bins = 25;
 
void Hist_and_Backproj(int, void* );
 
int main( int argc, char* argv[] )
{
 CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
 samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
 Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
 if( src.empty() )
 {
 cout << "Could not open or find the image!\n" << endl;
 cout << "Usage: " << argv[0] << " <Input image>" << endl;
 return -1;
 }
 
 Mat hsv;
 cvtColor( src, hsv, COLOR_BGR2HSV );
 
 hue.create(hsv.size(), hsv.depth());
 int ch[] = { 0, 0 };
 mixChannels( &hsv, 1, &hue, 1, ch, 1 );
 
 const char* window_image = "Source image";
 namedWindow( window_image );
 createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
 Hist_and_Backproj(0, 0);
 
 imshow( window_image, src );
 // Wait until user exits the program
 waitKey();
 
 return 0;
}
 
void Hist_and_Backproj(int, void* )
{
 int histSize = MAX( bins, 2 );
 float hue_range[] = { 0, 180 };
 const float* ranges[] = { hue_range };
 
 Mat hist;
 calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
 normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
 
 Mat backproj;
 calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );
 
 imshow( "BackProj", backproj );
 
 int w = 400, h = 400;
 int bin_w = cvRound( (double) w / histSize );
 Mat histImg = Mat::zeros( h, w, CV_8UC3 );
 
 for (int i = 0; i < bins; i++)
 {
 rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
 Scalar( 0, 0, 255 ), FILLED );
 }
 
 imshow( "Histogram", histImg );
}

解释

读取输入图像：

CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
 samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
 Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
 if( src.empty() )
 {
 cout << "Could not open or find the image!\n" << endl;
 cout << "Usage: " << argv[0] << " <Input image>" << endl;
 return -1;
 }

将其转换为 HSV 格式：

 Mat hsv;
 cvtColor( src, hsv, COLOR_BGR2HSV );

在本教程中，我们将仅将 Hue 值用于我们的一维直方图（如果您想使用更标准的 H-S 直方图，请查看上面链接中的更高级代码，这会产生更好的结果）：

 hue.create(hsv.size(), hsv.depth());
 int ch[] = { 0, 0 };
 mixChannels( &hsv, 1, &hue, 1, ch, 1 );

如您所见，我们使用函数 cv::mixChannels 仅从 hsv 图像中获取通道 0（色相）。它获取以下参数：
- &HSV：将从中复制通道的源数组
- 1：源数组的数量
- 色相（&C）：复制通道的目标数组
- 1：目标数组的数量
- ch[] = {0,0}：指示如何复制通道的索引对数组。在本例中，将 &hsv 的 Hue（0）通道复制到 &hue 的 0 通道（1 通道）
- 1：索引对数
为用户创建用于输入图格值的跟踪栏。对 Trackbar 的任何更改都意味着对 Hist_and_Backproj回调函数的调用。

 const char* window_image = "Source image";
 namedWindow( window_image );
 createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
 Hist_and_Backproj(0, 0);

显示图像并等待用户退出程序：

 imshow( window_image, src );
 // Wait until user exits the program
 waitKey();

Hist_and_Backproj功能：初始化 cv::calcHist 所需的参数。条柱数量来自 Trackbar：

 int histSize = MAX( bins, 2 );
 float hue_range[] = { 0, 180 };
 const float* ranges[] = { hue_range };

计算直方图并将其归一化为范围 [0,255]

 Mat hist;
 calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
 normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );

通过调用函数 cv::calcBackProject 获取同一图像的反向投影

 Mat backproj;
 calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );

所有参数都是已知的（与用于计算直方图的参数相同），只是我们添加了 BackProj 矩阵，它将存储源图像（&hue）的反向投影
显示 backproj：

 imshow( "BackProj", backproj );

绘制图像的一维色相直方图：

 int w = 400, h = 400;
 int bin_w = cvRound( (double) w / histSize );
 Mat histImg = Mat::zeros( h, w, CV_8UC3 );
 
 for (int i = 0; i < bins; i++)
 {
 rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
 Scalar( 0, 0, 255 ), FILLED );
 }
 
 imshow( "Histogram", histImg );