YOLOv8-Segment C++

https://github.com/triple-Mu/YOLOv8-TensorRT

这张图像是运行yolov8-seg程序得到的结果图，首先是检测到了person、bus及skateboard(这个是检测错误，将鞋及其影子检测成了滑板，偶尔存在错误也属正常)，然后用方框将他们标出，之后由分割将其轮廓标出。

接下来看看具体怎么实现的，这个程序主要由YOLOv8_seg::infer()与YOLOv8_seg::postprocess()函数实现，之后利用YOLOv8_seg::draw_objects()函数将结果展示在图像中。

segment

接下来分割部分进行解读：

YOLOv8_seg::postprocess()函数得到了objs, 其中包含了检测目标box的尺寸及位置，还包含了目标轮廓数据，在box中是目标的像素块的像素值为255，其余区域均为0。上面结果可以看到目标既被方框标出，又有颜色涂抹，这里其实是利用cv::addWeighted()函数实现的，是将两张图像按照不同权重融合在了一起。

下面这张图像是仅展现出了分割的效果：

所有被检测到的目标均被分割。如果只需要对person分割，由于person的标签序索引0，所以将检测到的目标标签与0作判断即可。

cv::Mat segmask = image.clone();
for (auto& obj : objs) {
    int        idx   = obj.label;
    if (idx == 0)
    {
        cv::Scalar mask_color =
            cv::Scalar(MASK_COLORS[idx % 20][0], MASK_COLORS[idx % 20][1], MASK_COLORS[idx % 20][2]);
        segmask(obj.rect).setTo(mask_color, obj.boxMask);
    }
}

于是就得到了：
在这里插入图片描述

看一下objs具体包含了什么样的数据

for (auto& obj : resultObjs)
{
std::cout << "----------------------------------------------" << std::endl;
std::cout << "Rect: " << obj.rect << std::endl;
std::cout << "Label: " << CLASS_NAMES[obj.label] << std::endl;
std::cout << "boxMask: " << obj.boxMask << std::endl;
}

循环中的一次输出：

----------------------------------------------
Rect: [77 x 324 from (2, 545)]
Label: person
boxMask: [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0;
 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0;

...
...
...;
 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0;
 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255, 255,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0]

从输出结果可以看出这个目标尺寸为77 x 324，从图像中坐标 (2, 545) 开始，目标类别是person，boxMask中的数据为255的则是目标所在的像素，数据为0的则是目标之外的像素。

boxMask的数据可以在yolov8-seg.hpp中找到其赋值语句：

objs[i].boxMask = mask(objs[i].rect) > 0.5f;

可以看出boxMask为什么只有0与255了。

获取坐标

那么根据输出结果我们可以利用rect与boxMask获取目标（这里的目标是person）的坐标，首先可以利用函数cv::findNonZero()找出boxMask中值为255的坐标，然后再加上rect包含的目标框的起点坐标就可以了

// 创建白色画布((1080,810)是图像尺寸，画布要与原图像尺寸一致)
cv::Mat segImg(1080, 810, CV_8UC3, cv::Scalar(255, 255, 255));
std::vector<cv::Point> segpoints;
cv::Mat segmask = image.clone();
for (auto& obj : objs) {
    int        idx   = obj.label;
    if (idx == 0)
    {
        cv::Scalar mask_color =
            cv::Scalar(MASK_COLORS[idx % 20][0], MASK_COLORS[idx % 20][1], MASK_COLORS[idx % 20][2]);
        segmask(obj.rect).setTo(mask_color, obj.boxMask);
        cv::Mat locations;
        cv::findNonZero(obj.boxMask == 255, locations);
        // 打印位置
        std::cout << "值为 255 的位置：" << std::endl;
        for (int i = 0; i < locations.rows; ++i) {
            std::cout << "(" << locations.at<cv::Point>(i).x << ", " << locations.at<cv::Point>(i).y << ")" << std::endl;
            // 这里是目标方框bbox中的坐标，之后需要加上方框起点
            cv::Point segpoint = locations.at<cv::Point>(i);
            segpoint.x += obj.rect.x;
            segpoint.y += obj.rect.y;
            // 将所有坐标(x,y)存储在segpoints中
            segpoints.push_back(segpoint);
        }
    }
}
for (const auto& segpoint : segpoints) {
    segImg.at<cv::Vec3b>(segpoint) = cv::Vec3b(255, 0, 0);
}
cv::imshow("segImg",segImg);
cv::imwrite("segImg.jpg",segImg);