DETR算法简介

DETR方法是一种使用了Transformer的端到端的目标检测方法,也是经典目标检测算法之一,本文将用最少的话,介绍DETR算法的大致思想。之前的方法或多或少的都不要添加一下额外的步骤,进行人为干预,即使是号称端到端的YOLO系列算法,也是会生成大量冗余的框,然后需要最后加上进行非极大值抑制的步骤。

DETR算法的大致步骤如下所示:

 简而言之:首先通过CNN网络提取输出图像特征,然后将特征图展平输入到transformer中进行encoder和decoder,这里transformer通过注意力机制就能够学习到图像的全局特征,。然后输出固定个数的预测框,比如100个,(输出预测框的个数是一个超参数)。将100个输出的预测框和ground truth进行匹配(这里是使用二分图匹配方法,下面再介绍),得到最匹配的n个预测框(n是ground truth的个数),然后在匹配的框中计算检测目标的loss和进行边框的回归。

上述是训练过程,预测过程前面都一样,假设生成的预测框的个数是100个,后面生成100个预测框之后,直接对置信度设置阈值,置信度大于阈值的框作为前景被留下来,剩下的作为背景

更加详细的整体框架图:

那什么是二分图匹配法呢:

首先要了解什么是二分图问题:

举个例子,x,y,z三个工人,执行a,b,c三个任务,三个工人每个都有自己最擅长的部分,这里二分图问题就是解决给工人分配任务,解决任务的效率最高

 上图是根据工人执行任务案例绘制的一个矩阵,这个矩阵叫做损失矩阵,损失矩阵中的值就是损失,比如工人执行具体任务花费的时间。目前有匈牙利算法能够解决这个问题,在scipy这个库中提供了linear_sum_assignment函数来解决这个问题

上述100个预测框和2个ground truth之间匹配的问题,也可以看做是二分图问题,

a,b,c...就可以看做是100个预测框,x,y就可以看做是ground truth

DETR论文中的匹配问题就是通过直接调用匈牙利算法来解决的,匈牙利算法的细节就不介绍了,因为我也不懂,反正这也不是关键的,关键就是了解上述DTER算法的思想。

上述是对DETR算法的简要介绍,主要是介绍算法的框架结构和大致思想,想要深入学习DTER的朋友,建议去看原论文,上述内容如果对您有所帮助,麻烦给我点个赞,谢谢

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/471904.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

热插拔技术(番外)

5、总线热插拔及系统解决方案 在实际运用中,总线上插入板卡时,由于新插入板卡电容的充电以及上电过程中一些低阻抗通道的存在,会产生极大的浪涌电流,拉低总线电平,对总线上其他设备产生干扰,影响总线上其他…

力扣530 二叉搜索树的最小绝对差 Java版本

文章目录 题目描述解题思路代码 题目描述 给你一个二叉搜索树的根节点 root ,返回 树中任意两不同节点值之间的最小差值 。 差值是一个正数,其数值等于两值之差的绝对值。 示例 1: 输入:root [4,2,6,1,3] 输出:1…

南京大学AI考研,宣布改考408!

官网还没通知 附上南大与同层次学校近四年的分数线对比,整体很难 添加图片注释,不超过 140 字(可选) 添加图片注释,不超过 140 字(可选) 如果确定要冲南大的话建议提早调整自己的复习路线&…

基于python的变配电室运行状态评估与预警系统flask-django-nodejs-php

近年来,随着我国工业化、城镇化步伐的不断加快,城市配电网络取得令人瞩目的发展成果。变配电室是供配电系统的核心,在供配电系统中占有特殊的重要地位[1]。变配电室电气设备运行状态和环境信息缺乏必要的监测评估预警手段,如有一日遭遇突发情…

基于springboot+vue的疫情信息管理系统

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

Python条件语句深度解析:从基础到应用的全面指南

🎬 江城开朗的豌豆:个人主页 🔥 个人专栏 :《 VUE 》 《 javaScript 》 📝 个人网站 :《 江城开朗的豌豆🫛 》 ⛺️ 生活的理想,就是为了理想的生活 ! ​ 目录 📘 一、引言 📝 二、…

比较10个数值的最大值(C语言)

一、运行结果&#xff1b; 二、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h>int main() {//初始化变量值&#xff1b;int arr[10] { 0 };int i 1;int n 1;int t 0;int max 0;//提示用户&#xff1b;printf("请输入10个整数&…

开启feignPOM找不到spring-cloud-starter-openfeign

spring cloud 开启feign的时候需要再POM中引入 <dependencies><dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-netflix-eureka-client</artifactId><version>2.0.2.RELEASE</versi…

Verilog基础:always结构和initial结构

相关阅读 Verilog基础https://blog.csdn.net/weixin_45791458/category_12263729.html?spm1001.2014.3001.5482 always和initial是Verilog中的核心&#xff0c;它们被称为结构(construct)&#xff0c;用于组织语句的执行方式。下面将分别对这两者进行阐述。 always结构 图1是…

6.如何判断数据库搜索是否走索引?

判断是否使用索引搜索 索引在数据库中是一个不可或缺的存在&#xff0c;想让你的查询结果快准狠&#xff0c;还是需要索引的来帮忙&#xff0c;那么在mongo中如何判断搜索是不是走索引呢&#xff1f;通常使用执行计划&#xff08;解释计划、Explain Plan&#xff09;来查看查询…

苍穹外卖-day13:vue基础回顾+进阶

vue基础回顾进阶 课程内容 VUE 基础回顾路由 Vue-Router状态管理 vuexTypeScript 1. VUE 基础回顾 1.1 基于脚手架创建前端工程 1.1.1 环境要求 要想基于脚手架创建前端工程&#xff0c;需要具备如下环境要求&#xff1a; ​ node.js 前端项目的运行环境 学习web阶段已安…

2024普通人如何创业!2024年普通人创业五大热门项目 !五个适合穷人创业项目低成本生意! 2024最适合创业的五大行业! 2024适合上班族的创业

1、减肥减脂 贾玲1年瘦100斤狠狠刺激了减肥人群。用户群体体量极大&#xff0c;瑜伽、减肥、健身都可以切入&#xff0c;可以分享减肥的经历、运动跟练、饮食食谱等。有的一个春节期间就涨粉5000&#xff0c;变现嫁接到高客单的陪练全案。 2、卖随身WiFi 现在网络是共需&#…

Elasticsearch实战:索引阻塞 —— 数据保护的终极武器

文章目录 1、索引阻塞的种类2、什么时候使用阻塞&#xff1f;场景1&#xff1a;进行系统维护场景。场景2&#xff1a;保护数据不被随意更改场景。场景3&#xff1a;优化资源使用的场景。场景4&#xff1a;遵守安全规则场景。 3、添加索引阻塞API4、解除设置 API5、小结6、参考 …

如何在SpringCloud2023中快速集成注册中心

你好&#xff0c;这里是codetrend专栏“SpringCloud2023实战”。欢迎点击关注查看往期文章。 注册中心在前文提到有很多选型&#xff0c;在这里以Spring Cloud Zookeeper为例说明注册中心的集成和使用。 选择Spring Cloud Zookeeper作为注册中心原因如下&#xff1a; 依赖更少…

【3DsMax】UVW展开——以制作牙膏盒为例

效果 步骤 1. 从网上下载牙膏盒贴图&#xff0c;我下载的贴图地址为&#xff08;牙膏盒贴图链接&#xff09; 2. 打开3DsMax&#xff0c;创建一个长方体&#xff0c;设置长宽高分别为180、45、40毫米 打开材质编辑器&#xff0c;点击漫反射后的按钮 双击“位图” 将材质赋予长…

【每日八股】Java基础经典面试题4

前言&#xff1a;哈喽大家好&#xff0c;我是黑洞晓威&#xff0c;25届毕业生&#xff0c;正在为即将到来的秋招做准备。本篇将记录学习过程中经常出现的知识点以及自己学习薄弱的地方进行总结&#x1f970;。 本篇文章记录的Java基础面试题&#xff0c;如果你也在复习的话不妨…

重装系统后鼠标识别不了咋办

不知道大家在重装系统时,有没有遇到过系统重装完成后,鼠标不能使用的情况。在这种情况下,我们要怎么操作电脑解决这个问题呢?今天就跟大家分享重装系统后鼠标识别不了咋办。 一、主板没有设置兼容usb 在重装系统时,如果主板没有设置兼容usb,就会出现鼠标使用不了的现象。…

流畅的 Python 第二版(GPT 重译)(十一)

第二十章&#xff1a;并发执行器 抨击线程的人通常是系统程序员&#xff0c;他们心中有着典型应用程序员终其一生都不会遇到的用例。[…] 在 99%的用例中&#xff0c;应用程序员可能会遇到的情况是&#xff0c;生成一堆独立线程并将结果收集到队列中的简单模式就是他们需要了解…

【Linux】线程预备知识{远程拷贝/重入函数与volatile关键字/认识SIGCHILD信号/普通信号/实时信号}

文章目录 0.远程拷贝1.重入函数与volatile关键字2.认识SIGCHILD信号3.普通信号/实时信号 0.远程拷贝 打包资源&#xff1a;tar czf code.tgz *远程传输&#xff1a;scp code.tgz usr服务器ip:/home/usr/路径解压&#xff1a;tar xzf code.tgz 1.重入函数与volatile关键字 先看…

深度解析 Android 系统属性

目录 Android系统属性 1.属性在哪里&#xff1f; 2.属性长什么样&#xff1f; 3.如何读写属性&#xff1a; 4.属性的作用 属性文件生成过程 如何添加系统属性 1.添加系统属性到 /system/build.prop 2.添加系统属性到 /vendor/build.prop 3.添加系统属性到 /product/b…