深度学习训练营之yolov5训练自己的数据集

深度学习训练营之训练自己的数据集

  • 原文链接
  • 环境介绍
  • 准备好数据集
  • 划分数据集
  • 运行voc_train.py
    • 遇到问题
    • 完整代码
  • 创建new_data.yaml文件
    • 模型训练时遇到的报错
  • 模型训练
  • 结果可视化
  • 参考链接

原文链接

  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍦 参考文章:365天深度学习训练营-第Y2周:训练自己的数据集
  • 🍖 原作者:K同学啊|接辅导、项目定制

环境介绍

  • 语言环境:Python3.9.13
  • 编译器:vscode
  • 深度学习环境:torch
  • 显卡:NVIDIA GeForce RTX 3070 Laptop GPU

准备好数据集

我这里采用的数据集是经典的目标检测算法当中的一个数据集,这里附上链接:
文件提取:链接:https://pan.baidu.com/s/1SuNxOTCgrQlqXWK_cRzCZQ
提取码:0909

文件夹下内容:
在这里插入图片描述

划分数据集

运行如下命令进行数据集的划分

python split_train_val.py --xml_path D:\yolov5-master\yolov5-master\my_data\Annotations --txt_path D:\yolov5-master\yolov5-master\my_data\ImageSets\Main

原始应该是这样

python split_train_val.py --xml_path xx --txt_path xx

其中xx的地方根据相应的路径进行更改,需要注意到的是运行的路径是函数python split_train_val.py所在的文件夹下进行运行,否则会报错
在这里插入图片描述
在弹出的对话框中进行运行

在这里插入图片描述
可以看到已经成功生成了
在这里插入图片描述

运行voc_train.py

遇到问题

遇到如下报错unsupported operand type(s) for +: 'builtin_function_or_method' and 'str'
这里所说的意思应该是指不能将type(s)类型的字符加上一个函数或者方法,我简单查看了一些,是我在定义abs_path的时候漏加括号,导致abs_path的字符类型出现错误
在这里插入图片描述

完整代码

经过调试和更改路径之后得到的代码如下

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
sets = ['train','val','test']

# 20类
classes = ["aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningtable", "dog",
           "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor"]
abs_path=os.getcwd()
print(abs_path)
# size w,h
# box x-min,x-max,y-min,y-max
def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0 -1# 中心点位置
    y = (box[2] + box[3])/2.0 -1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x *dw
    w = w *dw
    y = y *dh
    h = h *dh # 全部转化为相对坐标
    return (x, y, w, h)


def convert_annotation(image_id):
    # 找到2个同样的文件
    in_file = open('Annotations/%s.xml' % (image_id),encoding='UTF-8')
    out_file = open('labels/%s.txt' % (image_id), 'w')

    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1: #difficult ==1 的不要了
            continue
        cls_id = classes.index(cls) # 排在第几位
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        # 传入的是w,h 与框框的周边
        b1,b2,b3,b4=b
        if b2>w:
            b2=w
        if b4>h:
            b4=h
        b=(b1,b2,b3,b4)
        bb = convert((w, h), b)
        out_file.write(str(cls_id) +" "+" ".join([str(a) for a in bb]) + '\n')


wd = getcwd()

for image_set in sets:
    # ('2012', 'train') 循环5次
    # 创建目录 一次性
    if not os.path.exists('labels/' ):
        os.makedirs('labels/')

    # 图片的id数据
    image_ids = open('ImageSets/Main/%s.txt' % (image_set)).read().strip().split()

    # 结果写入这个文件
    list_file = open('%s.txt' % (image_set), 'w')

    for image_id in image_ids:
        list_file.write(abs_path+'/JPEGImages/%s.jpg\n' % (image_id)) # 补全路径
        convert_annotation(image_id)
    list_file.close()

(记录一下:一开始这个最后的JPEGImages没加斜杠,导致后续报错,这里是添加过后的)
运行val_voc.py可以得到三个txt的文件,其内容如下:
在这里插入图片描述

创建new_data.yaml文件

这个文件的名称new_data.yaml是我自己随便起的一个名字,大家可以自行更改
在这里插入图片描述

模型训练时遇到的报错

expected '<document start>', but found '<scalar>'

这里主要的原因是在定义变量的时候我使用的是=,但是应该用:
错误图片:(这里突然发现这个mydata当中trian和val的名字不一样,导致后面一系列的错误,我后面改完之后就行)
在这里插入图片描述
更正以后:
在这里插入图片描述
models文件夹下的用于训练的yolov5s.yaml
把这个原本的分类从80改成20(20是我的数据集的类型)
在这里插入图片描述

模型训练

运行如下命令,开始训练

python train.py --img 928 --batch 2 --epoch 10 --data data/new_data.yaml --cfg models/yolov5s.yaml --weights weights/yolov5s.pt 

出现以下报错(没有出现就是成功训练啦)
No labels found in D:\yolov5-master\yolov5-master\my_data\train.cache.
train.py当中更改成绝对路径
在这里插入图片描述
new_data.yaml也进行修改
在这里插入图片描述
更改D:\yolov5-master\yolov5-master\utils当中的sa,sb的路径
在这里插入图片描述

开始运行…

结果可视化

运行结果如下
在这里插入图片描述
使用wandb可以看到我们的运行结果的一些可视化
在这里插入图片描述

参考链接

  • yolov5数据读取报错:train: No labels found in /root/yolov5-master/VOCData/dataSet_path/train.cache
  • Python编译报错的自我记录

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/6957.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

正则表达式

一、正则表达式的概述 1、概念 正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 正则表达式是对字符串&#xff08;包括普通字符&#xff08;例如&#xff0c;a 到 z 之间的字母&#xff09;和特殊字符&#xff08;称为“元字符”&#xff09;&#xff09;操…

JVM 程序计数器(PC)

PC寄存器的概念 JVM中的程序计数寄存器&#xff08;Program Counter Register&#xff09;中&#xff0c;Register的命名源于CPU的寄存器&#xff0c;寄存器存储指令相关的现场信息。CPU只有把数据装载到寄存器才能够运行。这里&#xff0c;并非是广义上所指的物理寄存器&#…

【蓝桥杯冲刺】日期类专题特训

目录 1. 日期累加 题目描述 输入 输出 代码 2. 日期差值 题目描述 输入 输出 代码 3. 打印日期 题目描述 输入 输出 代码 写在最后&#xff1a; 1. 日期累加 题目链接&#xff1a;日期累加 题目描述 输入 1 2008 2 3 100 输出 2008-05-13 代码 #include…

如何在 Linux 中查找所有符号链接,这几个命令得会!

在Linux中&#xff0c;符号链接&#xff08;Symbolic Link&#xff09;是一种非常常见的文件类型&#xff0c;也称为软链接。符号链接是指向另一个文件的指针&#xff0c;而不是实际的数据。它允许用户创建一个指向另一个文件的虚拟文件&#xff0c;这样用户可以在不改变实际文…

JVM解析原理

目录1.JVM内存结构2.JIT及时编译器的原理&#xff0c;优化以及切换编译器类型2.1解释型语言和编译语言2.2JIT即时编译器&#xff08;Just In Time Compiler&#xff09;3.类的加载机制和类的加载器3.1类的加载机制3.2类的加载器4.双亲委派机制4.1定义4.2优点4.3总结5.虚拟机栈详…

读破万卷,神交古人,突破ChatGPT4096的Token限制,建立自己的垂直领域资料人工智能助理

ChatGPT的泛用性极高&#xff0c;上知天文&#xff0c;下通地理&#xff0c;参考古今&#xff0c;博稽中外&#xff0c;几乎无所不知&#xff0c;无所不晓。但如果涉及垂直领域的专业知识点&#xff0c;ChatGPT难免也会有语焉不详&#xff0c;闪烁其词的毛病&#xff0c;本次我…

16从零开始学Java之Java里的输入与输出语句有哪些?

作者&#xff1a;孙玉昌&#xff0c;昵称【一一哥】&#xff0c;另外【壹壹哥】也是我哦 CSDN博客专家、万粉博主、阿里云专家博主、掘金优质作者 前言 我们在前面的文章中&#xff0c;学习了如何创建Java文件&#xff0c;也学习了Java里的标识符、运算符、进制等内容。有些…

iPhone手机小技巧:使用备忘录创建清单

手机备忘录是非常常用的软件之一&#xff0c;无论是iPhone手机还是安卓系统的手机都可以下载相应的APP进行使用。它可以帮助我们记录很多琐碎的事情&#xff0c;防止我们遗忘某事。 在记备忘录的时候&#xff0c;有的人是直接打字记录的&#xff0c;也没有什么具体的格式&…

Excel–如何区分大小写、精确匹配查找?

最近经常需要用到uuid来匹配数据&#xff0c;经常会遇到两个uuid 只是大小写的区别&#xff0c;数据库里使用是没问题的&#xff0c;因为mysql是可以区分大小写的&#xff0c;但是导出后通过excel处理数据匹配数据时就会出问题 如下图所示&#xff0c;通过vlookup匹配&#xf…

文心一言 VS chatgpt (3)-- 算法导论2.1

一、以图 2-2 为模型&#xff0c;说明INSERTION-SORT 在数组 A(31&#xff0c;41&#xff0c;59&#xff0c;26&#xff0c;41&#xff0c;58)上的执行过程。 文心一言&#xff1a; 以图 2-2 为模型&#xff0c;说明INSERTION-SORT 在数组 A(31&#xff0c;41&#xff0c;59&…

Java基础学习第二十四讲:Stream流

Stream流 一、什么是Stream流 Stream流操作是Java 8提供一个重要新特性&#xff0c;它允许开发人员以声明性方式处理集合&#xff0c;其核心类库主要改进了对集合类的 API和新增Stream操作。Stream类中每一个方法都对应集合上的一种操作。将真正的函数式编程引入到Java中&…

ROS功能包|mav_control_rw(基于MPC的无人机轨迹跟踪控制)---gazebo仿真测试

ROS功能包|mav_control_rw&#xff08;基于MPC的无人机轨迹跟踪控制&#xff09;---gazebo仿真测试gazebo仿真测试gazebo仿真测试 启动gazebo并加载无人机模型 $ roslaunch rotors_gazebo mav.launch mav_name:firefly启动 linear mpc 控制器 $ roslaunch mav_linear_mpc ma…

Win10安装MySql1.5.7

1&#xff09;、下载安装包 地址&#xff1a;MySQL :: Download MySQL Community Server 或者&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/1iSLiUo8ehqP6tfxGJ2ewfA 提取码&#xff1a;ctbr 2&#xff09;、下载后解压到指定目录 我的是D:\Program Files\mysql-…

SCS【19】单细胞自动注释细胞类型 (Symphony)

单细胞生信分析教程桓峰基因公众号推出单细胞生信分析教程并配有视频在线教程&#xff0c;目前整理出来的相关教程目录如下&#xff1a;Topic 6. 克隆进化之 CanopyTopic 7. 克隆进化之 CardelinoTopic 8. 克隆进化之 RobustCloneSCS【1】今天开启单细胞之旅&#xff0c;述说单…

一图看懂 bz2 模块:处理压缩和解压缩文件, 资料整理+笔记(大全)

本文由 大侠(AhcaoZhu)原创&#xff0c;转载请声明。 链接: https://blog.csdn.net/Ahcao2008 一图看懂 bz2 模块&#xff1a;处理压缩和解压缩文件, 资料整理笔记&#xff08;大全&#xff09;摘要模块图类关系图模块全展开【bz2】统计常量int模块4 io5 os6 warnings7 _compre…

数据结构与算法基础(王卓)(23):邻接表(链式存储结构)

顶点结点&#xff1a; //顶点的结点结构 typedef struct VNode {VertexType data; //顶点信息ArcNode* firstarc; //指向第一条依附该顶点的边的指针 }VNode, AdjList[MVNum]; //例如&#xff1a;VNode v[MVNum] 相当于 AdjList v 我觉得也可以改成这样写&#xff08;存疑&…

基于数字孪生智慧污水厂Web3D可视化管理系统

城市水环境不仅关系到国民生活的质量&#xff0c;还对我国社会发展有着深入的影响。城市污水处理厂的存在不仅能够提升生态环保工作发挥的效用&#xff0c;还能够向城市居民宣传生态环保的重要性&#xff0c;使得更多的市民认识到节约、环保的意义&#xff0c;能够从自身出发&a…

UVM学习笔记2——验证基础知识(验证计划、验证方法)

文章目录前言一、覆盖率二、验证计划1、验证计划模板2、验证计划评估三、验证方法1、动态仿真/dynamic simulation2、静态检查/formal check3、虚拟模型4、硬件加速/hardware acceleration5、效能验证6、性能验证四、验证分类1、验证工具2、验证复杂度/可见度/透明度3、验证的芯…

Java设计模式(一)单例模式

设计模式是对软件设计中普遍存在的各种问题&#xff0c;提出解决方案 设计模式包含了面向对象的精髓&#xff0c;懂了设计模式&#xff0c;你就懂了面向对象分析和设计的精要。 设计模式的七大原则 1.单一职责原则 2.接口隔离原则 3.依赖倒置原则 4.里氏替换原则 5.开闭原则o…