ubuntu下快速搭建docker环境训练yolov5数据集

参考文档

yolov5-github

yolov5-github-训练文档

csdn训练博客

一、配置环境

1.1 安装依赖包

前往清华源官方地址 选择适合自己的版本替换自己的源

# 备份源文件
sudo cp /etc/apt/sources.list /etc/apt/sources.list_bak
# 修改源文件
# 更新
sudo apt update && sudo apt upgrade -y

安装必要的环境依赖包

sudo apt-get install -y build-essential ubuntu-drivers-common net-tools python3 python-is-python3 python3-pip
# 修改pip源为清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

或者修改配置文件替换pipe国内源地址

mkdir ~/.pip/
cd  ~/.pip/
sudo vi pip.conf

输入以下内容：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=pypi.tuna.tsinghua.edu.cn

执行验证：

pip config list

1.2 安装docker

具体安装步骤参考ubuntu安装docker官方文档

  1. 卸载所有冲突包

    for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done

  2. 设置 Docker 的apt存储库

    # Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install -y ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
 
# Add the repository to Apt sources:
echo \
  "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

  3. 安装最新的docker包

    sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

1.3 拉取pytorch docker镜像

前往pytorch 官方docker镜像寻找自己合适版本，yolov5要求1.8以上版本，我拉取1.13版本，执行命令：

sudo docker pull pytorch/pytorch:1.13.1-cuda11.6-cudnn8-runtime

1.4 安装nvidia驱动

桌面版参考链接

服务器版参考链接

我们使用pytorch-docker环境无需安装cuda，NVIDIA驱动简单安装如下

  1. 禁用nouveau驱动

    编辑 /etc/modprobe.d/blacklist-nouveau.conf 文件，添加以下内容：

    blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off

  2. 关闭nouveau

    echo options nouveau modeset=0 | sudo tee -a /etc/modprobe.d/nouveau-kms.conf

  3. 重新生成内核并重启

    sudo update-initramfs -u
sudo reboot

  4. 重启后验证
    重启后，执行：lsmod | grep nouveau。如果没有屏幕输出，说明禁用nouveau成功

  5. 查找推荐驱动

    ubuntu-drivers devices
# 输出如下
# modalias : pci:v000010DEd00001EB8sv000010DEsd000012A2bc03sc02i00
# vendor   : NVIDIA Corporation
# model    : TU104GL [Tesla T4]
# driver   : nvidia-driver-450-server - distro non-free
# driver   : nvidia-driver-525-server - distro non-free
# driver   : nvidia-driver-535-server - distro non-free
# driver   : nvidia-driver-418-server - distro non-free
# driver   : nvidia-driver-525 - distro non-free
# driver   : nvidia-driver-470 - distro non-free
# driver   : nvidia-driver-470-server - distro non-free
# driver   : nvidia-driver-535 - distro non-free recommended
# driver   : xserver-xorg-video-nouveau - distro free builtin

  6. 安装推荐的驱动程序

    根据自己系统选择安装，安装完成后重启

    sudo apt install nvidia-driver-535-server

  7. 重启后验证

    nvidia-smi 命令能够输出显卡信息则验证成功

1.5 安装nvidia docker gpus工具

为了让docker支持nvidia显卡，英伟达公司开发了nvidia-docker，该软件是对docker的包装，使得容器能够看到并使用宿主机的nvidia显卡。

根据网上的资料，从docker 19版本之后，nvidia-docker成为了过去式。不需要单独去下nvidia-docker这个独立的docker应用程序，也就是说gpu docker所需要的Runtime被集成进docker中，使用的时候用–gpus参数来控制。以下是工具安装步骤：

# step1 添加包存储库，在终端依次输入以下命令：
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

# step2 下载安装nvidia-container-toolkit包
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit

# step3 重启docker服务
sudo systemctl restart docker

二、训练数据集

2.1 下载yolov5代码

前往github下载代码，或者准备自己的yolov5训练代码，如果是拷贝他人代码，将**.git目录删除**，否则后续训练时检查git信息会报错。

git clone git@github.com:ultralytics/yolov5.git

2.2 启动进入pytorch-docker

# 映射宿主机地址到docker内部，根据显卡实际情况指定显存容量
sudo docker run -v /home/zmj/lishi:/workspace --gpus all --shm-size 18g -p 6006:6006 -it pytorch/pytorch:1.13.1-cuda11.6-cudnn8-runtime /bin/bash

后续都将在docker中执行;

2.3 安装依赖项

在docker下进入yolov5代码目录下将request.txt的opencv注释掉然后执行依赖项安装

image-20231129140344105

pip3 install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

继续安装opencv-python-headless版本opencv；

pip3 install opencv-python-headless

2.4 创建文件

2.4.1 数据集为图片+xml格式

将标准好的图像文件夹命名为images，标签文件夹命名为Annotations都放到源码目录的data文件夹下（注意： images内为数据集原始图片，Annotations内为标注的xml文件，对这两个文件夹做好备份）；

├── data
│   ├── Annotations  进行 detection 任务时的标签文件，xml 形式，文件名与图片名一一对应
│   ├── images  存放 .jpg 格式的图片文件
│   ├── ImageSets  存放的是分类和检测的数据集分割文件，包含train.txt, val.txt,trainval.txt,test.txt
│   ├── labels  存放label标注信息的txt文件，与图片一一对应


├── ImageSets(train，val，test建议按照8：1：1比例划分)
│   ├── train.txt  写着用于训练的图片名称
│   ├── val.txt  写着用于验证的图片名称
│   ├── trainval.txt  train与val的合集
│   ├── test.txt  写着用于测试的图片名称

在yolov5根目录下创建make_txt.py文件，内容如下：

import os
import random

# 函数：确保文件夹存在，如果不存在则创建
def ensure_folder_exists(folder):
    if not os.path.exists(folder):
        os.makedirs(folder)
        print(f"Created folder: {folder}")

# 检查并创建所需文件夹
folders = ["data/ImageSets", "data/JPEGImages", "data/labels"]
for folder in folders:
    ensure_folder_exists(folder)

trainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'data/Annotations'
txtsavepath = 'data/ImageSets'
total_xml = os.listdir(xmlfilepath)
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
file_paths = []
file_paths.append(os.path.join(txtsavepath, 'trainval.txt'))
file_paths.append(os.path.join(txtsavepath, 'test.txt'))
file_paths.append(os.path.join(txtsavepath, 'train.txt'))
file_paths.append(os.path.join(txtsavepath, 'val.txt'))

for file_path in file_paths:
    with open(file_path, 'w') as file:
        for i in list:
            name = total_xml[i][:-4] + '\n'
            if i in trainval:
                if file_path.endswith('trainval.txt'):
                    file.write(name)
                if i in train:
                    if file_path.endswith('test.txt'):
                        file.write(name)
                else:
                    if file_path.endswith('val.txt'):
                        file.write(name)
            else:
                if file_path.endswith('train.txt'):
                    file.write(name)
        file.close()
        os.chmod(file_path, 0o666)  # 设置文件权限

print("Finished!")

创建voc_label.py内容如下：

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

# 函数：确保文件夹存在，如果不存在则创建
def ensure_folder_exists(folder):
    if not os.path.exists(folder):
        os.makedirs(folder)
        print(f"Created folder: {folder}")

# 检查并创建所需文件夹
folders = ["data/ImageSets", "data/JPEGImages", "data/labels"]
for folder in folders:
    ensure_folder_exists(folder)

sets = ['train', 'test','val']
#此处修改为实际标注内容
classes = ['fall']
def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)
def convert_annotation(image_id):
    in_file = open('data/Annotations/%s.xml' % (image_id))
    file_path = 'data/labels/%s.txt' % (image_id)
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    if(w==0 or h==0):
        in_file.close()
        print(image_id,"w ", w, "h ", h, "0 error")
        image_file = 'data/images/%s.jpg' % (image_id)
        xml_file = 'data/Annotations/%s.xml' % (image_id)
        os.remove(image_file)
        os.remove(xml_file)
        return
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
        in_file.close()
    out_file.close()
    os.chmod(file_path, 0o666)  # 设置文件权限
wd = getcwd()
print(wd)
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    file_path = 'data/%s.txt' % (image_set)
    with open(file_path, 'w') as list_file:
        for image_id in image_ids:
            list_file.write('data/images/%s.jpg\n' % (image_id))
            convert_annotation(image_id)
    list_file.close()
    os.chmod(file_path, 0o666)  # 设置文件权限
print("Finished!")

依次执行上述两个脚本，如果执行voc_labels.py提示有w 0 h 0 errror字样，说明标注的宽高有0异常，脚本会删除异常标签和图片，需要重新执行这两个脚本。

python3 make_txt.py
python3 voc_label.py

执行完成后会在data下创建ImageSets文件夹和labels文件夹大致内容如下：

image-20231129155751988

image-20231129155819545

data下生成三个txt文件

image-20231129155914301

2.4.2 数据集为图片+txt格式

如果数据集为已经归一化后的txt格式数据，则只需将数据集的train，val，test三个文件夹放到data目录下，使用python在data目录下生成对应的txt文件即可。python实现可参考如下内容：

# chat-gpt编写
import os

def create_list(data_folder, subset):
    images_folder = os.path.join(data_folder, subset, 'images')
    list_file_path = os.path.join(data_folder, f'{subset}.txt')

    with open(list_file_path, 'w') as list_file:
        for image_name in os.listdir(images_folder):
            if image_name.endswith('.jpg'):
                image_path = os.path.relpath(os.path.join(images_folder, image_name), start=os.path.dirname(data_folder))
                list_file.write(image_path + '\n')

    # 设置文件权限为0666
    os.chmod(list_file_path, 0o666)

# 替换为您的data目录的路径
data_directory = 'data'

# 为train, test, val创建列表
for subset in ['train', 'test', 'val']:
    create_list(data_directory, subset)

执行之后即可，效果如下：

image-20231201103911953

image-20231201104043739

2.5 修改yaml文件

复制data目录下的coco.yaml，我这里命名为fall.yaml，参照参考文档主要修改三个地方：

  1. 修改train,val,test的路径为自己刚刚生成的三个txt文件相对于yolov5源码根目录的路径；

  2. nc 里的数字代表数据集的类别，我这里只有跌倒一类，所以修改为1；

  3. names 里为自己数据集标注的类名称，我这里是fall；

    内容如下

    # YOLOv5 🚀 by Ultralytics, AGPL-3.0 license
# COCO 2017 dataset http://cocodataset.org by Microsoft
# Example usage: python train.py --data coco.yaml
# parent
# ├── yolov5
# └── datasets
#     └── coco  ← downloads here (20.1 GB)


# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
# path: ../datasets/coco  # dataset root dir
# train: train2017.txt  # train images (relative to 'path') 118287 images
# val: val2017.txt  # val images (relative to 'path') 5000 images
test: data/test.txt  # dataset root dir
train: data/train.txt  # train images (relative to 'path') 128 images
val: data/val.txt  # val images (relative to 'path') 128 images
# test: test-dev2017.txt  # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

nc: 1 # number of classes
names: ['fall']  # class names


# Download script/URL (optional)
download: |
  from utils.general import download, Path


  # Download labels
  segments = False  # segment or box labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/yolov5/releases/download/v1.0/'
  urls = [url + ('coco2017labels-segments.zip' if segments else 'coco2017labels.zip')]  # labels
  download(urls, dir=dir.parent)

  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

2.6 修改模型文件

models下有5个模型，smlx需要训练的时间依次增加，按照需求选择一个文件进行修改即可，我选择yolov5s.yaml，只需将nc改为实际值即可；

image-20231129161119063

2.7修改训练tran.py

这里需要对train.py文件内的参数进行修改，weights，cfg，data按照自己所需文件的路径修改，weights如果使用参考博客的文件，将yolov5s.pt下载放到代码根目录下即可，如果使用官方则无需修改，会自行下载。具体参数含义，查看官方文档。我修改内容如下：

image-20231129171756529

2.8 开始训练

执行python train.py

可能报以下错误：

按照提示执行export GIT_PYTHON_REFRESH=quiet继续执行训练命令，就可以开始训练了。
如果误将data/images/自带的两张测试图片删除，会卡在not pretrained!!!!!!!!!!!!!!!!!!!!后，AMP: checks passed前，解决方式可以将图片下载下来重新放回，也可以修改utils/general.py按照如下修改：

im = f if f.exists() else 'https://ultralytics.com/images/bus.jpg' if False else np.ones((640, 640, 3))
# im = f if f.exists() else 'https://ultralytics.com/images/bus.jpg' if check_online() else np.ones((640, 640, 3))

在这里插入图片描述

2.9 验证训练结果

训练结束后在代码根目录下执行检测命令，可以将待检测图片放到data/samples目录下执行

python detect.py --weights runs/train/exp/weights/best.pt --source data/samples/ --device 0 --data data/fall.yaml

注意: 每训练一次都会在runs/train/目录下新创建一个exp加数字文件夹，运行测试用例时选择最新的，测试结果也会保存在runs/detect目录下最新的exp文件夹下

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/214468.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

机器人阻抗控制性能及其实验验证

机器人阻抗控制性能及其实验验证

Impedance Control 机器人阻抗控制是一种控制方法，其目的是构建一个系统使得执行器（如机械臂）能同时控制力和位置。它基于阻抗模型，通过调节机器人的行为，以维持理想的动态关系。这种动态关系可以理解为机器人末端位置…
阅读更多...
2024年天津财经大学珠江学院专升本专业课报名缴费操作流程

2024年天津财经大学珠江学院专升本专业课报名缴费操作流程

天津财经大学珠江学院专升本专业课报名缴费操作流程 天津财经大学珠江学院专升本专业课报名就是缴费，只需要使用中国银行交专业课报名费即可。 缴费操作流程如下： 登录中国银行手机 APP—点击“生活”—在界面 最左上角选择定位为“天津市”—点击“生…
阅读更多...
设计模式之原型模式（2）--深拷贝的实现图文讲解

设计模式之原型模式（2）--深拷贝的实现图文讲解

目录 前言Clone方法复制值类型变量引用类型成员变量只复制引用浅拷贝变深拷贝 示例详解注意事项总结 前言 在上一篇原型模式博客的基础上，今天第二次写，会详细讲解一下从浅拷贝到深拷贝的实现，我也有专门写过一篇关于浅拷贝与深拷贝的文章&am…
阅读更多...
超大规模集成电路设计----MOS器件原理（二）

超大规模集成电路设计----MOS器件原理（二）

本文仅供学习，不作任何商业用途，严禁转载。绝大部分资料来自----数字集成电路——电路、系统与设计(第二版)及中国科学院段成华教授PPT 超大规模集成电路设计----MOS器件原理（二） 半导体物理知识补充介绍1. 半导体材料2. 固体类型…
阅读更多...
Docker快速创建一个单机版的Jenkins实例

Docker快速创建一个单机版的Jenkins实例

谈到 CI/CD，那便少不了这里面的佼佼者 Jenkins，正如 Jenkins 官网说的一样：“Build great things at any scale”，构建伟大，无所不能！ 话不多说，该篇文章将会带你使用 Docker 快速创建一个单机…
阅读更多...
计算机网络（一）| 概述 因特网 性能 协议基本

计算机网络（一）| 概述 因特网 性能 协议基本

文章目录 1. 因特网组成1.1 四元素组成1.2 二元素组成1.3 核心部分 2.计算机网路的功能3. 几种不同类别的网络4 性能指标5 网路协议5.1网络体系结构 6 PDU 互联网（或因特网）之所以能够向用户提供服务，是因为互联网具有两个重要基本特点 连通性…
阅读更多...
Siemens-NXUG二次开发-C/C++/Python环境配置[20231204]

Siemens-NXUG二次开发-C/C++/Python环境配置[20231204]

Siemens-NXUG二次开发-C/C/Python运行方式[20231204] 1.NX/UG C/C/Python API官方开发文档2.运行方式2.1内部模式2.2 外部模式2.3 许可证书服务器启动 3.C/C环境配置4.Python环境配置5.第三方环境配置 1.NX/UG C/C/Python API官方开发文档 西门子NX/UG Python api开发文档&…
阅读更多...
C++ day48 打家劫舍

C++ day48 打家劫舍

题目1：198 打家劫舍 题目链接：打家劫舍 对题目的理解 专业小偷偷盗房屋的钱财，每个房屋存放的金额用非负整数数组表示； 如果两间相邻的房屋在同一晚上被小偷闯入，系统会自动报警； 不触动警报装置的情况…
阅读更多...
简单3D姿态基线模型网络架构与验证【SIM】

简单3D姿态基线模型网络架构与验证【SIM】

在这篇文章中，我们将回顾 ICCV’17 上提出的 Simple 3D Pose Baseline ，即用于 3d 人体姿势估计的简单而有效的基线，也称为 SIM。 NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在…
阅读更多...
Pandas进阶：拼接 concat 使用方法

Pandas进阶：拼接 concat 使用方法

1.处理索引和轴 假设我们有2个关于考试成绩的数据集。 df1 pd.DataFrame（{ name：[A，B，C，D]，math：[60,89,82,70]，physics：[66， 95,83,66]，chemi…
阅读更多...
Siemens-NXUG二次开发-新建与保存prt文件[Python UF][20231204]

Siemens-NXUG二次开发-新建与保存prt文件[Python UF][20231204]

Siemens-NXUG二次开发-新建与保存prt文件[Python UF][20231204] 1.python uf函数1.1 NXOpen.UF.Part.New1.2 NXOpen.UF.Part.Save1.3 NXOpen.UF.Ui.OpenListingWindow1.4 NXOpen.UF.Ui.IsListingWindowOpen1.5 NXOpen.UF.Ui.WriteListingWindow1.6 NXOpen.UF.Ui.SaveListingWin…
阅读更多...
Spring MVC学习随笔-文件下载和上传（配置文件上传解析器multipartResolver）

Spring MVC学习随笔-文件下载和上传（配置文件上传解析器multipartResolver）

学习视频：孙哥说SpringMVC：结合Thymeleaf，重塑你的MVC世界！｜前所未有的Web开发探索之旅 学习视频：【编程不良人】继spring之后快速入门springmvc,面对SpringMVC不用慌 六、SpringMVC 文件上传下载 6.1 文件…
阅读更多...
LeetCode（49）用最少数量的箭引爆气球【区间】【中等】

LeetCode（49）用最少数量的箭引爆气球【区间】【中等】

目录 1.题目2.答案3.提交结果截图 链接： 用最少数量的箭引爆气球 1.题目 有一些球形气球贴在一堵用 XY 平面表示的墙面上。墙面上的气球记录在整数数组 points ，其中points[i] [x_start, x_end] 表示水平直径在 x_start 和 x_end之间的气球。你不知道气…
阅读更多...
【WPF.NET开发】创建简单WPF应用

【WPF.NET开发】创建简单WPF应用

本文内容 先决条件什么是 WPF？配置 IDE创建项目设计用户界面 (UI)调试并测试应用程序 通过本文你将熟悉在使用 Visual Studio 开发应用程序时可使用的许多工具、对话框和设计器。 你将创建“Hello, World”应用程序、设计 UI、添加代码并调试错误。在此期间&#…
阅读更多...
leetcode 142.环形链表2

leetcode 142.环形链表2

我来更新 leetcode 题目了，接着上一次，这一次是上一道题目的提升（有点数学题的感觉） 142.环形链表2 题目 给定一个链表的头节点 head ，返回链表开始入环的第一个节点。 如果链表无环，则返回 null。 如果链表…
阅读更多...
CCKS2023-面向上市公司主营业务的实体链接评测-亚军方案

CCKS2023-面向上市公司主营业务的实体链接评测-亚军方案

赛题分析 大赛地址 https://tianchi.aliyun.com/competition/entrance/532097/information 任务描述 本次任务主要针对上市公司的主营业务进行产品实体链接。需要获得主营业务中的产品实体，将该实体链接到产品数据库中的某一个标准产品实体。产品数据库将发布在竞赛…
阅读更多...
RK3568平台开发系列讲解（Linux系统篇） dtb 到 device_node 的转化

RK3568平台开发系列讲解（Linux系统篇） dtb 到 device_node 的转化

🚀返回专栏总目录 文章目录 一、dtb 展开流程二、dtb 解析过程源码分析沉淀、分享、成长，让自己和他人都能有所收获！😄 📢本篇将介绍通过设备树 dtb 如何展开成 device_node 一、dtb 展开流程 设备树源文件编写： 根据设备树的基本语法和相关知识编写符合规范的设备树。…
阅读更多...
工具类整理

工具类整理

常用工具类 在java的庞大体系中，其实有很多不错的小工具，也就是我们平常说的：轮子。 CollectionUtils 目前比较主流的是spring的org.springframework.util包下的CollectionUtils工具类。和apache的org.apache.commons.collections包下的Co…
阅读更多...
根据豆瓣对《流浪地球》的短评数据进行文本分析和挖掘

根据豆瓣对《流浪地球》的短评数据进行文本分析和挖掘

1背景 2019年2月5日电影《流浪地球》正式在中国内地上映。该电影在举行首映的时候，口德好得出奇，所有去看片的业界大咖都发出了画样赞叹，文化学者能锦说:“中国科幻电影元年开启了。"导演徐峰则说，“里程碑式的电影&#xf…
阅读更多...
实时流式计算 kafkaStream

实时流式计算 kafkaStream

文章目录 实时流式计算Kafka StreamKafka Streams 的关键概念KStreamKafka Stream入门案例编写SpringBoot 集成 Kafka Stream 实时流式计算 一般流式计算会与批量计算相比较 流式计算就相当于上图的右侧扶梯，是可以源源不断的产生数据，源源不断的接收数…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站