首页 > 编程学习 > 时序动作分割(temporal action segmentation)任务介绍

时序动作分割任务: 输入是一个未经裁剪的视频,输出是视频中每一帧的动作类别。所以该任务可以理解为对每一帧视频进行打标签处理(类同于图片分割是给每个像素打标签)。

一、算法介绍

  • MS-TCN/MS-TCN++
  • Global2Local

二、常用数据集介绍

2.1 Breakfast

数据集形式:

  1. 数据集有1712段第三视角的视频。
  2. 所有视频是在18个不同的厨房录制的,视频内容是做早餐的一些动作。
  3. 总共有48个动作类别,且每段视频平均包含6个动作类别。
  4. 视频的平均帧数为2097帧

图示:
在这里插入图片描述

2.2 50Salads

数据集形式:

  1. 数据集有50段视频,视频录制是俯视视角
  2. 视频由25个被拍摄者,每人做两个salad录制下来的
  3. 总共有17个动作类别
  4. 视频的平均帧数为11552

图示:
在这里插入图片描述

2.3 GTEA

数据集形式:

  1. 数据集有28段视频,视频录制是第一人称视角
  2. 视频由4个被拍摄者准备咖啡或者三明治等7种日常活动
  3. 总共有11个动作类别
  4. 视频的平均帧数为1115

图示:
在这里插入图片描述

2.4 MPII Cooking 2

该数据集目前使用较少

数据集形式:

  1. 数据集有273段视频
  2. 视频时长在40秒到40分之间
  3. 总共有67个动作类别,其中有6动作个不在测试集里面

2.5 MERL Shopping

该数据集目前使用较少

数据集形式:

  1. 数据集有96个视频时长为2分钟的视频,60个训练、
  2. 使用HD摄像头俯视拍摄
  3. 总共有32个被拍摄者,每个人3段视频拍摄于不同的日期
  4. 总共有5类动作,Reach to Shelf, Retract from Shelf, Hand in Shelf, Inspect Product, Inspect Shelf

其它视频任务介绍请查看-文章<<主流的视频动作类算法任务介绍>>

Copyright © 2010-2022 mfbz.cn 版权所有 |关于我们| 联系方式|豫ICP备15888888号