爱分享

电脑基础 · 2023年3月31日

COCO数据集的介绍和使用

        这篇文章是我研究生阶段入学期间学习所记，主要供自己使用，结合了论文原作和源码，中间借鉴的一些b站的视频以及他人博客的解释，会在文章末尾贴出链接。

目录

COCO数据集的介绍

COCO数据集标注格式

pycocotools的安装和coco api的简单介绍

pycocotools的安装

coco api的简单介绍

pycocotools简单使用实例

COCO数据集的介绍

        COCO数据集是微软公司出资标注的数据集，主要用于目标检测、分割和图像描述。根据官网的介绍，它主要有以下的几种特性：

  • Object Segmentation：目标分割
  • Recognition in Context：图像情景识别
  • Superpixel stuff segmentation：超像素分割
  • 330K images(>200K labeled)：有330K张图片，其中超过200K张是标注过的
  • 1.5 million object instances：150万个对象实例
  • 80 object categories：80个目标类别
  • 91 stuff categories：91个对象类别
  • 5 captions per image：每张图片有5个描述
  • 250K people with keypotins：有25万人的图片进行了关键点标注

        前几个特性都是很好理解也是属于比较热门的几个研究方向，主要的疑惑点是在 80 object categories 和 91 stuff categories ，接下来进行解释：

  • 对于所谓的“stuff categories”，论文中的描述是where “stuff” categories include materials and objects with no clear boundaries (sky, street, grass)，即标注了91类没有明确边界的对象(诸如天空，街道，草地)。
  • 其次注意80 object categories和91 stuff categories的区别，论文中用一段文字来描述了它们的区别，简单来说就是80类是91类的一个子集，去掉了一些难以分类和容易混淆的类别，一般来说我们都会使用这个80分类。

80类别包含：

person(人)  
bicycle(自行车)  car(汽车)  motorbike(摩托车)  aeroplane(飞机)  bus(公共汽车)  train(火车) truck(卡车)  boat(船)  
traffic light(信号灯)  fire hydrant(消防栓)  stop sign(停车标志)  parking meter(停车计费器) bench(长凳)  
bird(鸟)  cat(猫)  dog(狗)  horse(马)  sheep(羊)  cow(牛)  elephant(大象)  bear(熊)  zebra(斑马) giraffe(长颈鹿)  
backpack(背包)  umbrella(雨伞)  handbag(手提包)  tie(领带)  suitcase(手提箱)  
frisbee(飞盘)  skis(滑雪板双脚)  snowboard(滑雪板)  sports ball(运动球)  kite(风筝) baseball bat(棒球棒)  baseball glove(棒球手套)  skateboard(滑板)  surfboard(冲浪板)  tennis racket(网球拍)  
bottle(瓶子)  wine glass(高脚杯)  cup(茶杯)  fork(叉子)  knife(刀)
spoon(勺子)  bowl(碗)  
banana(香蕉)  apple(苹果)  sandwich(三明治)  orange(橘子)  broccoli(西兰花)  carrot(胡萝卜)  hot dog(热狗)  pizza(披萨)  donut(甜甜圈)  cake(蛋糕)
chair(椅子)  sofa(沙发)  pottedplant(盆栽植物)  bed(床)  diningtable(餐桌)  toilet(厕所) tvmonitor(电视机)  
laptop(笔记本)  mouse(鼠标)  remote(遥控器)  keyboard(键盘)  cell phone(电话)  
microwave(微波炉)  oven(烤箱)  toaster(烤面包器)  sink(水槽)  refrigerator(冰箱)
book(书)  clock(闹钟)  vase(花瓶)  scissors(剪刀)  teddy bear(泰迪熊)  hair drier(吹风机)  toothbrush(牙刷)

COCO数据集的介绍和使用

COCO数据集标注格式

        首先从coco官网下载数据集，本文以coco2017为例，下载得到train,val以及annotations，创建一个coco2017目录：

├── coco2017: 数据集根目录
     ├── train2017: 所有训练图像文件夹(118287张)
     ├── val2017: 所有验证图像文件夹(5000张)
     └── annotations: 对应标注文件夹
               ├── instances_train2017.json: 对应目标检测、分割任务的训练集标注文件
               ├── instances_val2017.json: 对应目标检测、分割任务的验证集标注文件
               ├── captions_train2017.json: 对应图像描述的训练集标注文件
               ├── captions_val2017.json: 对应图像描述的验证集标注文件
               ├── person_keypoints_train2017.json: 对应人体关键点检测的训练集标注文件
               └── person_keypoints_val2017.json: 对应人体关键点检测的验证集标注文件夹
          

         其中annotation中，我仅关注instances_train2017.json和instances_val2017.json两个用于目标检测的标注文件。

        接下来我来分析标注文件信息中对我有用的信息，使用json库来查看标注文件，输入以下程序：

import json
file_path = './instances_val2017.json'
json_info = json.load(open(file_path,'r'))
print(json_info["info"])

        然后在第四行前插入断点，进行调试，在变量表可以看到以下信息：

        “info”字段和“licenses”字段完全没有用处，不予解释。

        我主要来关注"images"字段：点开images字段，其中包含所有图片的信息，如下图所示

COCO数据集的介绍和使用

         以点开第一个"0000"为例，如下图，里面的主要信息是"file_name"，表示图片的文件名；“coco_url”，表示可以下载到这张图片的url地址；“height”和“weight”表示图片的高和宽；而剩下的信息对我都没什么作用，便不在此赘述。

COCO数据集的介绍和使用

         接下来来看“annotation”字段，展开"annotation"字段可以看到以下类似“images”字段的信息：

COCO数据集的介绍和使用

        我仍以展开00000为例， 其中“segmentation”字段表示分割图像的坐标点信息；“area”字段表示图像的面积；“iscrowd”字段表示图像中标注的对象是否有重叠；“image_id”字段表示图片的id；“bbox”字段全程是bounding box，表示锚框信息，要注意此处的锚框信息，前两个数值表示的是目标锚框左上角的坐标信息，而后两个数值分别表示宽高；“category_id”字段表示这张图片的类别(在91类目标中的索引)；其他信息不作赘述。

COCO数据集的介绍和使用

         最后一个字段就是“categories”，这个字段长80，即代表了八十个类别，点开后里面的信息包含这个类别的名字，所属的类别(比如自行车，汽车属于交通工具)，不在此过多赘述，可以看下图：

COCO数据集的介绍和使用

        至此，coco数据集的标注信息基本介绍完毕。

pycocotools的安装和coco api的简单介绍

pycocotools的安装

        我是在windows环境下，在Anaconda prompt上进行pycocotools的安装，输入以下命令：

pip install pycocotools-windows

coco api的简单介绍

  初始化coco实例：

from pycocotools.coco import COCO
val_annotation_file = './instances_val2017.json'
coco = COCO(annotation_file = val_annotation_file)

其中coco变量如下图所示：COCO数据集的介绍和使用

 我们右键选择COCO，“go to”到“Implementation”可以看到COCO类中有以下函数：COCO数据集的介绍和使用

         COCO.getAnnIds(self, imgIds=[], catIds=[], areaRng=[], iscrowd=None)，主要参数是imgIds，传入图片的id，返回这个图像的所有标注信息的index列表。详细的参数如下图所示：

COCO数据集的介绍和使用

        而getAnnIds通常会和loadAnns配合使用，COCO.loadAnns(self, ids=[])，传入annotation index信息，会返回对应标注信息index的标注详细信息。详细的参数列表如下图所示：

COCO数据集的介绍和使用

         注意返回的字典含有一系列信息，其中bbox字段是锚框信息，分别是x,y,w,h，前两者是左上角坐标位置，后两者是锚框宽高，详细形式如下图所示：

COCO数据集的介绍和使用

         COCO.loadImgs(self, ids=[])，传入图片的id，会返回对应id的图片的详细信息，如下图所示：COCO数据集的介绍和使用

pycocotools简单使用实例

import os
from pycocotools.coco import COCO
from PIL import Image, ImageDraw
import matplotlib.pyplot as plt
val_annotation_file = "./annotations/instances_val2017.json"
val_img_file = './val2017'
coco = COCO(annotation_file=val_annotation_file)
coco_classes = dict([(v["id"], v["name"]) for k, v in coco.cats.items()])
idx = list(sorted(coco.imgs.keys()))
img_id = idx[0] #排序后最小的图片id为139 ，即img_id=139
ann_idx = coco.getAnnIds(imgIds=img_id)
objects = coco.loadAnns(ann_idx)
#获取图片
##获取图片路径名
path = coco.loadImgs(img_id)[0]["file_name"]
##读取139号图片
img = Image.open(os.path.join(val_img_file, path)).convert('RGB')
#在图片上绘制矩形框
draw = ImageDraw.Draw(img)
##一个图片可能会含有多个锚框，对每一个都进行描绘
for object in objects:
    x,y,w,h = object["bbox"]
    x1,y1,x2,y2 = x, y, int(x+w), int(y+h)
    draw.rectangle((x1, y1, x2, y2))
    draw.text((x1, y1), coco_classes[object["category_id"]])
##使用matplotlib绘制
plt.imshow(img)
plt.show()

 最后得到结果如图所示：

COCO数据集的介绍和使用

MS COCO数据集介绍以及pycocotools简单使用

 COCO数据集论文下载地址

标签：

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注