|
|
|
@ -1,188 +0,0 @@
|
|
|
|
|
|
|
|
|
|
|
|
# 测试一下
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
在yolov5（image_recognize）目录下执行下列代码
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
```bash
|
|
|
|
|
|
|
|
python detect.py --source data/images/bus.jpg --weights pretrained/yolov5s.pt
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
执行完毕之后将会输出下列信息
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
在runs目录下可以找到检测之后的结果
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
按照官方给出的指令，这里的检测代码功能十分强大，是支持对多种图像和视频流进行检测的，具体的使用方法如下：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
```bash
|
|
|
|
|
|
|
|
python detect.py --source 0 # webcam
|
|
|
|
|
|
|
|
file.jpg # image
|
|
|
|
|
|
|
|
file.mp4 # video
|
|
|
|
|
|
|
|
path/ # directory
|
|
|
|
|
|
|
|
path/*.jpg # glob
|
|
|
|
|
|
|
|
'https://youtu.be/NUsoVlDFqZg' # YouTube video
|
|
|
|
|
|
|
|
'rtsp://example.com/media.mp4' # RTSP, RTMP, HTTP stream
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
# 数据处理
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
这里改成yolo的标注形式
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
数据标注这里推荐的软件是labelimg，通过pip指令即可安装
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
在你的虚拟环境下执行`pip install labelimg -i https://mirror.baidu.com/pypi/simple`命令进行安装，然后在命令行中直接执行labelimg软件即可启动数据标注软件。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
软件启动后的界面如下：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 数据标注
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
虽然是yolo的模型训练，但是这里我们还是选择进行voc格式的标注，方便在其他的代码中使用数据集
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**标注的过程是：**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**1.打开图片目录**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**2.设置标注文件保存的目录并设置自动保存**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**3.开始标注，画框，标记目标的label，`crtl+s`保存，然后d切换到下一张继续标注，不断重复重复**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
labelimg的快捷键如下，学会快捷键可以帮助你提高数据标注的效率。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
标注完成之后你会得到一系列的txt文件，这里的txt文件就是目标检测的标注文件，其中txt文件和图片文件的名称是一一对应的，如下图所示：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
打开具体的标注文件，你将会看到下面的内容，txt文件中每一行表示一个目标，以空格进行区分，分别表示目标的类别id，归一化处理之后的中心点x坐标、y坐标、目标框的w和h。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**4.修改数据集配置文件**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
标记完成的数据请按照下面的格式进行放置，方便程序进行索引。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
```bash
|
|
|
|
|
|
|
|
YOLO_Mask
|
|
|
|
|
|
|
|
└─ score
|
|
|
|
|
|
|
|
├─ images
|
|
|
|
|
|
|
|
│ ├─ test # 下面放测试集图片
|
|
|
|
|
|
|
|
│ ├─ train # 下面放训练集图片
|
|
|
|
|
|
|
|
│ └─ val # 下面放验证集图片
|
|
|
|
|
|
|
|
└─ labels
|
|
|
|
|
|
|
|
├─ test # 下面放测试集标签
|
|
|
|
|
|
|
|
├─ train # 下面放训练集标签
|
|
|
|
|
|
|
|
├─ val # 下面放验证集标签
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
这里的配置文件是为了方便我们后期训练使用，我们需要在data目录下创建一个`mask_data.yaml`的文件，如下图所示：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
到这里，数据集处理部分基本完结撒花了，下面的内容将会是模型训练！
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
# 模型训练
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 模型的基本训练
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
在models下建立一个`mask_yolov5s.yaml`的模型配置文件，内容如下：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
模型训练之前，请确保代码目录下有以下文件
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
执行下列代码运行程序即可：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
python train.py --data mask_data.yaml --cfg mask_yolov5s.yaml --weights pretrained/yolov5s.pt --epoch 100 --batch-size 4 --device cpu
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
训练代码成功执行之后会在命令行中输出下列信息，接下来就是安心等待模型训练结束即可。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
根据数据集的大小和设备的性能，经过漫长的等待之后模型就训练完了，输出如下：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
在`train/runs/exp3`的目录下可以找到训练得到的模型和日志文件
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 模型评估
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
可以用一些学术上的评价指标用来表示我们模型的性能，其中目标检测最常用的评价指标是mAP，mAP是介于0到1之间的一个数字，这个数字越接近于1，就表示你的模型的性能更好。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
一般我们会接触到两个指标，分别是召回率recall和精度precision，两个指标p和r都是简单地从一个角度来判断模型的好坏，均是介于0到1之间的数值，其中接近于1表示模型的性能越好，接近于0表示模型的性能越差，为了综合评价目标检测的性能，一般采用均值平均密度map来进一步评估模型的好坏。我们通过设定不同的置信度的阈值，可以得到在模型在不同的阈值下所计算出的p值和r值，一般情况下，p值和r值是负相关的，绘制出来可以得到如下图所示的曲线，其中曲线的面积我们称AP，目标检测模型中每种目标可计算出一个AP值，对所有的AP值求平均则可以得到模型的mAP值，以本文为例，我们可以计算佩戴安全帽和未佩戴安全帽的两个目标的AP值，我们对两组AP值求平均，可以得到整个模型的mAP值，该值越接近1表示模型的性能越好。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
关于更加学术的定义大家可以在知乎或者csdn上自行查阅，以我们本次训练的模型为例，在模型结束之后你会找到三张图像，分别表示我们模型在验证集上的召回率、准确率和均值平均密度。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
以PR-curve为例，你可以看到我们的模型在验证集上的均值平均密度为0.832。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
如果你的目录下没有这样的曲线，可能是因为你的模型训练一半就停止了，没有执行验证的过程，你可以通过下面的命令来生成这些图片。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
```bash
|
|
|
|
|
|
|
|
python val.py --data data/mask_data.yaml --weights runs/train/exp_yolov5s/weights/best.pt --img 640
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
最后，这里是一张详细的评价指标的解释清单，可以说是最原始的定义了。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 模型使用
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
模型的使用全部集成在了`detect.py`目录下，你按照下面的指令指你要检测的内容即可
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
```bash
|
|
|
|
|
|
|
|
# 检测摄像头
|
|
|
|
|
|
|
|
python detect.py --weights runs/train/exp_yolov5s/weights/best.pt --source 0 # webcam
|
|
|
|
|
|
|
|
# 检测图片文件
|
|
|
|
|
|
|
|
python detect.py --weights runs/train/exp_yolov5s/weights/best.pt --source file.jpg # image
|
|
|
|
|
|
|
|
# 检测视频文件
|
|
|
|
|
|
|
|
python detect.py --weights runs/train/exp_yolov5s/weights/best.pt --source file.mp4 # video
|
|
|
|
|
|
|
|
# 检测一个目录下的文件
|
|
|
|
|
|
|
|
python detect.py --weights runs/train/exp_yolov5s/weights/best.pt path/ # directory
|
|
|
|
|
|
|
|
# 检测网络视频
|
|
|
|
|
|
|
|
python detect.py --weights runs/train/exp_yolov5s/weights/best.pt 'https://youtu.be/NUsoVlDFqZg' # YouTube video
|
|
|
|
|
|
|
|
# 检测流媒体
|
|
|
|
|
|
|
|
python detect.py --weights runs/train/exp_yolov5s/weights/best.pt 'rtsp://example.com/media.mp4' # RTSP, RTMP, HTTP stream
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
比如以我们的口罩模型为例，如果我们执行`python detect.py --weights runs/train/exp_yolov5s/weights/best.pt --source data/images/fishman.jpg`的命令便可以得到这样的一张检测结果。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 构建可视化界面
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
可视化界面的部分在`window.py`文件中，是通过pyqt5完成的界面设计，在启动界面前，你需要将模型替换成你训练好的模型，替换的位置在`window.py`的第60行，修改成你的模型地址即可，如果你有GPU的话，可以将device设置为0，表示使用第0行GPU，这样可以加快模型的识别速度嗷。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
替换之后直接右键run即可启动图形化界面了
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
