使用matlab自带工具实现rcnn

平台：matlab2016b

matlab自带一个cifar10Net工具可用于深度学习。

图片标注

这里使用的是matlab自带的工具trainingImageLabeler对图像进行roi的标注。

选择AddImages将要训练的图片放进去(可以放入多张图片)，在ROI Label区域右键可以选择改变label 的color和name，如果要训练多个类，也可以点击Add ROI Label来添加label。

所有图像标注完成后点击Export ROIs后会得到一个table（或stuct）变量，使用

save(‘file’，‘variable’);


命令来保存

因为cifar10Net使用的是table，如果你的数据集使用的是stuct，

这里使用

data=struct2table(file);


来将stuct转化为table

imageFilename代表了图片所存储的位置；

tire代表了图片中标注的轮胎，用矩阵存储，分别为roi左上的坐标(x,y)和roi的大小(width,height)；

RCNN训练

我们来查看下网络结构

load('rcnnStopSigns.mat','cifar10Net');
cifar10Net.Layers


会得到以下输出

ans = 15x1 Layer array with layers: 1 'imageinput' Image Input 32x32x3 images with 'zerocenter' normalization
2 'conv' Convolution 32 5x5x3 convolutions with stride [1 1] and padding [2 2]
3 'relu' ReLU ReLU
4 'maxpool' Max Pooling 3x3 max pooling with stride [2 2] and padding [0 0]
5 'conv_1' Convolution 32 5x5x32 convolutions with stride [1 1] and padding [2 2]
6 'relu_1' ReLU ReLU
7 'maxpool_1' Max Pooling 3x3 max pooling with stride [2 2] and padding [0 0]
8 'conv_2' Convolution 64 5x5x32 convolutions with stride [1 1] and padding [2 2]
9 'relu_2' ReLU ReLU
10 'maxpool_2' Max Pooling 3x3 max pooling with stride [2 2] and padding [0 0]
11 'fc' Fully Connected 64 fully connected layer
12 'relu_3' ReLU ReLU
13 'fc_1' Fully Connected 10 fully connected layer
14 'softmax' Softmax softmax
15 'classoutput' Classification Output cross-entropy with 'airplane', 'automobile', and 8 other classes


通过观察可以看出，一共只有三个卷积层

我们要对这个网络进行微调，因为我这里只训练了一个车轮，提供的数据中还包含有无标注的图片，所以全连接层的输出要改成2。后面再接上一个softmax层和一个classificationLayer,并且定义训练方式：

x=cifar10Net.Layers(1:end-3);lastlayers = [
fullyConnectedLayer(2,'Name','fc8','WeightLearnRateFactor',1, 'BiasLearnRateFactor',1)
softmaxLayer('Name','softmax')
classificationLayer('Name','classification')
];options = trainingOptions('sgdm', ...
'MiniBatchSize', 32, ...
'InitialLearnRate', 1e-6, ...
'MaxEpochs', 100);


RCNN的训练主要使用trainRCNNObjectDetector.m函数

detector = trainRCNNObjectDetector（groundTruth，network，options）


groundTruth - 具有2个或更多列的表。 第一列必须包含图像文件名。 图像可以是灰度或真彩色，可以是IMREAD支持的任何格式。 其余列必须包含指定每个图像内对象位置的[x，y，width，height]边框的M×4矩阵。 每列表示单个对象类，例如。 人，车，狗。 其实就是之前使用trainingImageLabeler做标注得到的数据。

network - 即为CNN的网络结构

options - 即为网络训练的参数。包括初始化学习率、迭代次数、BatchSize等等。

除了以上三个参数外，还有

‘PositiveOverlapRange’ - 一个双元素向量，指定0和1之间的边界框重叠比例范围。与指定范围内(即之前做图片标注画出的框)的边界框重叠的区域提案被用作正训练样本。Default: [0.5 1]

‘NegativeOverlapRange’ - 一个双元素向量，指定0和1之间的边界框重叠比例范围。与指定范围内(即之前做图片标注画出的框)的边界框重叠的区域提案被用作负训练样本。Default: [0.1 0.5]

在训练之前，RCNN会从训练图片中得到很多候选框，其中满足正样本要求的会被当做训练正样本，而满足负样本要求的会被当做训练负样本。

‘NumStrongestRegions’ - 用于生成训练样本的最强区域建议的最大数量(即最后得到的候选框数量)。 降低该值以加快处理时间，以训练准确性为代价。 将此设置为inf以使用所有区域提案。Default: 2000

之后对训练完成的结果进行检测

clear;
tic;
load myRCNN.mat;
detectedImg = imread('cars_train_croped(227_227)\08031.jpg');[bbox, score, label] = detect(myRCNN, detectedImg, 'MiniBatchSize', 20);imshow(detectedImg);idx=find(score>0.1);
bbox = bbox(idx, :);
n=size(idx,1);
for i=1:n
annotation = sprintf('%s: (Confidence = %f)', label(idx(i)), score(idx(i)));
de = insertObjectAnnotation(detectedImg, 'rectangle', bbox(i,:), annotation);
endfigure
imshow(de);
toc;


参考博客：https://blog.csdn.net/qq_33801763/article/details/77185457

https://blog.csdn.net/mr_curry/article/details/53160914

https://blog.csdn.net/u014096352/article/details/72854077