大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46，售后保障稳定

在已有模型上finetune自己的数据训练一个模型

1、准备训练数据和测试数据

2、制作标签

3、数据转换,将图片转为LMDB格式

前三步的过程和 如何利用自己的数据训练一个分类网络 是一样的，参考处理即可。

4、修改网络模型文件

复制/caffe-root/models/finetune_flickr_style文件夹下面的deploy.prototxt readme.md solver.prototxt train_val.prototxt四个文件到自己的finetune项目根目录/caffe-root/models/finetune_test/下

vim train_val.prototxt

• 修改train_val.prototxt中的数据层，设置成caffeNet中的train_val.prototxt一样，使用lmdb输入数据。

layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TRAIN }
  transform_param { crop_size: 227 # 传入的图片是256*256，现在在其中框出一个227*227的小图片 以此来增大训练集 mean_value: 104 # 通用均值 mean_value: 117 mean_value: 123 mirror: true # 镜像操作 扩大数据集 }
  data_param { source: "/home/weijian/caffe/models/classification_CNN/lmdb/train" batch_size: 100 backend: LMDB }
}
layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TEST }
  transform_param { crop_size: 227 mean_value: 104 mean_value: 117 mean_value: 123 mirror: false }
  data_param { source: "/home/weijian/caffe/models/classification_CNN/lmdb/test" batch_size: 50 backend: LMDB }
}  

Jetbrains全家桶1年46，售后保障稳定

• 修改最后的一个全连接层fc8_flickr，finetune的目的是重塑最后这个全连接层fc8_flickr，其他层的参数不变。

layer { name: "fc8_flickr" # 原网络结构文件中，最后的一层就是fc8，我们在这里希望自行设计最后一层，所以我们齐了另外一个名字fc8_flickr，如果还是继续沿用fc8这个名字，就会造成finetune的时候，以前caffemodel里面的参数和权值直接填充进去。 type: "InnerProduct" bottom: "fc7" top: "fc8_flickr" # lr_mult is set to higher than for other layers, because this layer is starting from random while the others are already trained param { lr_mult: 10 # 基本学习率乘以10 decay_mult: 1 }
  param { lr_mult: 20 decay_mult: 0 }
  inner_product_param { num_output: 5 # 这里根据实际情况，有几种数据，就改成几。因为有house、flower、animal、guitar、plane五种数据，所以改成了5。 weight_filler { type: "gaussian" std: 0.01 }
    bias_filler { type: "constant" value: 0 }
  }
}

注意，这个fc8_flickr层下面的Accuracy层的bottom是fc8_flickr。

vim deploy.prototxt

layer { name: "fc8_flickr" type: "InnerProduct" bottom: "fc7" top: "fc8_flickr" # lr_mult is set to higher than for other layers, because this layer is starting from random while the others are already trained param { lr_mult: 10 decay_mult: 1 }
  param { lr_mult: 20 decay_mult: 0 }
  inner_product_param { num_output: 5 # 这里只是修改num_output为5即可。 weight_filler { type: "gaussian" std: 0.01 }
    bias_filler { type: "constant" value: 0 }
  }
}

5、修改超参数文件

修改net为刚刚我们修改的那个train_val.prototxt

还需要修改test_iter、test_interval、snapshot_prefix、solver_mode、type等内容

因为是在做微调，所以设置base_lr很小，仅为0.001。

net: "/home/weijian/caffe/models/finetune_test/train_val.prototxt"
test_iter: 30
test_interval: 250 
# lr for fine-tuning should be lower than when starting from scratch
base_lr: 0.001
lr_policy: "step"
gamma: 0.1
# stepsize should also be lower, as we're closer to being done
stepsize: 1000   每1000的迭代降低学习率：乘以gamma
display: 100
max_iter: 150000
momentum: 0.9
weight_decay: 0.0005
snapshot: 5000
snapshot_prefix: "/home/weijian/caffe/models/finetune_flickr_style/models/type"
# uncomment the following to default to CPU mode solving
type: "AdaDelta"
solver_mode: GPU

6、训练模型

vim train.sh

#!/usr/bin/env sh
set -e

log_path="logs/"
mkdir -p $log_path

save_model_path="caffemodel/"
mkdir -p $save_model_path

# training log
file_prefix="classification_CNN"
log_file=$(date -d "today" +"%Y-%m-%d-%H:%M:%S")
log_file=$log_path$file_prefix$log_file".log"

# caffe execute file path
caffe_bin="/home/weijian/caffe/build/tools/caffe"


# finetune
$caffe_bin train --solver=solver.prototxt --weights=bvlc_reference_caffenet.caffemodel 2>&1 | tee ./logs/finetune_test.log

7、测试

修改以下部分，其余和 这里 一样。

#网络结构描述文件
deploy_file = caffe_root+'models/finetune_test/deploy.prototxt'
#训练好的模型
model_file = caffe_root+'models/finetune_test/models/solver_iter_15000.caffemodel'

finetune的好处

• 如果我们想自己训练一个效果较好的模型，需要大量的数据，非常优秀的硬件条件，以及漫长的训练时间，但是，我们可以利用现有的caffemodel模型训练利用较少的数据训练一个效果较好的模型。