表情识别

2019.12更新了仓库依赖。

简介

使用卷积神经网络构建整个系统，在尝试了Gabor、LBP等传统人脸特征提取方式基础上，深度模型效果显著。在FER2013、JAFFE和CK+三个表情识别数据集上进行模型评估。

环境部署

基于Python3和Keras2（TensorFlow后端），具体依赖安装如下(推荐使用conda或者venv虚拟环境)

git clone https://github.com/luanshiyinyang/ExpressionRecognition.git
cd ExpressionRecognition
pip install -r requirements.txt

数据准备

数据集和预训练模型均已经上传到百度网盘，链接给出，提取密码为2pmd。

项目说明

传统方法
- 数据预处理
  - 图片降噪
  - 人脸检测
    - HAAR分类器检测（opencv）
- 特征工程
  - 人脸特征提取
    - LBP
    - Gabor
  - 分类器
    - SVM
深度方法
- 数据预处理
  - 人脸检测
    - HAAR分类器
    - MTCNN（效果更好）
- 卷积神经网络
  - 用于特征提取+分类

网络设计

使用经典的卷积神经网络，模型的构建主要参考2018年CVPR几篇论文以及谷歌的Going Deeper设计如下网络结构，输入层后加入(1,1)卷积层增加非线性表示且模型层次较浅，参数较少（大量参数集中在全连接层）。

微表情识别

模型训练

主要在FER2013、JAFFE、CK+上进行训练，JAFFE给出的是半身图因此做了人脸检测。最后在FER2013上Pub Test和Pri Test均达到67%左右准确率（该数据集爬虫采集存在标签错误、水印、动画图片等问题），JAFFE和CK+5折交叉验证均达到99%左右准确率（这两个数据集为实验室采集，较为准确标准）。

训练过程见train.ipynb文件

微表情识别