大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

2.Keras建立多层感知器模型(接上一篇)

2.1简单介绍多层感知器模型

注：以下模型及其说明来自于《TensorFlow+Keras深度学习人工智能实践应用》林大贵 著

以矩阵方式仿真多层感知器模型的工作方式(如下图所示)

建立输入与隐藏层的公式：

h1=ReLu(x*w1+b1)

建立隐藏层与输出层公式：

y=softmax(h1*w2+b2)

2.2建立多层感知器模型的步骤

建立多层感知器模型识别MNIST数据集中的手写数字步骤如下图所示

2.3对数据进行预处理

输入上一篇文章讲到的关键代码

import numpy as np                             #导入相关包
import pandas as pd
from keras.utils import np_utils
from keras.datasets import mnist
np.random.seed(10)

(X_train_image,y_train_label),(X_test_image,y_test_label)=mnist.load_data() #读取MNIST数据

import matplotlib.pyplot as plt
def plot_image(image):                     #定义显示某个数字图像的函数
    fig=plt.gcf()
    fig.set_size_inches(2,2)
    plt.imshow(image,cmap='binary')
    plt.show()

def plot_images_labels_prediction(images,labels,prediction,idx,num=10):   #定义显示features，labels和prediction的函数
    fig=plt.gcf()
    fig.set_size_inches(12,14)
    if num>25:
        num=25
    for i in range(0,num):
        ax=plt.subplot(5,5,1+i)
        ax.imshow(images[idx],cmap='binary')
        title="label="+str(labels[idx])
        if len(prediction)>0:
            title+=",prediction="+str(prediction[idx])
        ax.set_title(title,fontsize=10)
        ax.set_xticks([])
        ax.set_yticks([])
        idx+=1
    plt.show()

X_Train=X_train_image.reshape(60000,784).astype('float32')   #将特征值转换为一维向量
X_Test=X_test_image.reshape(10000,784).astype('float32')

X_Train_normalize=X_Train/255  #将一维向量的数字标准化
X_Test_normalize=X_Test/255

y_TrainOneHot=np_utils.to_categorical(y_train_label)  #将labels转换为One-Hot Encoding
y_TestOneHot=np_utils.to_categorical(y_test_label)

2.4建立模型并开始训练

导入相关模块

from keras.models import Sequential
from keras.layers import Dense
from keras.layers import Dropout

建立Sequential模型，并且加入‘’输入层“，”Dropout功能“和”输出层“

model=Sequential()                    #建立模型
model.add(Dense(units=256,            #定义”隐藏层“神经元个数为256
                input_dim=784,        #定义”输入层“神经元个数为784，因为28*28=784
                kernel_initializer='normal',  #使用normal distribution正态分布来初始化权重(weight)和偏差
                activation='relu'))  #定义激活函数为relu
model.add(Dropout(0.5))              #加入Doupout功能，防止过拟合
model.add(Dense(units=10,            #定义”输出层“神经元个数为10，代表0～9个数
               kernel_initializer='normal',
               activation='softmax')) #激活函数为softmax

定义训练方式

model.compile(loss='categorical_crossentropy',optimizer='adam',metrics=['accuracy'])

各参数的解释如下表

接下来开始训练

train_history=model.fit(x=X_Train_normalize,y=y_TrainOneHot,validation_split=0.2,epochs=10,batch_size=200,verbose=2)

执行代码，运行结果如下

可以看到，训练样本原来是60000的，把其中的48000作为训练集，剩下的12000作为验证集。另外，我们还注意到，loss(训练集的损失函数)和val_loss(验证集的损失函数)在逐步减小，acc(训练集的准确率)和val_acc(验证集的准确率)在提升。

接下来我们定义一个函数显示训练过程

def show_train_history(train_histroy,train,validation): #输入参数为train_history和train_histroy.history中的索引train，validation
    plt.plot(train_histroy.history[train])            #train_histroy.history是一个字典
    plt.plot(train_history.history[validation])
    plt.title('Train Histroy')
    plt.ylabel(train)
    plt.xlabel('epoch')
    plt.legend(['train','validation'],loc='upper left')
    plt.show()

画出准确率曲线

show_train_history(train_history,'acc','val_acc')

执行结果

可以看到，训练和验证的准确率都随着epoch增加而增加，即准确率越来越高。

顺便再看下损失函数的曲线图

show_train_history(train_history,'loss','val_loss')

损失函数在逐步减小。

接下来，模型训练完后，在开始预测前，我们先评估一下训练模型的准确率是多少

scores=model.evaluate(X_Test_normalize,y_TestOneHot)
print(scores)

运行结果

说明：X_Test_normalize为测试集，y_TestOneHot为标签，scores的第一项为损失函数，第二项为准确率，可以看到用测试集评估该模型的准确率为0.9768。

最后，开始预测

prediction=model.predict_classes(X_Test)

我们看下前25项的预测结果

plot_images_labels_prediction(X_test_image,y_test_label,prediction,idx=1,num=25)

运行结果

容易得知，10000个测试数据中肯定有预测错的，我们可以定义一个函数来查看预测错误的数量和图形

def show_wrong(images,labels,prediction):
    fig=plt.gcf()
    fig.set_size_inches(20,60)
    array=[]
    for i in range(0,10000):
        if(str(labels[i])!=str(prediction[i])):            #把测试集的标签和预测结果进行比较，不相等的就是预测错误的，用一个数组保存不相等的索引
            array.append(i)
    for i in range(0,len(array)):
        ax=plt.subplot(30,8,1+i)
        ax.imshow(images[array[i]],cmap='binary')
        title="label="+str(labels[array[i]])+",prediction="+str(prediction[array[i]])
        ax.set_title(title,fontsize=12)
        ax.set_xticks([])
        ax.set_yticks([])
    plt.show()
    print("预测错误的一共有"+str(len(array))+"个")

运行

show_wrong(x_Test,y_Test,prediction)

由于一共有240个图形是被预测错误的，篇幅较长，所以只截了最后的一小部分图

另外，我们还可以建立一个混淆矩阵来统计查看什么数字的预测准确率最高，哪些数字最容易被预测错误。
这里用pandas建立一个混淆矩阵

import pandas as pd
pd.crosstab(y_test_label,prediction,rownames=['lable'],colnames=['prediction'])

运行结果

根据经验，可以看出多层感知器模型识别的准确率不是很高，只有0.9768，要想提高准确率，还可以增加隐藏层神经元的个数，但是这样做会增加训练的时间，并且效率也很低，本人试过把隐藏层的神经元个数增加到1000个，准确率是0.9779，或者再增加一个隐藏层，得到的准确率是0.9797。如果想进一步提高准确率，就应该使用卷积神经网络了。