多层感知机实现(单层感知器和多层感知器)

前面利用了softmax来对图像进行分类,也可以使用多层感知机的方法对图像进行分类。多层感知机从零开始实现方法多层感知机(multilayerperceptron,MLP),在单层神经网络的基础上引入了一到多个隐藏层(hiddenlayer)。对于图中的感知机来说,它含有一个隐藏层,该层中有5个隐藏单元。输入和输出个数分别为4和3,中间的隐藏层中包含了5个隐藏单元。…

大家好,又见面了,我是你们的朋友全栈君。

前面利用了softmax来对图像进行分类,也可以使用多层感知机的方法对图像进行分类。

多层感知机从零开始实现方法

多层感知机(
multilayer perceptron

MLP),在单层神经网络的基础上引入了一到多个隐藏层(hidden layer)。
 
多层感知机实现(单层感知器和多层感知器)
 
对于图中的感知机来说,
它含有一个隐藏层,该层中有
5个隐藏单元。输入和输出个数分别为
4

3
,中间的隐藏层中包含了
5个隐藏单元。由于输入层不涉及计算,图
中的多层感知机的层数为
2
隐藏层位于输入层和输出层之间。
隐藏层中
的神经元和输入层中各个输入完全连接,输出层中的神经元和隐藏层中的各个神经元也完全连接。因
此,多层感知机中的隐藏层和输出层都是全连接层。
 

1.导入包

import torch
import numpy as np
import sys
sys.path.append("..") # 为了导入上层目录的d2lzh_pytorch
import d2lzh_pytorch as d2l

print(torch.__version__)

2.获取和读取数据

使用
Fashion-MNIST
数据集。我们将使用多层感知机对图像进行分类。
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

3.定义模型参数

Fashion-MNIST
数据集中图像形状为 28×28,类别数为10
。本节中我们依然使用长度为 28×28=784的向量表示每一张图像。因此,输入个数为784
,输出个数为
10
。实验中,我们设超参数隐藏单元个数为
256
num_inputs, num_outputs, num_hiddens = 784, 10, 256

W1 = torch.tensor(np.random.normal(0, 0.01, (num_inputs, num_hiddens)), dtype=torch.float)
b1 = torch.zeros(num_hiddens, dtype=torch.float)
W2 = torch.tensor(np.random.normal(0, 0.01, (num_hiddens, num_outputs)), dtype=torch.float)
b2 = torch.zeros(num_outputs, dtype=torch.float)

params = [W1, b1, W2, b2]
for param in params:
    param.requires_grad_(requires_grad=True)

4.定义激活函数

使用基础的
max
函数来实现
ReLU
,而非直接调用
relu
函数。
def relu(X):
    return torch.max(input=X, other=torch.tensor(0.0))

5.定义模型

通过
view
函数将每张原始图像改成长度为
num_inputs
的向量。然后我们实现上一节中多层感知机的计算表达式。
def net(X):
    X = X.view((-1, num_inputs))
    H = relu(torch.matmul(X, W1) + b1)
    return torch.matmul(H, W2) + b2

6.定义损失函数

直接使用
PyTorch
提供的包括
softmax运算和交叉熵损失计算的函数。
loss = torch.nn.CrossEntropyLoss()

7.训练模型

num_epochs, lr = 5, 100.0
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, params, lr)

多层感知机实现(单层感知器和多层感知器)

简洁实现的方法:

1.定义模型

num_inputs, num_outputs, num_hiddens = 784, 10, 256
    
net = nn.Sequential(
        d2l.FlattenLayer(),
        nn.Linear(num_inputs, num_hiddens),
        nn.ReLU(),
        nn.Linear(num_hiddens, num_outputs), 
        )
    
for params in net.parameters():
    init.normal_(params, mean=0, std=0.01)

2.读取数据并训练模型

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
loss = torch.nn.CrossEntropyLoss()

optimizer = torch.optim.SGD(net.parameters(), lr=0.5)

num_epochs = 5
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None, None, optimizer)

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/128148.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • C#生成ANSI编码格式的文件[通俗易懂]

    C#生成ANSI编码格式的文件[通俗易懂]使用GB2312以代表ANSI编码stringfileName=”D:\\1234.txt”;StreamWritersw=newStreamWriter(fileName,false,Encoding.GetEncoding(“GB2312”));sw.WriteLine(“col1,col2,col3”);sw.WriteLine(“繁體中文,2,3”);sw.WriteLine(“简体中文,2,3”);sw.WriteLine(“English,2,3”);sw.C

    2025年12月9日
    4
  • Could not download kotlin-reflect.jar 完美解决

    Could not download kotlin-reflect.jar 完美解决

    2021年10月1日
    53
  • 加密那点事

    加密那点事加密是个神奇而古老的技术,被应用于战争、贸易等场景,而最近的炙手可热的比特币和区块链技术又让某些极为小众的计算机专业领域的加密技术进入大家视野,例如HASH、非对称加密算法RSA这些关键词。数据加密在区块链…

    2022年6月3日
    32
  • 我给大家整理了50个开源的Java项目

    我给大家整理了50个开源的Java项目大家好,我是孟哥。在学习交流群,其他小伙伴总是问我:孟哥,项目能不能搞得全一些。我想一次学个够。撸完50个项目,我住院了,但是好在项目总结完了。孟哥花了好几天,一次撸了50个项目给大家,非常的香,技术、知识非常的的全面。学起来贼带劲。源码开源,关注+评论(50个源码)+转发,私信我获取源码。系统的截图如下所示:源码开源,关注+评论(50个源码)+转发,私信我获取源码。…

    2022年7月7日
    22
  • C++中关于[]静态数组和new分配的动态数组的区别分析

    这篇文章主要介绍了C++中关于[]静态数组和new分配的动态数组的区别分析,很重要的概念,需要的朋友可以参考下本文以实例分析了C++语言中关于[]静态数组和new分配的动态数组的区别,可以帮助大家加

    2021年12月27日
    42
  • quotient函数_Mid函数

    quotient函数_Mid函数QuotedStr()转载于:https://www.cnblogs.com/ljjphysics/archive/2011/04/25/2028670.html

    2022年10月18日
    5

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号