大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元售后保障童叟无欺

摘要

当今研究领域的一项事实就是，前向神经网络(feed-forward neural networks)的训练速度比人们所期望的速度要慢很多。并且，在过去的几十年中，前向神经网络在应用领域存在着很大的瓶颈。导致这一现状的两个关键因素就是：

神经网络的训练，大多使用基于梯度的算法，而这种算法的训练速度有限；

使用这种训练算法，在迭代时，网络的所有参数都要进行更新调整。

而在2004年，由南洋理工学院黄广斌教授所提出的极限学习机器(Extreme Learning Machine，ELM)理论可以改善这种情况。最初的极限学习机是对单隐层前馈神经网络(single-hidden layer feed-forward neural networks，SLFNs)提出的一种新型的学习算法。它随机选取输入权重，并分析以决定网络的输出权重。在这个理论中，这种算法试图在学习速度上提供极限的性能。
如需转载本文，请注明出处：http://blog.csdn.net/ws_20100/article/details/49555959

极限学习机原理

ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM 可以随机初始化输入权重和偏置并得到相应的隐节点输出：
这里写图片描述

对于一个单隐层神经网络(结构如上图所示)，假设有

N
个任意的样本

(xj,tj)
，其中，

x j = [x j 1, x j 2, . . ., x j n] T \in R n ， t j = [t j 1, t j 2, . . ., t j m] T \in R m

对于一个有

L
个隐层节点的单隐层神经网络可以表示为

\sum i = 1 L β i g (w i \cdot x j + b i) = o j, j = 1, 2, . . ., N

其中，

g(x)
为激活函数，

wi=[wi1,wi2,...,win]T
是第

i
个隐层单元的输入权重，

bi
是第

i
个隐层单元的偏置，

βi=[βi1,βi2,...,βim]T
是第

i
个隐层单元的输出权重。

wi⋅xj
表示

wi
和

xj
的内积。

1.学习目标

单隐层神经网络学习的目标是使得输出的误差最小，可以表示为

\sum j = 1 N | | o j - t j | | = 0

即存在

wi
、

xj
和

bi
使得：

\sum i = 1 L β i g (w i \cdot x j + b i) = t j, j = 1, 2, . . ., N

可以矩阵表示：

H \cdot β = T

其中，

H
是隐层节点的输出，

β
为输出权重，

T
为期望输出。

H (w 1, . . ., w L, b 1, . . ., b L, x 1, . . ., x N) = ⎡ ⎣ ⎢ ⎢ g (w 1 \cdot x 1 + b 1) ⋮ g (w 1 \cdot x N + b 1) \dots \dots \dots g (w L \cdot x 1 + b L) ⋮ g (w L \cdot x N + b L) ⎤ ⎦ ⎥ ⎥ N \times L β = ⎡ ⎣ ⎢ ⎢ β 1 T ⋮ β L T ⎤ ⎦ ⎥ ⎥ L \times m T = ⎡ ⎣ ⎢ ⎢ t 1 T ⋮ t N T ⎤ ⎦ ⎥ ⎥ N \times m

为了能够训练单隐层神经网络，我们希望得到

wi^
，

bi^
和

βi^
，使得

| | H (w i^, b i^) \cdot β^- T | | = m i n w, b, β | | H (w i, b i) \cdot β - T | |

其中，

i=1,2,...,L
，这等价于最小化损失函数

E = \sum j = 1 N | | \sum i = 1 L β i \cdot g (w i \cdot x j + b i) - t j | | 22

2.学习方法

传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重

wi
和隐层的偏置

bi
被随机确定，隐层的输出矩阵

H
就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统：

H⋅β=T
。并且输出权重可以被确定

β^= H † \cdot T

其中，

H†
是矩阵

H
的

Moore−Penrose
广义逆矩阵。且可证明求得的解

β^
的范数是最小的并且唯一。

实现代码

代码下载：http://download.csdn.net/detail/ws_20100/9230271

输入的训练数据，格式为一个

N×(1+n)
矩阵，其中每行代表一个样本(共有

N
行)。每行的第一个元素为该样本的“回归的期望值”或“分类的类别号”(对应于

tj
)，后面的n个元素为该样本的输入数据(对应于

xj∈Rn
)。测试数据的格式也类似。

对于回归应用，一个例子为：

[TrainingTime, TestingTime, TrainingAccuracy, TestingAccuracy] = elm('sinc_train', 'sinc_test', 0, 20, 'sig')

对于分类应用，一个例子为：

elm('diabetes_train', 'diabetes_test', 1, 20, 'sig')

这两个训练和测试集在黄广斌教授的网站上都可以下载。

参考资料：

[1] G.-B. Huang, Q.-Y. Zhu, and C.-K. Siew, “Extreme learning machine: A new learning scheme of feedforward neural networks,” in Proc. Int. Joint Conf. Neural Networks, July 2004, vol. 2, pp. 985–990.

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/167918.html原文链接：https://javaforall.net

极限学习机(Extreme Learning Machine)概述

摘要

极限学习机原理

1.学习目标

2.学习方法

实现代码

参考资料：

发表回复

极限学习机(Extreme Learning Machine)概述

摘要

极限学习机原理

1.学习目标

2.学习方法

实现代码

参考资料：

相关推荐

JVM指令重排[通俗易懂]

css3 媒体类型(Media Type)[通俗易懂]

网站优化 14条–雅虎十四条优化原则[通俗易懂]

java中clone的用法_java clone是浅拷贝吗

UltraEdit-32 温馨提示：右协会，取消 bak文件[通俗易懂]

UNet详解（附图文和代码实现）

发表回复