前馈神经网路
前馈神经网路
1、简单介绍
前馈神经网络(Feedforward Neural Network,简称FNN)是一种基本的神经网络模型,它最早由美国心理学家Rosenblatt在1958年提出,是最早的一种神经网络模型。FNN的每个神经元都是单向连接的,信号只能从输入层流向输出层,不存在反馈(recurrent)的过程,因此也被称为“无记忆神经网络”。
FNN由输入层、隐藏层和输出层构成,其中输入层接收外部输入,输出层输出结果,而隐藏层则负责处理输入层的信息,提取出特征并将其传递给输出层。隐藏层通常包含多个神经元,每个神经元都连接着上一层的所有神经元和下一层的所有神经元。FNN的输出是根据输入与每个神经元之间的连接权值进行计算得出的。
FNN的训练过程通常是基于反向传播算法(Back Propagation,简称BP算法),该算法利用梯度下降法对网络参数进行调整,使得网络的输出结果能够逐渐逼近期望的输出结果。BP算法的基本思想是将误差逐层反向传播,并根据误差值对网络参数进行调整,以达到误差最小化的目的。在实际应用中,常常需要对神经网络进行大量的训练,以提高网络的泛化能力。
FNN在模式识别、数据挖掘、自然语言处理等领域中有广泛的应用,它能够有效地处理多维度、非线性和复杂的数据,具有良好的分类和预测性能。同时,FNN也具有一定的适应性,能够适应不同的数据类型和数据规模,并且具有良好的可扩展性,可以通过增加神经元和层数来提高网络的性能。
2、
目标:近似一些未知的理想函数
理想分类器:
前馈网络:定义映射:
从可用的样本中学习参数
获得f*地较好的近似
信息流从输入开始贵,经过中间计算(即函数映射),生成类别
没有反馈连接(循环网络)
3、
函数f是许多不同函数的组合,例如:
函数结构可以用有向无环图来描述(因此称为前馈网络);
f(1)是第一层f(2)是第二层,以此类推;
深度是函数组合链中最大的i
最后一层称为输出层
4、线性模型
5、设计决策
1、需要选择优化器、损失函数和输出形式
2、选择激活函数
3、机构设计(网络层数等)