算法|神经网络的一些基础概念( 二 ) 浪潮

损失函数，损失值：神经网络训练中的预测与期望值y之间的差距，损失值越大，模型越精准，神经网络的训练目标就是减少损失值，计算损失值的函数即称为损失函数。

常用损失函数，均方差损失函数和交叉熵损失函数。均方差损失函数的特点，简单易理解，但在网络层数过大时收敛速度变慢；交叉熵损失函数，误差大时，网络参数更新快。

反向传播算法，根据输出层和隐藏层之间的计算关系，得到损失函数与隐藏层参数间偏导数，根据输出层的误差，以及当前训练用的输入数据计算得到网络参数和偏置值得更新值。根据输入层和输出层的计算关系，得到损失函数的偏导数，根据输出层的误差以及当前训练用的数据计算网络参数和更新值。

3.常见的神经网络算法

多层感知机，含有多个隐藏层，采用Sigmoid、Tanh激励函数，支持反向传播，适用于回归问题。
深度神经网络，进一步增加隐藏层的数据量，采用ReLU激励函数缓解梯度消失问题，适用于分类与回归问题。
卷积神经网络，隐藏层为卷积计算，可以对图像进行处理，适用于图像识别。
循环神经网络，神经元内部保存其先前的值，用于下一刻的计算，可以对时间序列数据进行处理。
梯度消失问题，梯度消失，随着神经网络层数的增多，损失函数对网络参数的偏导数会越小，导致网络参数不再更新，神经网络训练不收敛，常见的激励函数有Sigmoid、Tanh可以使用ReLU缓解梯度消失问题。

3.1卷积神经网络的应用

卷积神经网络的定义，带有卷积结构的神经网络，通过特征提取和分类识别完成对输入数据的判别。
与传统的神经网络相比，都具有可以学习的权重和可以偏置常量的神经元组成，与传统的神经网络的区别，卷积神经网络的神经元具有三个维度，适合处理图片，卷积神经网络的神经元执行卷积运算。
应用场景，图像分类，图像识别，情感分析，主体分类等。
工作原理，模拟大脑识别图像的过程，由多个卷积层构成，每个卷积层包含多个卷积核，卷积核从左向右、从上往下依次扫描整个图像，得到特征图，经过多个卷积层运算，最后得到图像在各个不同尺度的抽象表示，从而识别图像。
关键过程，卷积操作，激励函数，池化操作，最后进行全连接，一般分为三个步骤，输入数据，特征提取，分类识别。
卷积核，带有一组固定权重的神经元，通常为n*m的二维矩阵， n*m为卷积核的感受域，卷积计算，输入矩阵和卷积核对应位置相乘，结果相加。
卷积层，使用特定的卷积核对输入数据进行数据特征提取，即使用卷积核自上而下，自左向右在图像上滑动，将卷积核矩阵的各个元素与它在图像上覆盖的对应位置的元素相乘，然后求和，得到输出像素值，使用不同的卷积核矩阵变换得到不同的特征结果，被用于图像去噪、增强、变异热检测图像提取等。
卷积操作，不同卷积核提取不同的图像特征，边缘检测、锐化、模糊等。
激励函数，每次卷积完成之后使用激励函数处理，对图像中的像素进行处理，并将卷积得到的特征结果中的所有负值使用零替换，实现特征提取结果的修正。
池化操作，对数据进行降维操作，减少数据特征，减少网络参数和运算次数，避免过拟合，常用的方法有最大值池化、求和池化、均值池化。
完全连接，卷积获取的局部特征，全连接是把以前的局部特征重新通过权值矩阵组成完整的图，用到所有的局部特征，称为完全连接层，对特征图像进行维度上的改变，得到每个分类类别对应的概率值。

3.2循环神经网络

定义， Recurrent Neural Network (RNN) ，以序列数据输入，在序列的演进方向进行递归传递且所有节点按照练市连接的递归神经元。
与传统的神经网络对比，输入与输出都是相互独立的，前馈神经网络只会在训练阶段记得历史输入数据，测试时不会记得之前的输入数据，也不会改变权重，但是循环神经网络不仅将当前的输入样本作为网络输入，还将网络之前感知到的一并作为输入。
- 上一页
- 1
- 2
- 3
- 下一页