神经网络中的激活函数

从大脑中获取灵感的信息处理范式被称为人工神经网络(ANN)。人工神经网络像人一样通过模仿来学习。通过学习过程，人工神经网络为特定目的而定制，包括模式分类或数据分类。存在于两个神经元之间的突触相互连接会因为学习而改变。

在隐层和网络的输入层中使用什么输入层是你在创建神经网络时要做的决定之一。本文讨论了一些替代方案。

神经学中的神经冲动是计算机科学中激活函数的模型。如果神经元内部和外部的感应电压超过一个被称为动作电位的阈值，那么链式反应允许神经元“放电”并向附近的神经元发送信号。接下来的一系列激活，被称为“脉冲序列”，使运动神经元能够将大脑的指令传递到四肢，感觉神经元也能将手指的感觉传递到大脑。

神经网络组件

层是构成神经网络的垂直堆叠部分。图像的虚线代表一个层。一个神经网络有三种不同类型的层。

输入层

首先是输入层。数据将被这一层接受并转发到网络的其余部分。这一层允许特征输入。它为网络提供来自外部世界的数据;这里没有计算;相反，节点只是将信息(特征)传递给隐藏单元。

隐藏层

由于它们是任何神经网络提供的抽象的组成部分，因此该层中的节点对外部世界是不可见的。通过输入层输入的任何特征都由隐藏层以任何方式处理，并将结果发送到输出层。隐藏层是第二类层的名称。对于神经网络，要么有一个隐藏层，要么有多个隐藏层。上面例子中的数字是1。实际上，隐藏层赋予了神经网络卓越的性能和复杂性。它们同时执行数据转换和自动特征生成等多项任务。

输出层

这一层将网络已经获得的知识提升到外部世界。输出层是最后一种层，输出层包含问题的答案。将原始照片传递给输入层后，我们从输出层接收输出。

数据科学广泛使用整流单元(ReLU)函数或s型过程类别，其中还包括逻辑回归模型，逻辑双曲正切和arctan函数。

激活函数

定义

在人工神经网络中，激活函数对于微小的输入输出较小的值，如果输入大于阈值则输出较高的值。如果输入足够大，激活函数就会“触发”;否则，什么也不会发生。因此，激活函数是一个门，用于验证传入值如何高于阈值。

由于激活函数在神经网络中引入了非线性，使神经网络能够学习强大的操作，因此激活函数是有帮助的。一个前馈神经网络可能会被重构成一个直接的线性函数或矩阵变换到它的输入，如果真的把激活函数拿出来的话。

激活函数通过生成一个加权总数，然后加上偏置，来决定一个神经元是否应该被打开。激活函数旨在增强神经元输出的非线性。

解释如我们所知，神经网络中的神经元是根据权重、偏倚及其相应的激活函数来运作的。基于错误，神经网络中的神经元值将被修改。这个过程被称为反向传播。激活函数使反向传播成为可能，因为它们提供了改变偏差和权重所需的梯度和误差。

非线性激活函数的需求

一个没有激活函数的相互关联的回归模型就是神经网络。输入通过激活函数进行非线性转换，使系统能够学习并执行更具挑战性的任务。

它仅仅是一个用于获取节点输出的事情过程。它也被称为传递函数。

两个线性函数的混合产生一个线性函数，所以无论我们向神经网络添加多少隐藏层，它们都将以相同的方式运行。如果神经元只有一个线性模型，它就无法学习。它将能够通过非线性激活函数的误差差来学习。

两个线性函数的混合本身产生一个线性函数，所以无论我们向神经网络添加多少隐藏层，它们都将以相同的方式运行。如果神经元只有一个线性模型，它就无法学习。

激活函数的两大类主要是:

• 线性激活函数
• 非线性激活函数

线性激活函数

可以看出，函数是线性的或线性的。因此，不会使用任何区域来限制函数的输出。

神经网络的正常数据输入不受复杂性或其他因素的影响。

非线性激活函数

神经网络的正常数据输入不受复杂性或其他因素的影响。

激活函数

• 线性函数

方程:线性函数的方程是y = x，类似于单一方向的方程。

最后一层的最终激活函数只不过是第一层输入的线性函数，不管我们有多少层，如果它们本质上都是线性的。-inf到+inf是取值范围。

用途:输出层是激活函数的函数被应用的唯一位置。

如果我们分离一个线性函数来添加非线性，结果将不再依赖于输入“x”，函数将变得固定，我们的算法将不会表现出任何新颖的行为。

回归问题的一个很好的例子是确定房子的成本。我们可以在输出层使用线性激活，因为房子的价格可能有很大或很小的价值。即使在这种情况下，神经网络的隐藏层也必须执行某种非线性函数。

• 乙状结肠函数

它是一个用“S”形表示的函数。

A等于1/(1 + e-x)

本质是非线性的。注意，虽然Y值相当陡峭，但X值的范围从-2到2。换句话说，x的微小变化也会导致y的值从0到1的显著变化。

用途:Sigmoid函数通常用于类的输出节点。阳离子，其结果只能是0或1。由于sigmoid函数的值仅在0到1之间，因此如果该值大于0.5，则结果很容易预期为1，如果小于0.5，则结果为0。

• 双曲正切函数

持续优于s型函数的激活被称为正切双曲函数。它实际上是一个经过数学调整的s型函数。两者都是可比较和可衍生的。

取值范围:-1 ~ +1。非线性性质

-由于其值通常在-1到1之间，神经网络隐藏层的平均值将再次为0或非常接近它。这有助于通过使平均值接近于0来集中数据。这极大地促进了下一层的学习。

方程:

max A(x) (0, x)，如果x为正数，则输出x;如果不是，则输出0。

取值范围:[0,inf]

性质:非线性，这允许我们简单地反向传播错误，并让ReLU函数激活多层神经元。

用途:因为ReLu包含比tanh和sigmoid更简单的数学过程，它需要更少的计算机时间来运行。由于在任何给定时间只有有限数量的神经元被激活，因此该系统具有稀疏和高效的计算能力。

简单地说，RELU获取信息的速度比sigmoid和Tanh函数快得多。

• ReLU(整流线性单元)激活函数

目前，ReLU是全球使用最多的激活函数。因为几乎所有的卷积神经网络和深度学习系统都使用它。

导数和函数都是单调的。

然而，问题是所有的负值都立即变为零，这降低了模型有效拟合或从数据中学习的能力。这意味着ReLU激活函数的任何负输入在图中立即变为零，这将通过不正确地映射负值对最终图产生影响。

• Softmax函数

虽然它是sigmoid函数的子类，但在处理多类分类问题时，softmax函数会派上用场。

在管理多个类时经常使用。在图像分类问题的输出节点中，通常存在softmax。softmax函数将除以输出的总和，并将每个类别的所有输出压缩到0到1之间。

在分类器的输出单元中，我们实际上试图获得确定每个输入的类别的概率，这是softmax函数最适合应用的地方。

通常的经验法则是使用RELU，这是隐藏层中常见的感知器，目前在大多数情况下使用，如果我们真的不确定应用哪种编码器。

如果您的输入用于二进制分类，那么输出层的一个非常合乎逻辑的选择是sigmoid函数。如果我们的输出涉及多个类，那么Softmax在预测每个类的概率方面非常有用。