激活函数 郝伟 2020/012/12 [TOC]
1. 简介
激活函数（Activation functions）是在神经网络模型中，重要的组成部分。其主要目的是在使用一些预测算法以后进行分类选择，其返回值通常是0或1。激活函数的重要目标就是将网络映射的线程过程变为非线性过程，从而使整个网络能够避免机械化的映射结果。具体原理请看后面的内容。
2. 为什么要用激活函数
以上提到了线性至非线性的转换，那么为什么要做这个转变呢？情况是这样，假如不使用激活函数，那么每一层到时下一层的映射都是一个线程过程，那么我们可以得到无论神经网络有多少层，从第一层的输入至最后一层的输出，是一个线性组合，也就是说整个映射过程，可以使用一个多项式函数 $f$ 来表示，所以就变成了早期的感知机（Perceptron Machine）。
反之，如果使用激活函数，则可以避免这种情况，通过引入了非线性的因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
3. 常用的激活函数
3.1. Sigmoid函数
Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。 公式如下:
3.2. Tanh函数
Tanh是双曲函数中的一个，Tanh()为双曲正切。在数学中，双曲正切“Tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。公式如下
3.3. ReLU函数
Relu激活函数（The Rectified Linear Unit），用于隐层神经元输出。公式如下
4. 总结
通过使用激活函数函数，使网络具有非线性，从而有更加强大的表达和预测能力。