torch.nn中的非线性激活介绍合集——Pytorch中的非线性激活

1、nn.ELU

基本语法：

class torch.nn.ELU(alpha=1.0, inplace=False)

按元素应用 Exponential Linear Unit （ELU）函数。
论文中描述的方法：通过指数线性单元（ELU）进行快速准确的深度网络学习。
ELU 定义为：
$ELU(x)=\{\begin{array}{c} x, & \mathrm{if~x > 0}\\ \alpha * (exp(x)-1), & \mathrm{if x \le 0} \end{array}$

Parameters 参数：

alpha (float) – ELU 公式的 $α$ 值。默认值：1.0
Inplace(bool) – 可以选择就地执行作。默认值： False

Shape: 形状：

Input:：(∗)，其中 ∗表示任意数量的维度。
Output：(∗)，与输入的形状相同。

Examples: 例子：

>>> m = nn.ELU()
>>> input = torch.randn(2)
>>> output = m(input)

2、ReLU

基本语法：

class torch.nn.ReLU(inplace=False)

按元素应用修正的线性单元函数。
$ReLU(x)=(x)^+=max(0,x)$

Parameters 参数：

Inplace （bool） – 可以选择就地执行作。默认值： False

参数说明：

inplace=False

import torch
from torch import nnm = nn.ReLU(inplace=False)
input = torch.randn(2)
print(input)
output = m(input)
print(input)
print(output)

此时，输入Input并未改变，而是复制了一份原始输入并在该复制上进行非线性激活：

tensor([ 1.6213, -0.0794])
tensor([ 1.6213, -0.0794])
tensor([1.6213, 0.0000])

inplace=True

import torch
from torch import nnm = nn.ReLU(inplace=True)
input = torch.randn(2)
print(input)
output = m(input)
print(input)
print(output)

此时，直接对原始输入数据进行非线性激活：

tensor([-0.3541, -0.6384])
tensor([0., 0.])
tensor([0., 0.])

Shape: 形状：

Input： (∗) ，其中 ∗ 表示任意数量的维度。
Output： (∗)，与输入的形状相同。

Examples: 例子：

  >>> m = nn.ReLU()>>> input = torch.randn(2)>>> output = m(input)An implementation of CReLU - https://arxiv.org/abs/1603.05201>>> m = nn.ReLU()>>> input = torch.randn(2).unsqueeze(0)>>> output = torch.cat((m(input), m(-input)))

3、Sigmoid

基本语法：

class torch.nn.Sigmoid(*args, **kwargs)

按元素应用 Sigmoid 函数。

$Sigmoid(x)=\sigma(x)=\frac{1}{1+exp(-x)}$

Shape: 形状：

Input： (∗)，其中 ∗ 表示任意数量的维度。
Output： (∗)，与输入的形状相同。

Examples: 例子：

>>> m = nn.Sigmoid()
>>> input = torch.randn(2)
>>> output = m(input)

4、Tanh

基本语法：

class torch.nn.Tanh(*args, **kwargs)

按元素应用 Hyperbolic Tangent （Tanh）函数。
$Tanh(x)=tanh(x)=\frac{exp(x)-exp(-x)}{exp(x)+exp(-x)}$

Shape: 形状：

Input： (∗)，其中 ∗ 表示任意数量的维度。
Output： (∗)，与输入的形状相同。

Examples: 例子：

>>> m = nn.Tanh()
>>> input = torch.randn(2)
>>> output = m(input)

5、LeakyReLU

基本语法：

class torch.nn.LeakyReLU(negative_slope=0.01, inplace=False)

按元素应用 LeakyReLU 函数。
$LeakyReLU(x)=max(0,x)+negative_slope*min(0,x)$
or
$LeakyReLU(x)=\{\begin{array}{c}x, & \mathrm{if~x\ge0}\\ negative_slope \times x, & \mathrm{otherwise}\end{array}$

Parameters 参数

negative_slope（float）– 控制负斜率的角度（用于负输入值）。默认值：1e-2
Inplace （bool）– 可以选择就地执行作。默认值： False

Shape: 形状：

输入： (∗) 其中 * 表示任意数量的附加维度
输出： (∗)，与输入形状相同

Examples: 例子：

>>> m = nn.LeakyReLU(0.1)
>>> input = torch.randn(2)
>>> output = m(input)

5、Softplus

基本语法：

class torch.nn.Softplus(beta=1.0, threshold=20.0)

按元素应用 Softplus 函数。
$Softplus(x)=\frac{1}{\beta}*\log(1+exp(\beta*x))$

SoftPlus 是 ReLU 函数的平滑近似值，可用于将机器的输出限制为始终为正。
为了数值稳定性，当时 $i n p u t \times β > t h r e s h o l d$ ，实现恢复为线性函数。

Parameters 参数

beta（float） – Softplus 公式的值 $\beta$ 。默认值：1
threshold（float）– 高于此值的值将恢复为线性函数。默认值：20

参数说明：

threshold( $\beta$ =1)
当 $\le threshold$ 时：

import torch
from torch import nnm = nn.Softplus()
input = torch.randn(2)
print(input)output = m(input)
print(output)

tensor([-0.2053,  0.3776])
tensor([0.5958, 0.8997])

可以验证： $Softplus(-0.2053)=\frac{1}{1}*\log(1+exp(1*（-0.2053)))=0.595756...$
$Softplus(0.3776)=\frac{1}{1}*\log(1+exp(1*（0.3776)))=0.899665...$

当 $i n p u t \times β > t h r e s h o l d$ 时：

import torch
from torch import nnm = nn.Softplus()
input = torch.tensor([30.])
print(input)output = m(input)
print(output)

tensor([30.])
tensor([30.])

此时恢复为线性函数

Shape: 形状：

Input： (∗) ，其中 ∗ 表示任意数量的维度。
Output： (∗) ，与输入的形状相同。

Examples: 例子：

>>> m = nn.Softplus()
>>> input = torch.randn(2)
>>> output = m(input)