ReLU

Формула ReLU.

Формула функции активации ReLU (Rectified Linear Unit) выглядит следующим образом:

f(x) = \max(0, x)

Это означает, что функция ReLU возвращает $x$ , если $x$ положительно, и возвращает 0, если $x$ отрицательно или равно нулю.

Эта страница была полезной?