LeakyReLU

Разбираемся, что представляет из себя функция LeakyReLU и чем она отличается от обычной ReLU.

October 5, 2019 · 168 words

Softmax

Разбираемся с тем, что такое softmax и как эта функция работает на простом примере.

March 11, 2019 · 264 words

k-armed бандит и 𝜺-greedy алгоритм. Оптимистичная инициализация переменной.

Оптимистичная инициализация оценочного вознаграждения Q заставляет даже жадный алгоритм исследовать альтернативные действия, что в долгосрочной перспективе приводит к лучшим результатам по сравнению с ε-жадным методом.

December 27, 2018 · 202 words

k-armed бандит и 𝜺-greedy алгоритм. Нестационарная проблема.

В нестационарной задаче многорукого бандита эффективность ε-жадного алгоритма снижается, но её можно восстановить, увеличив количество шагов и заменив изменяющийся коэффициент обновления на постоянный.

December 27, 2018 · 313 words

k-armed бандит и 𝜺-greedy алгоритм

ε-жадный алгоритм балансирует между исследованием и использованием знаний для решения проблемы многорукого бандита, помогая находить оптимальную стратегию вознаграждения.

December 26, 2018 · 493 words

MSE

Как среднеквадратичная ошибка (MSE) оценивает качество модели и как её использовать для сравнения предсказаний.

June 16, 2018 · 174 words

PReLU

Как PReLU улучшает ReLU, добавляя обучаемые параметры для отрицательных значений, и как это влияет на обучение нейросетей.

May 18, 2018 · 376 words

вымывание и взрыв градиента

Почему в глубоких нейросетях возникают проблемы вымывания градиента и градиентного взрыва, как они связаны с последовательным умножением весов и почему это мешает обучению.

May 17, 2018 · 371 words

ReLU

Почему ReLU стала стандартной активационной функцией в нейросетях, как она ускоряет обучение по сравнению с tanh, и какие преимущества даёт в глубоких моделях.

April 19, 2018 · 173 words

Пример простой CNN

Пошаговый разбор свёрточной нейросети: как изображение проходит через несколько сверточных слоев, изменяя размерность, и как финальный слой формирует предсказание.

April 11, 2018 · 189 words