LeakyReLU

Разбираемся, что представляет из себя функция LeakyReLU и чем она отличается от обычной ReLU.

октября 5, 2019 · 168 слов

Softmax

Разбираемся с тем, что такое softmax и как эта функция работает на простом примере.

марта 11, 2019 · 264 слова

k-armed бандит и 𝜺-greedy алгоритм. Оптимистичная инициализация переменной.

Оптимистичная инициализация оценочного вознаграждения Q заставляет даже жадный алгоритм исследовать альтернативные действия, что в долгосрочной перспективе приводит к лучшим результатам по сравнению с ε-жадным методом.

декабря 27, 2018 · 202 слова

k-armed бандит и 𝜺-greedy алгоритм. Нестационарная проблема.

В нестационарной задаче многорукого бандита эффективность ε-жадного алгоритма снижается, но её можно восстановить, увеличив количество шагов и заменив изменяющийся коэффициент обновления на постоянный.

декабря 27, 2018 · 313 слов

k-armed бандит и 𝜺-greedy алгоритм

ε-жадный алгоритм балансирует между исследованием и использованием знаний для решения проблемы многорукого бандита, помогая находить оптимальную стратегию вознаграждения.

декабря 26, 2018 · 493 слова

MSE

Как среднеквадратичная ошибка (MSE) оценивает качество модели и как её использовать для сравнения предсказаний.

июня 16, 2018 · 174 слова

PReLU

Как PReLU улучшает ReLU, добавляя обучаемые параметры для отрицательных значений, и как это влияет на обучение нейросетей.

мая 18, 2018 · 376 слов

вымывание и взрыв градиента

Почему в глубоких нейросетях возникают проблемы вымывания градиента и градиентного взрыва, как они связаны с последовательным умножением весов и почему это мешает обучению.

мая 17, 2018 · 1 слово

ReLU

Почему ReLU стала стандартной активационной функцией в нейросетях, как она ускоряет обучение по сравнению с tanh, и какие преимущества даёт в глубоких моделях.

апреля 19, 2018 · 173 слова

Пример простой CNN

Пошаговый разбор свёрточной нейросети: как изображение проходит через несколько сверточных слоев, изменяя размерность, и как финальный слой формирует предсказание.

апреля 11, 2018 · 189 слов