Оптимизация

Разбираемся с тем, что такое выпуклое множество и чем оно отличается от аффинного

В статье рассматривается понятие аффинной оболочки.

В статье рассматривается, что такое аффинная комбинация точек.

В статье рассматривается важное свойство аффинного множества: если из него вычесть любую точку, то получится одно и то же линейное подпространство.

В статье рассматривается, что такое аффинное множество

Разбираемся, что представляет из себя функция LeakyReLU и чем она отличается от обычной ReLU.

Как PReLU улучшает ReLU, добавляя обучаемые параметры для отрицательных значений, и как это влияет на обучение нейросетей.

Почему ReLU стала стандартной активационной функцией в нейросетях, как она ускоряет обучение по сравнению с tanh, и какие преимущества даёт в глубоких моделях.

Adam — оптимизационный алгоритм, который сочетает идеи градиентного спуска с моментом и RMSprop, автоматически адаптируя скорость обучения и корректируя смещение градиента.

Как алгоритм RMSprop улучшает градиентный спуск, используя усредненный квадрат градиента для адаптивного выбора шага и ускорения сходимости.