Лекция 4. Рекомендации по обучению НС

Слишком быстрое обучение нейронной сети

Попадание в локальный минимум функции ошибки

Недостаток вычислительных ресурсов

Отсутствие необходимости в инициализации весов

Обучение ускоряется

Нейронная сеть перестает работать

Веса изменяются медленно из-за малого градиента

Функция ошибки достигает глобального минимума

Momentum

Adagrad

Adam

оптимизация по Нестерову

x_i′​=(x_i​−μ)/​σ

x_i′​=(x_i​−min)/(max−min)

x_i′​=x_i​⋅max

x_i′​=x_i​+min

Данные должны быть однотипными

Данные должны быть разнообразными и охватывать разные ситуации

Данные должны быть минимального объема

Данные должны быть только числовыми

Весь набор данных, используемый для обучения

Небольшая часть данных, на основе которой корректируются веса

Один элемент данных

Финальный этап обучения сети

После каждого наблюдения

После каждого mini-batch

После прогонки всей эпохи

В начале обучения

Сеть слишком хорошо обобщает данные

Сеть слишком точно описывает обучающую выборку, теряя обобщающую способность

Сеть использует слишком мало нейронов

Сеть не обучается вообще

Обучающая

Валидационная

Тестовая

Дополнительная

Расхождение показателя качества для обучающей и валидационной выборок

Достижение максимального числа итераций

Увеличение количества нейронов в сети

Малое изменение весовых коэффициентов