Лекция 3. Алгоритм back propagation

В обучении с учителем нет входных данных

В обучении с учителем известны целевые значения для данных

Обучение без учителя требует больше ресурсов

В обучении без учителя человек не участвует

Метод наименьших квадратов

Градиентный спуск

Случайный лес

Метод опорных векторов

Исходные веса сети

Выходные значения всех нейронов

Целевые значения d

Градиенты функции активации

Повторный прямой проход

Обратный проход для корректировки весов

Генерация новых данных

Изменение структуры сети

δ=e⋅f(v_out​)

δ=e⋅y⋅(1−y)

δ=e⋅(1−y²)

δ=e⋅tanh(v_out​)

Он определяет направление градиента

Он задаёт размер шага сходимости при обновлении весов

Он заменяет вычисление градиента

Он используется только в прямом проходе

Чтобы увеличить скорость обучения

Для учёта влияния входной суммы нейрона на ошибку

Чтобы исключить нелинейность

Для генерации новых весов

Они заменяют градиенты

Это входные сигналы, связанные с корректируемыми весами

Для уменьшения ошибки e

Чтобы увеличить скорость обучения

Максимизировать точность на тестовых данных

Минимизировать критерий качества работы НС

Увеличить скорость обработки данных

Случайно изменить веса для исследования пространства

Сигмоида

Гиперболический тангенс

ReLU

Линейная функция