Детерминистский метод обучения (Deterministic approach)

Синонимы: Детерминистское обучение, Deterministic Learning

Разделы: Алгоритмы

Детерминистский подход в машинном обучении предполагает, что изменения параметров обучаемой модели на каждой итерации определяются только текущим состоянием модели, значениями ее входов и выходов, а также некоторым правилом, в котором не используются никакие предположения или информация о статистических свойствах обрабатываемых данных.

Например, детерминистский подход характерен для обучения нейронных сетей, где для вычисления величины коррекции весов нейронов нужно знать только их текущие веса и ошибку обучения (или ее производную).

Альтернативой детерминистскому подходу является стохастический, когда на каждом шаге обучения производятся псевдослучайные изменения параметров модели, из которых сохраняются только те, которые ведут к улучшению модели.

Например, при стохастическом обучении нейронной сети производятся небольшие случайные коррекции весов, и те из них, которые ведут к уменьшению выходной ошибки сети, сохраняются.