Метод имитации отжига (Simulated annealing)

Синонимы: Метод модельной закалки, Алгоритм имитации отжига

Разделы: Алгоритмы

Метод имитации отжига — это вероятностный метод глобальной оптимизации функций. В анализе данных известен как популярный метод обучения нейронных сетей, используемый как альтернатива градиентному спуску, которому уступает в точности, но имеет более высокую скорость сходимости.

Название метода происходит из металлургии, а именно технологии отжига металла, которая заключается в разогреве и последующем контролируемом охлаждении материала с целью уменьшения дефектов его кристаллической структуры.

При нагреве металла его внутренняя энергия возрастает до определённого значения, которое соответствует начальному состоянию нейронной сети. Если охлаждение проводить медленно (отжиг), то с плавным уменьшением температуры тепловые колебания узлов кристаллической решетки около состояния минимума энергии будут плавно уменьшаться, и в результате решетка получит более высокую упорядоченность, а энергия системы достигнет глобального минимума.

Медленное уменьшение температуры можно интерпретировать как уменьшение вероятности выбора неудачных шагов в пространстве решений. На каждом шаге алгоритм случайным образом выбирает решение, близкое к текущему, оценивает его качество, а затем определяет, перейти к нему или остаться в текущем решении.