Метод наименьших квадратов (Least-Squares method)

Синонимы: МНК, Least squares

Разделы: Алгоритмы

Метод наименьших квадратов (МНК) — математический подход для оценки параметров моделей (например, регрессионной) на основании экспериментальных данных, содержащих случайные ошибки.

Если данные известны с некоторой погрешностью, то вместо неизвестного точного значения параметра модели используется приближенное. Поэтому параметры модели должны быть рассчитаны так, чтобы минимизировать разницу между экспериментальными данными и теоретическими (вычисленными при помощи предложенной модели).

Мерой рассогласования между фактическими значениями и значениями, оцененными моделью в методе наименьших квадратов, служит сумма квадратов разностей между ними, т.е.:

$\sum _{i=1}^N(y^{\prime }-y{)}^2$,

где $y^{\prime }$ — оценка, полученная с помощью модели, $y$ — фактическое наблюдаемое значение. Очевидно, что лучшей будет та модель, которая минимизирует данную сумму.

Важнейшим применением МНК в анализе данных является линейная регрессия, где параметры регрессионной модели вычисляются таким образом, чтобы сумма квадратов расстояний от линии регрессии до фактических значений данных была минимальной.