Целевая функция (Objective function)
Синонимы: Функция потерь, Функция ошибки, Loss function, Error function, Cost function
В широком смысле целевая функция есть математическое выражение некоторого критерия качества одного объекта (решения, модели, процесса и т.д.) в сравнении с другим. Примером такого подхода является, например, среднеквадратический критерий точности аппроксимации.
Целевая функция в этом случае может быть записана так:
,
иными словами, цель — найти такие оценки , при которых целевая функция достигает минимума.
Важно, что критерий всегда привносится извне и только после этого ищется решение, минимизирующее или максимизирующее целевую функцию.
Например, в машинном обучении, при обучении искусственных нейронных сетей в качестве минимизируемой целевой функции используется зависимость выходной ошибки сети от состояния её весов. Привносимым извне критерием в данном случае будет заранее известные выходы сети.
В задачах классификации минимизируется число примеров, неправильно распознанных на обучающем множестве, для которых метка класса заранее известна. Таким образом минимизация целевой функции — типичная задача в обучении с учителем.
Однако, при обучении без учителя также могут использоваться целевые функции. Например, это может быть минимизация среднего расстояния между объектами внутри кластера: чем оно меньше, тем более похожими являются объекты в кластере и более выражена кластерная структура.