Обучение с учителем (Supervised learning)

Синонимы: Обучение контролируемое, Обучение управляемое, Associative learning

Обучение с учителем — это направление машинного обучения, объединяющее алгоритмы и методы построения моделей на основе множества примеров, содержащих пары «известный вход — известный выход».

Иными словами, чтобы алгоритм относился к обучению с учителем, он должен работать с примерами, которые содержат не только вектор независимых переменных (атрибутов, признаков), но и значение, которое должна выдавать модель после обучения (такое значение называется целевым). Разность между целевым и фактическим выходами модели называется ошибкой обучения (невязкой, остатками), которая минимизируется в процессе обучения и выступает в качестве «учителя». Значение выходной ошибки затем используется для вычисления коррекций параметров модели на каждой итерации обучения.

В анализе данных машинное обучение используется в задачах классификации и регрессии. В первом случае в качестве целевой переменной используется метка класса, а во втором — числовая переменная целого или вещественного типа.

В настоящее время разработано большое число алгоритмов обучения с учителем, каждый из которых имеет свои сильные и слабые стороны. Не существует единого алгоритма , который лучше всего подходит для всех задач анализа.

К числу алгоритмов обучения с учителем для решения задач классификации относятся:

Алгоритмами обучения с учителем для решения задачи регрессии являются:

Это деление не строгое поскольку, например, нейронные сети могут быть адаптированы для классификации, а некоторые виды деревьев решений (например, CART) позволяют производить численное предсказание.

Формальная общая постановка задачи машинного обучения с учителем имеет вид. Пусть имеется обучающее множество, состоящее из примеров. Каждый обучающий пример задаётся в следующем виде: , где — вектор входных признаков -го примера, а — целевое значение -го примера.

Тогда алгоритм обучения ищет функцию , где — пространство входов модели, — пространство выходов. Функция является элементом пространства функций , которое называют также пространством гипотез.

Функцию удобно представлять в виде другой функции , такой, что определяется как возвращающая значение , которое обеспечивает равенство , где .

Хотя и могут быть любыми пространствами функций, многие алгоритмы обучения являются вероятностными, где имеет вид условной вероятности или принимает вид совместной вероятностной модели . Например, простой классификатор Байеса и линейный дискриминантный анализ являются моделями совместной вероятности, а логистическая регрессия — условной вероятности.

Существует два основных подхода к выбору функций и : минимизация эмпирического риска и минимизация структурного риска. Минимизация эмпирического риска ищет функцию, которая наилучшим образом соответствует обучающим данным. Минимизация структурного риска включает в себя функцию штрафа, которая ищет компромисс между смещением и дисперсией (дилемма смещение-дисперсия — чем меньше смещение оценки параметра модели, тем выше её дисперсия, и наоборот).

В обоих случаях предполагается, что обучающее множество состоит из независимых и одинаково распределенных пар . С целью проверить насколько хорошо функция соответствует обучающим данным, определяется функция потерь: , где — значение, предсказанное моделью для примера .

Риск определяется как потери , которые на обучаемых данных могут быть оценены как:

Альтернативной техникой является обучение без учителя, когда целевая переменная в обучающих примерах отсутствует. Оно используется при решении задач кластеризации.