Теорема Байеса – способ избежать неверных выводов

20 июня 2016

При обсуждении задач, связанных с нетривиальной аналитикой и требующих знания теории вероятностей, аналитики часто делают неверные выводы. Подавляющее большинство людей, даже математически грамотных, плохо обращаются с вероятностями.

Так происходит потому, что правильные согласно теории вероятности результаты, кажутся сомнительными с точки зрения интуиции. Они могут настолько сильно противоречить «здравому смыслу», что иногда выглядят полной чушью. Чаще всего проблема возникает с правильным применением теоремы (или формулы) Байеса.

Выводы, полученные согласно формуле Байеса логичные, но антиинтуитивные. Практически всегда люди уделяют большое внимание апостериорной вероятности, но упускают из виду априорную вероятность.

Например, необходимо оценить вероятность того, что обслуживаемые нами клиенты продлят контракт на техническую поддержку. Мы учили десятки факторов, построили модели, выбрали лучшие и получаем, что 97% лояльных клиентов модель определяет верно.  

На первый взгляд мы построили отличную модель, но почему то упускается из виду, что подавляющее большинство клиентов продлят контракт в любом случае. Например, если отток составляет 5%, то 95% клиентов останутся с вами. Для достижения 95% точности предсказания не нужно никаких моделей! При учете этого фактора начинаешь по-другому воспринимать точность в 97%.

Подобные ошибки в оценках не являются исключением, это скорее правило, особенно при общении с человеком, который далек от математики.  Рекомендую прочитать две статьи, где формула Байеса долго и очень подробно разъясняется.

Может стоит прочитать не один раз, чтобы проникнуться темой. После этого многие ошибки в аналитике будут сразу резать глаз. Правильное понимание и применение формулы Байеса снижает количество ошибок, позволяет лучше презентовать результаты, защищать проекты и объяснять клиентам логику.