Инвитро: Система очистки и дедупликации данных о клиентах

март 2016Медицина

Задача

Независимая лаборатория Инвитро – крупнейшая частная медицинская компания в России. Основное направление деятельности компании – лабораторная диагностика. ИНВИТРО предлагает более 1700 видов исследований. Основанная в 1998 году, на сегодняшний день сеть ИНВИТРО включает более 800 медицинских офисов по всей Росси, а также 9 лабораторных комплексов в России и странах бывшего СНГ.

Ежедневно компания обрабатывает около 100 тыс. заказов, и их число непрерывно растет. В активе компании диагностические центры ИНВИТРО, медицинские офисы «Доктор рядом», Медицинская кадровая служба, Высшая медицинская школа, CRO организация, Первый медицинский канал.

За годы своего существования компанией ИНВИТРО была накоплена обширная база данных о своих клиентах, включая филиалы, расположенные на территории Украины, Казахстана и Республики Беларусь. Рассогласованные сведения о клиентах хранились в 5 специализированных системах. В итоге у компании не было единого представления о своих клиентах, данные хранились в различных форматах, а их ввод осуществлялся без контроля.

Главной задачей проекта стала разработка МДМ-системы очистки и поиска дубликатов по контактам и организациям независимой лаборатории Инвитро, хранящихся в CRM-системе. Данная MDM-система должна обеспечивать единый источник полных, достоверных и непротиворечивых сведений о клиентах компании. Необходимо было провести работы по консолидации, очистке и удалению дублированных записей, а также организовать поддержку информации в непротиворечивом и актуальном состоянии изо дня в день.

Решение

Для решения данной задачи была создана MDM–система на базе аналитической платформы Deductor, работающая в связке с CRM–системой Manzana Loyalty. Решение основано на конфигурации Deductor Data Quality.

Сейчас MDM – система обрабатывает данные по трём сущностям, хранящимся в CRM–системе – контакты, организации и адреса.

В рамках процедуры очистки выявляются посторонние «мусорные» символы и ошибки транслитерации, данные проверяются на соответствие заполняемых полей и справочно-нормативным базам, производится разбор адреса. Осуществляется верификация дат, ИНН, КПП и других числовых банковских реквизитов, а так же поиск и устранение противоречий во взаимосвязанных полях (ФИО и пол, индекс и адрес).

Поиск дубликатов реализован с использованием стратегий полного совпадения и стратегий нечеткого поиска, основанного на расстоянии редактирования Левенштейна и фонетического кода. В результате система объединяет все известные ей данные о клиенте и формирует максимально полную единую карточку.

Возможности системы позволили за достаточно короткие сроки обработать весь массив имеющихся данных. В настоящее время MDM–система может обрабатывать более 200 тысяч записей в день, при этом сохраняя высокие показатели производительности.

Результат

Результатом первичной обработки по очистке и дедупликации данных стало снижение количества записей с 16 миллионов до 6,5 миллионов. Реализованы и запущены инструменты ежедневной проверки данных, поступающих из CRM-системы Manzana Loyalty.

В итоге внедрение MDM-системы по управлению качеством данных позволило сформировать единый взгляд о клиенте, выявить искаженные факты, которые мешали работе персонала компании, и решить задачи, связанные с сопровождением процессов продаж, урегулирования убытков, анализом клиентской базы и другие.