Разработка и валидация моделей машинного обучения, прогнозирующих риск госпитализации пациентов с сахарным диабетом в течение последующих 12 месяцев

ОБОСНОВАНИЕ

Сахарный диабет (СД) — это распространенное хроническое заболевание, развивающееся в результате неэффективной выработки инсулина клетками поджелудочной железы или снижения чувствительности периферических тканей к его биологическому действию [1]. Само хроническое течение СД оказывает значительное влияние на качество жизни пациентов, требует оказания специализированной медицинской помощи с формированием навыков по регулярному самоконтролю гликемии и приему назначенных препаратов.

В настоящее время в отечественной эндокринологической практике используется классификация СД Всемирной организации здравоохранения 1999 г. с выделением четырех основных групп: СД 1 и 2 типов, гестационный СД и другие специфические типы СД [2]. Несмотря на отличительные механизмы развития самого заболевания, у всех этих состояний в конечном счете можно выделить общность патогенеза осложнений, связанных с хронической гипергликемией [1]. Потому заболевание приобретает прогрессирующее течение с развитием характерных осложнений, значительно повышая вероятность госпитализации пациентов с СД.

Распространенность СД как в Российской Федерации, так и во всем мире неуклонно растет последние десятилетия [3]. Согласно отчету Международной диабетической федерации, ожидается, что число пациентов, страдающих этим заболеванием, увеличится к 2045 г. до 700 млн, что составит 10,9% всего взрослого населения [4]. Стабильный популяционный рост и современные эпидемиологические характеристики СД приводят к колоссальным экономическим расходам и значительному социальному ущербу во всем мире. К примеру, национальные данные Южной Кореи свидетельствуют о 17-кратном увеличении ежегодной стоимости оказания помощи пациентам с СД в 2019 г. в сравнении с 2002-м [5]. Согласно проведенному исследованию Bommer и соавт., в 2015 г. 1,8% мирового ВВП приходилось на лечение и профилактику СД, что составило 1,31 триллиона долларов [6]. При этом на примере австралийской системы здравоохранения было показано, что более 40% этих средств выделяется на оказание специализированной помощи в круглосуточных стационарах [7]. В этой связи создание и внедрение многофакторной персонифицированной модели прогнозирования госпитализаций пациентов с СД в круглосуточный стационар по поводу самого заболевания и его осложнений является актуальной задачей, решение которой позволит значительно улучшить качество оказания медицинской помощи и снизить нагрузку на всю систему здравоохранения за счет тщательного наблюдения за пациентами из группы риска, раннего превентивного вмешательства в течение их заболевания, а также рационального планирования штатной численности и коечного фонда медицинских организаций.

В научной литературе опубликованы результаты нескольких исследований, связанных с разработкой предиктивных моделей госпитализаций пациентов с СД. Большое внимание авторов было обращено к проблеме повторных госпитализаций при СД 2 типа (СД2). Так, в публикации Tsai-Chung Li и соавт. [8] был описан процесс создания модели на основе регрессии Кокса для предсказания таких госпитализаций в течение 1, 3, 5 и 8 лет с использованием для обучения 21 769 записей пациентов. По результатам проведенного внутреннего тестирования (10 884 записи), целевая метрика AUC составила 0,80, 077, 0,76 и 0,74 соответственно. Brisimi и соавт. для решения той же задачи использовали 26 478 записей пациентов, разделенных в отношении 60/40 на обучающий набор и НД для внутреннего тестирования, причем при применении на последней финальной модели на основе Gradient Tree Boosting метрика AUC составила 0,7272 [9]. Отличительными особенностями публикации Haohui Lu и соавт. являются исследование госпитализаций пациентов вне зависимости от типа СД и больший размер исследуемой выборки — 97 108 пациентов [10]. Однако полученная по итогу обучения ансамблевая модель на основе Random Forest, AdaBoost, XGBoost, and CatBoost показала низкую точность при использовании кросс-валидации (AUC 0.6736). Активное повсеместное использование нейросетей не оставило без внимания и современную эндокринологию: ряд публикаций был посвящен использованию различных нейросетевых архитектур в решении задачи прогнозирования повторных госпитализаций пациентов с СД. Так, в работе Ameen A. Hai и соавт. [11] использование нейросети LSTM показало лучшие результаты в сравнении с классическими методами машинного обучения (МО) (RandomForest, Logistic Regression и AdaBoost) со значением AUC 0.79. В то же время, согласно результатам Bhuvan и соавт. [12], в их работе RandomForest показал сопоставимое с нейронной сетью значение целевой метрики качества — AUC 0,65 и 0,654 соответственно. Поскольку качество и эффективность разработанных на сегодняшний день моделей прогнозирования варьируется в широких пределах, а возможность их практического применения сомнительна ввиду отсутствия информации о результатах валидации на внешних данных, вопрос исследований в данной области остается актуальным.

ЦЕЛЬ ИССЛЕДОВАНИЯ

Разработка и валидация моделей прогнозирования госпитализаций пациентов с СД по поводу самого заболевания и его осложнений с использованием алгоритмов МО и данных реальной клинической практики.

МАТЕРИАЛЫ И МЕТОДЫ

Дизайн исследования

Проведено многоцентровое ретроспективное обсервационное исследование.

Место и время проведения исследования

В качестве источника информации использовалась база данных платформы прогнозной аналитики Webiomed, содержащая обезличенные формализованные данные электронных медицинских карт (ЭМК) 11,6 миллиона пациентов из 25 регионов Российской Федерации. Медицинские данные и машиночитаемые значения признаков собирались из ЭМК с помощью различных технологий извлечения информации из неструктурированных либо слабоструктурированных текстовых данных.

Изучаемые популяции

На основе имеющейся базы данных был сформирован НД, включающий информацию о 170 141 записи 23 742 пациентов с СД, которым была оказана медицинская помощь в период с 2002 по 2023 гг., при этом 90% данных представлены периодом 2015–2023 гг. Под записью понимается случай получения медицинской помощи по любым поводам в ЭМК пациента с СД, который включает в себя врачебные осмотры, инструментальные и лабораторные исследования, кодировку заболеваний. В качестве первичного критерия включения в исследование использовался факт наличия у пациента в перечне диагнозов в ЭМК кода МКБ-10, относящегося к СД (E10–E14, включая все подкоды). Для выявления общей группы высокого риска госпитализаций по данной нозологии пациенты не делились на типы СД.

Способ формирования выборки из изучаемой популяции

Полученный НД содержал информацию о пациентах из 11 регионов Российской Федерации (Ямало-Ненецкий автономный округ, Республики Бурятия, Карелия, Крым, Саха (Якутия), Волгоградская, Кировская, Курганская, Московская и Челябинская области, Пермский край). Разделение на основании территориального распределения по типу 2b рекомендаций TRIPOD является более сильным дизайном внешней валидации предиктивных моделей, чем случайное разбиение (тип 2a) согласно данным рекомендациям [13]. Поэтому из НД были отложены 27 135 записей из республики Карелия для формирования выборки для внешней валидации. Общий дизайн исследования представлен на рис. 1. Итоговый набор для разработки случайным образом делили на обучающую выборку (80%), выборку для подбора оптимальных гиперпараметров (10%) и выборку для внутреннего тестирования (10%). Выборки для внутреннего тестирования и внешней валидации не участвовали в обучении моделей.

Методы

Предикторы

На момент исследования платформа Webiomed поддерживала автоматическое извлечение более 2900 машиночитаемых признаков из электронных медицинских карт, включающих социодемографические, антропометрические, лабораторные, инструментальные, физикальные и анамнестические данные. В процессе формирования набора для каждой записи, соответствующей отдельному законченному случаю лечения, заполнялись значения признаков при их наличии у пациента. Количественные признаки с заполненностью менее чем в 10% записей итогового НД не использовались в разработке моделей. Отбор бинарных (логических) и категориальных признаков проводился медицинским экспертом на основании их клинической важности и частоты встречаемости в итоговом НД. Всего 86 признаков было выбрано в качестве предикторов госпитализаций пациентов с СД для первого этапа моделирования (Приложение 1). На основании абсолютных значений векторов Шепли [14], полученных по результатам обучения алгоритмов на первоначальном НД, проводили дополнительную селекцию, отбирая для дальнейшего анализа и уточнения модели признаки с наибольшими абсолютными значениями и в совокупности формирующие 95% суммарного вектора Шепли всех исходных 86 признаков.

Целевое событие

В качестве целевого события был взят факт госпитализации пациента в круглосуточный стационар в течение 12 месяцев после обращения за медицинской помощью, и основной диагноз закрытия госпитализации относился к СД или его осложнению. Виды госпитализаций не учитывались ввиду ограничений первичных данных. Схема алгоритма отнесения записей пациента к группе с наличием или отсутствием целевого события представлена на рис. 2. Коды МКБ-10, использовавшиеся для отбора пациентов с СД, а также наличия или отсутствия целевого события представлены в табл. 1.

Статистический анализ

Статистический анализ и построение моделей МО выполняли на языке программирования Python, версия 3.9. Нормальность распределения количественных переменных оценивали при помощи критерия Колмогорова-Смирнова, их данные отражены в виде медианы с указанием межквартильного размаха, категориальных — в виде долей (N, %). Сравнение количественных переменных в группах с целевым событием и без проводили при помощи теста Манна-Уитни, категориальных — при помощи χ², значение p<0,05 считалось статистически значимым.

В качестве алгоритмов МО применяли логистическую регрессию (LR), деревья решений с подходами к построению на основе градиентного бустинга (LightGBM, XGBoost, CatBoost) и бэггинга (RandomForest и ExtraTrees) и алгоритм на основе нейронных сетей (Multi-layer Perceptron). Внутреннюю валидацию полученных моделей проводили на тестовом НД. Критериями оценки эффективности и качества моделей служили AUC, чувствительность (Recall), специфичность, точность (Accuracy), прогностические ценности положительного (Precision) и отрицательного результатов, матрица ошибок и калибровочные кривые [15][16]. Доверительные интервалы значений выбранных статистик оценивались с помощью метода бутстрап путем случайной генерации тысячи псевдовыборок [17]. В качестве порогов активации использовали максимум индекса Юдена, а также целевые уровни прогностических ценностей отрицательного (0,99) (ПЦОР) и положительного (0,65) результата (ПЦПР). Относительную значимость предикторов, используемых моделями машинного обучения, определяли по методу Шепли [14].

Разработка моделей

Первый этап обучения моделей проводили на сформированном НД для обучения с использованием всех признаков, изначально включенных в набор (прил. 1). Определение оптимальных гиперпараметров моделей проводилось с целью максимизации значения целевой метрики (AUC) на отдельном НД для определения гиперпараметров (рис. 1).

Модели с оптимальными гиперпараметрами проходили внутреннее тестирование. По итогам внутреннего тестирования до внешней валидации допускалось по одной модели от каждой архитектуры, показавшей максимальное значение AUC на тестовом НД при обязательном пересечении доверительных интервалов данной метрики с метрикой, полученной на НД для обучения (рис. 3). По результатам внешней валидации выбиралась модель с наилучшим результатом для последующего уточнения предикторов.

На основании значений усредненных векторов Шепли [14] были отобраны предикторы с наибольшими абсолютными значениями векторов Шепли и в совокупности вносящие 95% кумулятивного вклада в результат работы наилучшей модели по итогам проведенной внешней валидации на первом этапе.

Второй этап обучения проводился с использованием только отобранных признаков и определенных на первом этапе оптимальных гиперпараметров для каждой из архитектур. Все полученные модели также проходили внутреннее тестирование и внешнюю валидацию, подбор гиперпараметров на данном этапе не проводился. Выбор итоговой модели основывался на максимальном значении AUC при внешней валидации, а также при пересечении доверительных интервалов метрики и минимальном различии порогов активации по методу максимизации индекса Юдена при внутреннем тестировании и внешней валидации. Алгоритм разработки и выбора итоговой модели представлен на рис. 3.

Этическая экспертиза

Для сбора данных компанией-разработчиком платформы Webiomed были подписаны соглашения с соответствующими операторами персональных медицинских данных на их обезличивание на стороне оператора и передачу результатов в платформу Webiomed, в том числе для научно-исследовательских целей. Поскольку анализировались обезличенные медицинские данные, информированное добровольное согласие не использовалось.

РЕЗУЛЬТАТЫ

Описательная статистика. По результатам всех этапов отбора пациентов и их записей в качестве факторов прогнозирования для работы моделей было отобрано 33 предиктора (прил. 1, выделены жирным шрифтом). Заполненность выбранных признаков в НД до разделения его на выборки для разработки и внешней валидации отражена на рис. 4А, распределение случаев (записей в НД) по количеству заполненных признаков с извлеченными значениями из базы данных Webiomed представлено на рис. 4Б. В сформированном наборе наилучшей заполненностью обладали половозрастная характеристика и антропометрические показатели пациентов. Среди наиболее часто встречающихся жалоб отмечены отеки различной локализации, нарушение зрения, боль за грудиной и сердцебиение. Самыми распространенными осложнениями основного заболевания и сопутствующими заболеваниями среди исследуемых пациентов были диабетическая нейропатия, ретинопатия и ишемическая болезнь сердца (ИБС). Медианное количество признаков с заполненными значениями в записях НД равнялось 12, при этом для наиболее заполненного случая из базы данных Webiomed были извлечены значения 31 признака из 33 использованных для прогнозирования.

По итогам формирования НД для обучения и внутреннего тестирования (т.е. разработки) в группу с наличием целевого события были включены 19 678 (14%) записей, в течение 12 месяцев после которых у пациентов была зафиксирована госпитализация по поводу СД или его осложнений. Оставшиеся 123 324 (86%) записи, в течение года после которых не было зафиксировано случаев лечения в круглосуточном стационаре по поводу СД при наличии любой информации о пациенте после 12 месяцев, отнесли к группе без целевого события (класс 0). При этом в результате работы алгоритма разделения случаев на группы с наличием или отсутствием целевого события 160 817 записей были полностью исключены из набора ввиду невозможности их отнесения к отдельной группе из-за отсутствия информации после законченного случая. Статистические показатели величины и частоты отобранных признаков в НД для обучения и тестирования, в зависимости от наличия целевого события, имели статистически значимые отличия и представлены в табл. 2.

В НД для внешней валидации в общей сложности вошло 27 135 записей пациентов из республики Карелии, среди которых было отмечено следующее разделение записей по классам: класс 1 — 959 (3,5%), класс 0 — 26 176 (96,5%). При сравнении распределения и частоты встречаемости отобранных нами предикторов, между двумя наборами были обнаружены статистически значимые различия в частоте встречаемости гипертонической болезни (ГБ), диабетической нейропатии, нефропатии и ретинопатии, ИБС, фибрилляции предсердий (ФП), легочной гипертензии (ЛГ), дислипидемии и ряда симптомов и жалоб пациентов (боль за грудиной, жажда, нарушение зрения, отеки, сердцебиение и т.д.). Общая характеристика использовавшихся НД, а также их сравнение представлены в табл. 2.

Коррекция выбросов и заполнение пропущенных значений. Заполнение пропущенных значений в численных параметрах выполняли с помощью фиксированного значения «-10000» [18], в бинарных — с помощью нулевых значений (отрицаний наличия признака). При обработке количественных признаков значения, выходящие за установленные медицинским экспертом на основании реальной клинической практики границы, также заменялись на значение «-10000». Использованные границы значений количественных признаков для удаления выбросов представлены в табл. 2. Также перед моделированием численные параметры трансформировали с помощью гистограммной нормализации [19].

Производительность моделей. Наиболее высокую дискриминативную способность и устойчивость к внешним данным в задаче прогнозирования госпитализаций пациентов с СД по поводу основного заболевания и его осложнений, при использовании отобранных в конечном счете 33 признаков, показала модель LightGBM со значением целевой метрики AUC 0,818 (95% ДИ 0,802–0,834) при внутреннем тестировании и 0,802 (95% ДИ 0,773–0,832) при внешней валидации. Значения AUC, полученные на наборах для внешней валидации и внутреннего тестирования для всех отобранных архитектур, представлены на рис. 5.

Стоит отметить, что среди всех использовавшихся архитектур только модель LightGBM успешно прошла внешнюю валидацию и соответствовала всем критериям разработанного нами алгоритма отбора (рис. 3). Другие модели на основе градиентного бустинга (XGBoost и Catboost), несмотря на высокое значение целевой метрики на внутреннем тестировании (AUC 0,844 и 0,833 соответственно), показали значительную деградацию при использовании внешних данных (AUC 0,789 и 0,786 соответственно). В то же время при использовании деревьев решений отмечалось пересечение ДИ значений целевой метрики качества, полученных при внутреннем и внешнем тестировании, однако значения AUC были ниже целевого (0,81). Прогностическая ценность модели на основе нейронных сетей также оказалась крайне низкой на использовавшихся нами данных, AUC в задаче предсказания целевого события при внешней валидации составила 0,705 (95% ДИ 0,661–0,75).

На основании предложенного в недавних работах подхода с формированием трех групп риска [20] на наборе данных для внутреннего тестирования нами были дополнительно рассчитаны два порога бинаризации в зависимости от целевых прогностических ценностей отрицательного (0,99) и положительного (0,65) классов. ROC-кривая финальной модели LightGBM при проведении внешней валидации с указанием трех порогов активации отражена на рис. 6.

Для внешних данных точность нашей модели с порогом классификации 0,045, при котором было достигнуто целевое значение ПЦОР на внутреннем тестировании (0,99), составила 0,117 (95% ДИ 0,108–0,126), чувствительность — 0,999 (95% ДИ 0,994–1), специфичность — 0,085 (95% ДИ 0,077–0,093). Метрики качества при использовании второго порога (0,398) с ожидаемой ПЦПР при тестировании, равном 0,65: точность — 0,957 (95% ДИ 0,951–0,963), чувствительность — 0,109 (95% ДИ 0,067–0,159), специфичность — 0,988 (95% ДИ 0,985–0,991). Полная характеристика эффективности итоговой модели после применения упомянутых порогов классификации, а также максимума индекса Юдена, рассчитанного на тестовом наборе, представлена в табл. 3 и 4, для внутреннего тестирования и внешней валидации соответственно. Абсолютные различия между порогами классификации для моделей на тестовом НД и максимумами индекса Юдена при внешней валидации указаны в табл. 5.

Значимость 10 наиболее важных признаков, определенных согласно рассчитанным векторам Шепли как ключевые в принятии решения выбранной модели, показана на рис. 7. Важнейшее значение для итоговой модели имеет факт наличия у пациента на момент прогноза установленных диагнозов диабетической нефропатии, нейропатии, ФП и дислипидемии, жалоб на жажду и упоминание лихорадки. Из конституциональных и антропометрических данных большую значимость имели мужской пол, возраст и окружность талии пациента. Средняя абсолютная ошибка калибровочной кривой равнялась 6,21%, ее график представлен на рис. 8.

ОБСУЖДЕНИЕ

СД относится к категории заболеваний с неуклонными темпами роста распространенности и с большим общественным бременем за счет ранней инвалидизации и высокой смертности. Общая численность людей, страдающих СД и состоящих на диспансерном учете в Российской Федерации, составила 4 962 762 человека (3,31% населения) по состоянию на 01.01.2023 г. [21]. Основной причиной смерти пациентов с СД продолжают оставаться хроническая сердечная недостаточность, ИБС, инфаркт миокарда и нарушения мозгового кровообращения [3], а экстренные госпитализации по поводу этих осложнений в настоящий момент приводят к значительной нагрузке на стационарное звено. Таким образом, прогнозирование риска госпитализации пациентов с СД в круглосуточный стационар и своевременная коррекция тактики их ведения особенно важны как для здравоохранения в общем, так и для профилактики развития осложнений у отдельного пациента.

Сопоставление с другими публикациями

Полученный нами результат по уровню целевой метрики превосходит аналогичные разработки зарубежных авторов. В упомянутых ранее работах, в отличие от нашего исследования, для создания моделей прогнозирования госпитализаций использовали записи пациентов с СД2. Лишь в публикации Haohui Lu и соавт. [10] критерием включения пациента в исследование был факт наличия СД вне зависимости от типа. Уклон большинства современных работ обращен в сторону предсказания риска повторных госпитализаций пациентов после выписки из стационара, в то время как в нашем исследовании в качестве случаев прогноза в НД входили как госпитализации, так и случаи амбулаторной медицинской помощи и диспансерные наблюдения пациентов. Из отличительных особенностей выбора предикторов в этих исследованиях хотелось бы отметить использование таких важных факторов, как длительность основного заболевания, факт использования различных гипогликемических препаратов, а также уделение большего внимания лабораторным показателям.

Клиническая значимость результатов

При использовании двух рассчитанных порогов нами было предложено разделение записей на три группы риска в зависимости от выхода модели. При бинаризации на уровне первого порога (0,045), определенного с учетом ожидаемой прогностической ценности отрицательного класса в 0,99, финальная модель обладала высокой чувствительностью, что при отрицательном результате позволяет достоверно выделить пациентов с низким риском госпитализации, не требующих изменения тактики ведения. Использование второго порога (0,398) характеризуется высоким значением специфичности и прогностической ценности положительного класса. Прогнозирование наличия целевого события при использовании этого порога крайне важно, так как с большой надежностью предсказывает госпитализацию у анализируемого пациента, а значит указывает на необходимость более тщательного наблюдения за пациентом. Однако использование двух порогов неизбежно ведет к появлению «серой зоны» при интерпретации результатов модели, когда пациенты не могут быть отнесены ни к высокому, ни к низкому риску госпитализации. Это означает, что для данных пациентов результаты работы модели не имеют предиктивной ценности. Совокупность упомянутых фактов говорит о наличии у разработанной нами модели большого потенциала в качестве дополнительного инструмента для мониторинга за пациентами с СД. С учетом продемонстрированной устойчивости модели в рамках внешней валидации она может быть допущена к практическому использованию в рамках проспективных исследований.

Ограничения исследования и направления дальнейших исследований

Важным ограничением исследования является отсутствие во входящих признаках лекарственной терапии СД. Факты изменения подходов к лекарственной терапии за период извлечения данных в 21 год, невысокая точность извлечения препаратов и их доз, невозможность оценки приверженности терапии пациентами на реальных клинических данных не позволили включить лекарственную терапию в обучение моделей. Для дальнейшего повышения метрик точности необходимо увеличение размера обучающей выборки, в частности за счет записей с наличием целевого события [22]. Учитывая растущую потребность в достоверном выделении как группы высокого риска, так и группы пациентов с крайне низким риском госпитализации, необходимы новые разработки алгоритма определения оптимальных значений целевых ПЦОР и ПЦПР при расчете порогов. Отдельного внимания для будущих исследований заслуживает интерпретация модели на случаях прогноза, для которых результат работы оказался в интервале между двумя предлагаемыми нами порогами. Использование перевода англоязычного термина «неопределенного риска» не передает какого-либо клинического смысла, а значит, в настоящее время неприменим и требует дальнейшего исследования по улучшению классификации. Использование в качестве признаков схем гипогликемических препаратов и оценка приверженности к ним могут значительно повысить ценность модели. Определенным потенциалом также обладает создание ансамблей моделей на основе деления пациентов по типу СД, осложнений и коморбидных состояний.

ЗАКЛЮЧЕНИЕ

Методы МО являются эффективными инструментами в разработке моделей для прогнозирования исходов таких многофакторных заболеваний, как СД. При этом в качестве факторов используются рутинные клинико-лабораторные параметры, которые можно легко отслеживать и контролировать при рутинном визите пациента. Метрики полученной итоговой модели превосходили опубликованные ранее аналоги. Среди использовавшихся алгоритмов наилучшие метрики качества показали модели на основе градиентного бустинга, превзойдя результаты деревьев решений, логистической регрессии и нейронных сетей. Результаты внешней валидации показали относительную устойчивость модели к новым данным из другого региона, что в совокупности с показателями качества отражает возможность ее использования в реальной клинической практике. Использование подхода с выделением трех групп риска значительно повышает ценность использования модели за счет выделения групп пациентов с действительно высоким или крайне низким риском госпитализации.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источники финансирования. Исследование выполнено за счет собственных средств компании.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с содержанием настоящей статьи.

Участие авторов. Андрейченко А.Е. — дизайн исследования, написание статьи; Ермак А.Д. — анализ данных, моделирование, написание статьи; Гаврилов Д.В. — интерпретация результатов, редакция статьи; Новицкий Р.Э. — получение данных, редакция статьи; Гусев А.В. — концепция исследования, редакция статьи.

Все авторы одобрили финальную версию статьи перед публикацией, выразили согласие нести ответственность за все аспекты работы, подразумевающую надлежащее изучение и решение вопросов, связанных с точностью или добросовестностью любой части работы.

ПРИЛОЖЕНИЕ 1.