Review of experience in using artificial intelligence to solve problems in dialysis



Дәйексөз келтіру

Толық мәтін

Аннотация

The article is devoted to the review of existing studies on the use of artificial intelligence and machine learning tools in the field of dialysis. The search databases were Elibrary, PubMed, Scopus. The selection of metainformation was performed by the fields "TITLE" and "ABSTRACT" for the queries: artificial intelligence AND (dialys* OR hemodialys*); machine learning AND (dialys* OR hemodialys*). Queries were built under the condition of the absence of restrictions on the word forms of key concepts. The publication period was not limited. Since there were many full-text articles found (669), manual selection was carried out independently by three experts: two nephrologists and 1 specialist in the field of AI. The principles of article selection by experts: the presence of AI algorithms, solving a specific problem in dialysis, the algorithm was developed specifically for dialysis patients, and is not an accompanying one when solving another problem. An analysis of the sources conducted showed that one of the most common problems in dialysis solved by AI tools is the problem of predicting the adequacy of the dialysis treatment program. As a rule, in these problems, the adequacy of dialysis is understood as the adequacy of the removal of nitrogen metabolism products, but an indirect sign of the lack of adequacy can also be the presence of complications after the procedures, the risk of which is what artificial intelligence algorithms are trained to identify. AI algorithms are also used to select therapy for the treatment of renal anemia and for the restoration of phosphorus-calcium metabolism, since here it is necessary to consider too many different factors, including those tracked in dynamics. Quite many studies using AI are used to predict the survival of patients receiving dialysis. Also, artificial intelligence algorithms are used to solve the problem of directly predicting the period when a patient with chronic kidney disease should start renal replacement therapy. A critical analysis of the work revealed a number of problems: small sample size, insufficient test control both during the analysis of results and at the preliminary stage, and the irreproducibility of many studies.

Толық мәтін

Введение

Искусственный интеллект (ИИ), являясь современной научной технологией, получил в последнее десятилетие широкое применение в медицине, в частности в нефрологии. Существует большое обзорное нарративное исследование по использованию инструментов ИИ в целом в нефрологии [1], также есть обзор по применению инструментов ИИ в нефропатологии (использование нейросетевых алгоритмов к определению наличия онкологических заболеваний почек) [2]. Но есть и более специализированные обзоры, посвященные применению алгоритмов машинного обучения (МО), в диализе [3] или конкретно в перитониальном диализе [4]. В перечисленных обзорах выделены технологии ИИ и задачи, решаемые ими в нефрологии, без обзора их качества и успешности применения. В то же время для оценки качества применимости предлагаемых в обзорах решений необходимо также анализировать достигнутые метрики качества алгоритмов ИИ и исходные данные, на которых алгоритмы искусственного интеллекта обучались. Немаловажной составляющей успешности применимости медицинских систем на основе ИИ является то, на каких данных обучались алгоритмы: на объективных данных, полученных на основе наблюдения за показателями больных на диализе, или на субъективных данных, полученных посредством экспертного опроса. В этом случае к экспертным мнениям предъявляются дополнительные требования (в основном относящиеся к проблеме согласованности экспертных мнений), которые должны быть указаны в описании исследования.

Целью проведения обзора является критический анализ существующих исследований по применению инструментов искусственного интеллекта, глубокого и машинного обучений к задачам, возникающим в медицинском сопровождении больных с терминальной стадией почечной недостаточности, находящихся на заместительной почечной терапии.

Материалы и методы

Несмотря на то, что проводимый обзор не является в полной мере систематическим обзором, так как не отвечает на узкий исследовательский вопрос, а скорее представляя собой scope-review, отбор публикаций проводился согласно протоколу PRISMA. Базами поиска публикаций являлись Elibrary, PubMed, Scopus. Отбор метаинформации выполнялся по полям «TITLE» и «ABSTRACT» по запросам: artificial intelligence AND (dialys* OR hemodialys*); machine learning AND (dialys* OR hemodialys*). В базе Elibrary дополнительно запрос выполнялся на русском. Запросы выстраивались таким образом чтобы не ограничивать различные словоформы ключевых понятий. Период публикации не ограничивался.

Так как найденных полнотекстовых статей было много (669), то был проведен ручной отбор независимо тремя экспертами: двумя нефрологами и 1 специалистом в области ИИ в здравоохранении. При отборе статей эксперты придерживались принципов: наличие алгоритмов ИИ, решение конкретной задачи в диализе, решение (алгоритм) разработано специально для диализных больных, а не является сопутствующим при решении другой задачи. На рисунке 1 представлена схема отбора публикаций для отбора, на рисунке 2 сетевая диаграмма ключевых слов отобранных публикаций.

Рис. 1. Схема отбора статей для обзора

Fig. 1. Scheme of selection of articles for review

При обзоре отобранных статей анализировались: постановка задачи, применяемая технология ИИ, исходные данные для обучения алгоритмов ИИ и качественные характеристики (метрики) получаемых решений. При обзоре публикаций по каждой из решаемых зада для диализа использовали хронологический порядок. Для отбора и анализа публикаций использовали среду R (библиотеки "pubmedR", "openxlsx", "rscopus", "rcrossref", "roadoi", "bibliometrix", "bibliometrixData") и приложение VOSviewer.

 

Предсказание своевременного начала диализной терапии

Одной из задач для диализа, решаемых средствами ИИ, является задача непосредственного предсказания периода, когда пациенту с хронической почечной недостаточностью следует начать заместительную почечную терапию (ЗПТ) в виде диализа. В статье [5] рассматривалось решение этой проблемы как задачи классификации: отнести диализную терапию к своевременно или не своевременно назначенной. В качестве инструментов решения использовались байесовские классификаторы, нейронные сети и нечеткие множества. Классификаторы обучались на 185 размеченных экспертами-нефрологами записей. Пул факторов влияния состоял из 13 признаков. Следует отметить, что для такого количества факторов число наблюдений является явно недостаточным для того, чтобы качественно обучить алгоритмы классификации. Кроме того, в статье не указывается являлись ли данные верифицированными объективными инструментами. В свою очередь в другом исследовании [6], проведенном на данных о здоровье 110 998 пациентов применялась модель МО для выявления пациентов, для которых в ближайшее время возникнет необходимость ЗПТ, такой как диализ, или пересадка почки. Обученные на таком количестве объективных данных (объективность обеспечивается известностью исхода для пациентов в виде назначения ЗПТ или трансплантации почки) алгоритмы позволили оценивать еженедельно риски для пациентов и отправлять врачам предупреждение в случае, если риск достаточно высок. Формируемые таким образом условия для своевременного начала диализной терапии позволили увеличить до 54% долю пациентов, начавших диализ вовремя, что почти в 3 раза больше, чем в среднем по стране до внедрения алгоритмов ИИ.

Так как решение о начале диализа пациенту принимают на основе снижения скорости клубочковой фильтрации (СКФ), то есть исследования, где для оценки своевременности начала ЗПТ используют модели прогнозирования уровня СКФ индивидуально для пациента [7]. Авторы использовали множество алгоритмов, но лучший результат показала регрессия LASSO. Авторы исследования [8] прогнозировали время начала ЗПТ на основе применения комбинации нейросетевых моделей CNN+LSTM+ANN, а для оценки адекватности разработанных алгоритмов использовали сравнение их с уравнением риска почечной недостаточности (KFRE). В результате предложенный подход, по сообщению авторов, значительно превосходит точность традиционного метода определения времени для начала ЗПТ. Однако данное исследование является практически невоспроизводимым, так как авторы даже не прописывают сколько данных использовали для обучения, сколько для тестирования точности алгоритмов, какие признаки отбирались в качестве предикторов.

Прогноз адекватности программы диализного лечения

Одной из самых распространённых задач в диализе, решаемых инструментами ИИ, является задача прогноза адекватности программы диализного лечения. Как правило, в этих задачах под адекватностью диализа понимается адекватность удаления продуктов азотистого обмена. В рамках данной группы исследований наибольшее распространение получили нейронные сети [9, 11-16]. Они демонстрирует возможность применения алгоритмов нейронных сетей различной архитектуры на примере оценки адекватности программы гемодиализа, в частности для прогнозирования равновесного значения мочевины у соответствующих пациентов [14]. И показывают, что по параметрам чувствительность (% корректно предсказанных неадекватных программ диализа) и специфичность (% корректно предсказанных адекватных программ диализа) оценки могут быть выше для алгоритмов нейронных сетей по сравнению с результатами, полученными экспертами-нефрологами и с помощью логистической регрессии [15]. При этом установлено, что объем отобранной выборки пациентов существенно влияет на качество обучения нейронной сети для оценки адекватности программы диализа [16]. В то же время это одна из значительных проблем многих исследований. Так в 1998г., одна из первых попыток применения искусственных нейронных сетей осуществлена при прогнозировании уравновешенного значения азота мочевины в крови после диализа (то есть отношения постдиализной к преддиализной концентрации мочевины) [9] и эквилибрированного показателя Kt/V (eKt/V60) [10]. Здесь под уравновешенными значениями авторы понимали значения, опирающиеся на концентрацию мочевины в крови спустя 60 минут после окончания процедуры диализа. В работе обосновывалось, что предложенный подход расчета азота мочевины в крови после диализа с использованием нейронных сетей предпочтительней, чем формальное кинетическое моделирование мочевины. Однако исследование выполнялось на небольшой выборке из 74 пациентов, которая была разделена на обучающую выборку (40 пациентов) (то есть выборку, по которой настраивали гиперпараметры нейронной сети) и тестовую выборку (34 пациента) (то есть выборку, на которой тестировали полученные нейросетевые алгоритмы). На валидационной выборке полученные уравновешенные значения Kt/V на основе нейросетевого алгоритма сравнивались со значениями, рассчитанными по формуле кинетического моделирования Смайя и по формуле Даугирдас. Авторами было показано, что для пациентов, у которых наблюдается так называемый эффект «отскока мочевины» (до 30% всех пациентов, у которых наблюдается повышение концентрации мочевины в течение 60 минут после завершения сеанса диализа), формула Смайя была менее точна, чем предложенный нейросетевой алгоритм, формула Даугирдаса давала сопоставимый результат. Однако сделанные авторами выводы нельзя назвать полностью обоснованными, так как обучающая выборка для нейронной сети была крайне малой. Похожее исследование было проведено коллективом авторов в 2003 году [11]. В работе рассматривалась задача прогнозирования значения Kt/V после процедуры диализа на выборке из 52 диализных пациентов, которая разбивалась для обучения и тестирования нейросетевых алгоритмов в соотношении 80% к 20%. Были проанализированы две различные части профиля концентрации мочевины в диализате: в первую половину процедуры диализа и за весь период. Полученные прогнозные значения сравнивались с уровнем мочевины, объективно определяемым на аппарате мониторинга мочевины. Ошибка предсказания расчетных значений Kt/V при рассмотрении всей процедуры диализа составила 5,6%, при рассмотрении половины процедуры по длительности 6,8%. Недостаток исследования – маленький объем выборки, не позволяющий утверждать об устойчивости оценок полученных результатов. Задача определения эквилибрированого показателя Kt/V за счет применения искусственных нейронных сетей, также рассматривалась авторами исследования в 2011 г. [12]. Исследователями была предложена обученная нейронная сеть для прогнозирования уравновешенного значения мочевины в крови через 60 минут после окончания гемодиализа, таким образом, авторы исследования пытались предсказать количественно в % «эффект отскока мочевины». Для обучения нейронной сети использовали данные 150 пациентов из отделения диализа. В результате нейронная сеть ближе всего оказалась к истинным значениям среднего процента отскока мочевины, однако данные результаты не были перепроверены на других выборках, что делает полученные результаты ненадежными.

Ряд исследований, под адекватностью процедуры диализа понимают отсутствие осложнений после ее проведения, таких как повышение или понижение артериального давления, отдышки. Так контроль артериального давления в клинической практике проведения диализа в том числе основан на снижении перегрузки объёмом внеклеточной жидкости за счёт достижения сухого веса пациента во время процедуры диализа. Неблагоприятными последствиями диализа, сигнализирующими о неадекватном подборе параметров процедуры, являются в том числе эпизоды интрадиализной гипотензии. Соответственно с помощью инструментов ИИ можно определить оптимальные параметры для проведения диализной процедуры (например, такие как время проведения процедуры, скорость ультрафильтрации и др.), для того чтобы эпизоды интрадиализной гипотензии у пациентов не возникали. В исследовании 2022 г. как раз приводятся результаты обучения алгоритмов МО, где в качестве исхода рассматривается осложнение процедуры диализа [17]. Авторы используют 6000 наблюдений для обучения моделей и доказывают, что градиентный бустинг способен достигать 97% точности на валидационной (тестовой) выборке. Однако приведенное исследование не является воспроизводимым, так как авторы, ссылаясь на то, что обучали модель на 50 признаках, в статье их не приводят. Существует также исследование 2024 г. по оценке адекватности перитониального диализа, где под переменной интереса прогнозирования рассматривался отказ од ПД [18]. Авторы достигают хорошей точности в предсказании осложнения на основе использования ансамблевого алгоритма МО CatBoost, обученного на выборке из 824 пациентов. Однако исследование имеет существенный недостаток: рассматривается комбинированная конечная точка – отказ от ПД или смерть пациента в течение 24 часов, хотя их могут обуславливать разные предикторы риска. В исследовании 2019 г. [19] рассматривалась задача прогнозирования профиля систолического артериального давления и частоты сердечных сокращений, массы тела после диализа, а также Kt/V для каждого сеанса гемодиализа конкретного пациента. В качестве объясняющих признаков рассматривалось 60 переменных, представляющих собой характеристики пациентов, историю их физиологических реакций и результатов предыдущих сеансов диализа, предписанное значение дозы диализа (Kt/V). Набор данных, используемый для моделирования, состоял из 766 000 записей по сеансам диализа. 80% записей были использованы для обучения и проверки модели (70% для обучения и 10% для тестирования результатов), в то время как оставшиеся 20% были использованы для постпроверки модели после ее доработки. В качестве инструмента моделирования использовалось нейронные сети с прямой связью. Предварительные результаты показывают, что, хотя прогнозирование достигнутого веса после диализа и Kt/V оказалось высокоточным, моделирование минимального систолического артериального давления и частоты сердечных сокращений оказалось более сложным.

 

Предсказание эффективности лечения анемии

Алгоритмы ИИ также используются для подбора терапии по лечению ренальной анемии, так как требуется учитывать слишком много различных факторов, в том числе прослеженных в динамике [20]. В исследовании [21] разрабатываются интеллектуальные алгоритмы предсказания последствий вторичной анемии для пациентов с ХБП. Решению задачи регрессии для предсказания достижения уровня целевого значения гемоглобина у пациентов на ЗПТ с использованием алгоритмов ИИ посвящена работа [22]. Данные клинических и лабораторных обследований диализных пациентов Италии и Испании, сделанных им назначений, прослеженные в динамике, брались из клинической информационной системы управления диализными центрами EuCliD, разработанной Fresenius MedicalCare.  В качестве предикторов для прогнозирования уровня гемоглобина учитывались следующие признаки: возраст пациента, уровень мочевины в плазме перед диализным лечением, уровень мочевины в плазме после диализного лечения, значения гемоглобина за предыдущие 4 месяца, ферритин,  индекс насыщения трансферрина, уровень альбумина в плазме, уровень C-реактивного белка в плазме, уровень фосфора, лейкоциты, нейтрофилы, OcmKtv (Kt/V, определяемое системой онлайн-контроля клиренса аппарата диализа), средний кровоток (отношение объема крови к эффективному времени диализа), общий объем обработанной крови, общий объем инфузии, накопленная доза эритропоэтина, назначенная для лечения анемии. В качестве предикторов прогноза текущего значения гемоглобина в исследовании было выбрано четыре предыдущих значения по месяцам, что авторы обосновывали продолжительностью жизни нормализованных клеток крови от 100 до 120 дней. Для получения устойчивых результатов прогнозирования с помощью инструментов ИИ авторы применяли технологию кросс-валидации, деля последовательно выборки в пропорции 66% для обучения моделей и 34% для их тестирования. В среднем абсолютная ошибка предсказания варьировалась 0,665-0,713 г/л. Этот же авторский коллектив [23] также использовали инструменты ИИ (нейронные сети с прямой связью) для прогнозирования ответа диализных пациентов на терапию эритропоэтинами (в частности дарбэпоэтинами) и препаратами железа. Основными предикторами в модели выступали факторы, описывающие различные характеристики, как самого больного, так и назначаемых ему фармакологических препаратов. Подмножество переменных, которые вместе с указанием доз лекарств, давали наилучшие характеристики для метрик качества прогнозирования, выполненного согласно разработанным алгоритмам, состояло из: роста и сухого веса пациента, гемоглобина, OcmKtV, ферритина, альбумина и лейкоцитов в крови. Эти переменные были выбраны как исходя из экспертного опроса врачей согласно их клинической практике, так и исходя из улучшений метрик качества прогноза, полученных за счет применения алгоритмов МО при включении, либо исключении соответствующих признаков. Алгоритмы обучались на данных ретроспективного обсервационного исследования пациентов, где обязательным критерием отбора в выборку пациентов служило: 1) внутривенное введение дарбэпоэтина альфа и элементарного железа в виде сахарозы железа или глюконата железа; 2) наличие результатов значений уровня гемоглобина за предшествующие 3 месяца. Гиперпараметры для оптимальной архитектуры нейронной сети определялись исходя из минимума средней абсолютной ошибки (МАЕ) между фактическим и предсказанным значением уровня гемоглобина у пациента. Наилучшие результаты были получены при архитектуре нейронной сети, образованной двумя скрытыми слоями с 8 нейронами в каждом слое. Достигнутые результаты прогноза были в пределах 90-93%.

В исследовании 2003г. [24] с помощью машины опорных векторов (SVM) подбирается персональная доза эритропоэтинов как основное лечение вторичной анемии у диализных больных. Для обучения SVM использовали следующие признаки по пациентам: возраст, вес, ферритин, гемоглобин, концентрация гематокрита (%), дозировка IV Fe (мг/месяц), количество введений, изоформа и дозировка эритропоэтина (МЕ/ неделя). Оптимальные параметры средней квадратичной ошибки прогноза (RMSE) были достигнуты при применении алгоритма опорных векторов с использованием в качестве ядра радиальной базисной функции (подбор вида ядра является одним из гиперпараметров данного алгоритма). В 2009г. практически таким же составом исследователей модель подбора оптимальной дозы эритропоэтинов была пересмотрена [25]. Примечательно, что авторы использовали новейшие для того времени инструменты машинного обучения – алгоритмы обучения с подкреплением. В этом исследовании не просто прогнозировался уровень гемоглобина в зависимости от приёма эритропоэтинов, а решалась задача подбора индивидуального лечения пациентов на основе анализа ретроспективных данных (6 месяцев). Использование авторами исследования алгоритма Q-обучения, основанного на таблице агрегации состояний, и нейросетевых алгоритмов, использующих многоуровневый персептрон в качестве аппроксиматора функции, позволило повысить на 25% число пациентов, для которых появилась возможность достижения целевого диапазона гемоглобина (115–125 мг/мл) в конце анализируемого периода, по сравнению с использованием существующих протоколов в нефрологии.

В рамках исследования [26] в 2016г. разработана концепция полной поддержки принятия решений при назначении противоанемической терапии диализным больным на основе нейронных сетей, ставшая основой программы Anemia Control Model (ACM), разработанной Fresenius Medical Care. Важность данной работы заключается в подтверждении подхода использования ИИ в большой многоцентровой популяции пациентов, находящихся на диализе. Предложенная модель ACM позволяет давать рекомендации по дозировке эритропоэтинов на основе анализа истории назначений препаратов и их доз, а также информации о реакции на них с учётом конкретных демографических характеристик пациента. Важно отметить, предложенное решение является интегрированным в медицинскую информационную систему (внедрено в рутинную практику врача-нефролога): данные для расчета оптимальной дозы эритропоэтинов с помощью интеллектуальных алгоритмов для конкретного пациента берутся из его электронной медицинской карты. По результатам тестирования было показано, что использование ACM привело к абсолютному увеличению количества гемоглобина на 6% в целевом диапазоне от 100 до 120 мг /мл. При использовании системы был также достигнут значительный экономический эффект за счёт снижении дозы дарбепоэтина на 27%. Похожее исследование проводилось также и в США (начато в 2008г.) [27]: подбирались интеллектуальные алгоритмы определения оптимальной дозы эритропоэтинов для поддержания целевого уровня гемоглобина пациента с учётом его персональных данных (результатов лабораторно-клинических обследований, демографических характеристик). Авторами исследования из университета Луисвилля (Кентукки) был разработан алгоритм модели прогнозного управления (MPC) на основе искусственных нейронных сетей для предсказания ответа на лечение эритропоэтинами изменением уровня гемоглобина. Для обучения моделей нейронных сетей использовались данные 186 пациентов, длительно получающих ЗПТ, для тестирования модели использовали данные 60 пациентов. Полученные на основе применения MPC результаты авторы сравнивали с результатами, достигнутыми за счёт применения утверждённых протоколов лечения анемии больных на диализе, и сделали выводы, что были получены сопоставимые результаты в достижении целевых показателей гемоглобина.

Существует также исследование отечественных учёных [28], оценивающее эффективность назначения антианемической терапии диализным больным на основе применения алгоритмов МО. Преимуществом решения является то, что оно на основе 54 признаков (лабораторно-клинических, демографических, функциональных), в том числе исторических показателей глубиной до 6 месяцев, оценивает не только является ли назначаемая терапия эффективной или нет относительно лечения анемии, но также и предсказывает возможную избыточность ее назначения. Основой для построения моделей служили более 9000 размеченных данных по эффективности терапий против анемии. Средневзвещенная чувствительность и специфичность достигли более 97% на тестовой выборке. Проведенные в 2025 предварительные внутренние клинические испытания решения показали точность предсказания 95% по сравнению с валидированным мнением врачей-экспертов.

В исследовании 2019г. [29] использовалась нелинейная прогнозная модель, рассчитывающая персональные дозы введения определенных эритропоэтинов больным, постоянно находящимся на диализном лечении. Однако практическая реализация данного подхода затруднена: предложенное решение носит гипотетический характер, так как требуется непрерывное введение препаратов эпоэтина альфа, возможное только со специальной помпой. Авторами исследования 2021г. [30] разработана система контроля анемии AISACS на основе алгоритмов ИИ, решающих задачу многоклассовой поэтапной классификации для подбора терапии эритропоэтинами. Авторы утверждают, что при тестировании системы достигнуты клинически приемлемые показатели корректного выбора терапии 92-98%, однако результатов клинических испытаний не приводится. Более позднее исследование 2024г. [31] предлагает решение на основе объединения рекуррентной нейронной сети с механизмом внимания (GAM) для контроля анемии у пациентов на диализе. За счет такой архитектуры нейросеть решает две задачи – предсказывает уровень гемоглобина и предупреждает о необходимости трансфузии эритроцитов. Для обучения модели авторы использовали исторические данные глубиной 4 месяца по каждому пациенту.

Предсказание эффективности терапии по восстановлению фосфорно-кальциевого обмена

Ещё одним осложнением хронической болезни почек 5Д стадии является нарушение фосфорно-кальциевого обмена (ФКО) у больных с ХБП в терминальной стадии, которое без соответствующего лечения может привести к летальному исходу [32]. Однако исследований, посвящённых применению средств ИИ к решению подобной проблемы, существенно меньше. Существует исследование [33], где с помощью нейросети предсказывается концентрация интактного паратиреоидного гормона в норме (150-300 нг/л), либо не в норме в плазме крови пациента при нарушениях ФКО у диализных больных. В качестве предикторов рассматривались возраст, диабет, гипертония и биохимия крови (гемоглобин, альбумин, кальций), в качестве метрики качества классификатора рассматривалась площадь под ROC-кривой – AUC, которая составила 0,83. Эти же авторы в исследовании 2018 г. [34] прогнозируют концентрацию интактного паратиреоидного гормона в плазме у пациентов с уремией, только находящихся на непрерывном амбулаторном перитонеальном диализе. Целью исследования являлось избежать неадекватного назначения фосфатсвязывающих препаратов и препаратов витамина D за счёт прогноза паратиреоидного гормона, в том числе и с точки зрения необоснованных затрат. Авторы исследования [35] используют средства логистической многофакторной регрессии, обученной на данных за 8-летний период по 106 760 пациентам, получающим гемодиализ, для предсказания норма или «ненорма» уровня интактного паратиреоидного гормона (ПТГ) в плазме крови. В результате было показано, что более высокие уровни интактного паратиреоидного гормона коррелируют с гиперфосфатемией и гиперфосфатаземией, тогда как оба очень низких и высоких уровня ПТГ связаны с гиперкальциемией. Более позднее исследование (2023) прогнозирует на основе анализа временных рядов [36] уровень электролитов (кальций, фосфор и др.) у диализных пациентов. Для этого используются нейронные сети, линейная регрессия, деревья решений. Недостатком данной работы является то, что не проводится корректное исследование типов процессов, лежащих в основе временных рядов, что может существенно сказаться на выборе применимости моделей прогнозирования.

Предсказание выживаемости больных на диализе

Большое количество исследований посвящено применению инструментов ИИ к прогнозу выживаемости пациентов, находящихся на диализе. Однако подобрать оптимальную модель оценки риска смерти у диализных больных достаточно сложно, так как на их выживаемость влияет множество взаимосвязанных факторов, в том числе относящихся к ненаблюдаемой (официально нерегистрируемой) информации. В исследовании [37] предварительная обработка и преобразование данных, искусственные нейронные сети используются для установления соответствия между выживаемостью пациента на диализе и многочисленными клиническими факторами (возраст, пол, рост, вес, индекс массы тела, скорость клубочковой фильтрации, количество лет на диализе, наличие осложнений, приём препаратов от гипертензии, приём гиполипидемических препаратов, наличие болезни сердца, наличие хронических заболеваний печени и др. ) Для обучения используется выборка из 5617 записей, но длительность наблюдения за пациентами колеблется от менее одного месяца до почти 5 лет. Большое количество учтенных факторов способствует тому, что качество классификатора выживаемости достаточно высокое (AUC=0,96), специфичность 99,7%, но чувствительность только 73,2%. То есть полученная модель успешней предсказывала выживание пациентов, нежели его смерть (чувствительность меньше специфичности).

В исследовании 2019 г. [38] были проанализированы периоды выживаемости в 30-, 90-, 180- и 365-дней для 27615 американских пациентов с конечной стадией почечной недостаточности. Большое количество наблюдений позволило увеличить число признаков, предикторов выживаемости, взятых из электронных карт, до 49. В качестве инструмента машинного обучения модели выживаемости использовался ансамблевый алгоритм случайного леса. В результате C-статистика составила (95% доверительные интервалы) 0,7185 (0,6994–0,7377), 0,7446 (0,7346–0,7546), 0,7504 (0,7425–0,7583) и 0,7488 (0,7421–0,7554) соответственно для прогнозирования риска смерти в пределах 4 разных временных периодов выживаемости.

Другое исследование 2019 г. [39] посвящено прогнозированию смертности и конечных точек в виде возникновения сердечно-сосудистых заболеваний у пациентов на диализе. Для устранения влияния фактора популяционных особенностей риска смерти в исследовании использовали два набора данных (итальянский и американский). Применялся алгоритм машины опорных векторов с нелинейным ядром в виде радиальной базисной функции, гиперпараметры алгоритма подбирались с использованием технологии сетки поиска (GridSearch). В результате была получена высокая точность предсказания возникновения ишемической болезни сердца в пределах 2,5 лет у диализных пациентов: 95,25% в итальянском наборе данных и 92,15% в американском наборе данных. Но для предсказания смертности адекватной точной модели авторами исследования получено не было.

Часто встречаются исследования без подробного описания разработки моделей и их тестирования. Так на отечественном рынке информационных систем, поддерживающих решения врачей диализных центов, существует система управления лечебно-диагностическим процессом Maximus с модулем прогнозирования вероятности наступления осложнений от диализных процедур [41], однако отсутствуют данные о ее тестировании.

В 2018 г. в исследовании [40] были проанализированы данные из системы почечных данных США (USRDS) для больных, находящихся на диализе в период до 6 месяцев от начала заместительной почечной терапии. К концу рассматриваемого периода чуть более 67 тысяч пациентов умерли, 330 тысяч пациентов остались живы. В качестве контрольных переменных выступали возраст, пол, наличие сопутствующих заболеваний и связанных с ним состояний, в качестве предикторов риска смерти диализных пациентов - уровень сывороточного альбумина, сывороточного креатинина и индекса массы тела. Наилучшую точность предсказания получили при использовании логистической регрессии и алгоритма случайного леса.

COVID-19 внес коррективы и в выживаемость больных на диализе. Исследование [42] посвящено как раз использованию градиентного бустинга для краткосрочной и долгосрочной выживаемости диализных пациентов. Пул предикторов в обучении модели практически не отличается от признаков, используемых для прогнозирования популяционной выживаемости при заболевании COVID-19.

обсуждение

Проведенный отбор публикаций по теме применения ИИ/машинного обучения в диализе показал растущий интерес к этой теме в последние годы: на гистограммах представлены частоты встречаемости публикаций по диализу и ИИ (рис. 2, а), и машинному обучению (рис. 2, б).

(a)                                                                                          (b)

Рис. 2. Динамика публикации статей (a) искусственный интеллект (b) машинное обучение

Fig. 2. Dynamics of article publication (a) artificial intelligence (b) machine learning

Построенный сетевой граф по ключевым словам отобранных статей (рис.3) показывает четкое выделение кластеров около «artificial intelligence», «kidney disease». «prediction model», «characteristics», что говорит о наличии соответствующих фокусов в проводимых исследованиях. При этом детальный анализ показал, что в последние 3 года, в связи с растущей популярностью применение инструментов ИИ, появилось множество публикаций, где к исходным данным применяют несколько вариантов алгоритмов, сравнивая их точность, при этом нет четкого обоснования отбора предикторов риска, отсутствуют клинические обоснования дизайна исследования. Соответственно, несмотря на то что в последние годы отмечается рост количества статей, число публикаций с качественным содержательным наполнением, интересным в первую очередь нефрологам, осталось на прежнем уровне.

Рис. 3. Сетевая диаграмма ключевых слов отобранных статей

Fig. 3. Network diagram of keywords of selected articles

Во многом рост статей по применению инструментов ИИ именно к диализу объясняется возможностью сбора информации больших объёмов, за счет того, что диализ проводится каждые 3 дня и при этом формируются доступные признаки наблюдения. Таким образом, можно объяснить интерес к задачам диализа не только специалистов-нефрологов, но и специалистов по обучению алгоритмов ИИ. Этим обстоятельством можно также объяснить снижение качества публикаций с клинической точки зрения.

Анализ класса решаемых задач в диализе средствами ИИ показал, что наибольшая доля публикаций касается прогноза адекватности проведения процедур диализа, и, в частности, предсказания риска возникновения грозных осложнений. Также большая доля публикаций относится к задачам лечения анемии и нарушения ФКО у больных ХБП в терминальной стадии, что можно объяснить высокой вариативностью подбора назначений. Что касается статей применения алгоритмов ИИ для оценки выживаемости, то у всех у них есть существенные недостатки. Данные модели и алгоритмы позволяют лишь предсказать наступит осложнение или смерть у больного на диализе к определенному периоду или нет, но ответить на вопрос, кода вероятней всего наступит неблагоприятное событие для соответствующих пациентов, не могут. Однако это важно, для формирования мероприятий, способствующих снизить риск смерти.

Анализ применяемых инструментов ИИ показал, что наиболее популярными являются алгоритмы, решающие задачи классификации или задачи регрессии (ANN, SVM, бустинги, случайный лес). Применение алгоритмов рекомендательных систем, алгоритмов мэтчинга, анализа выживаемости (survival analysis), обучения с подкреплением (RL) или обучения по подобию (SL) практически не встречается.

 

Заключение

Проведённый анализ современных исследований, посвящённых применению искусственного интеллекта к решению задач, возникающих в диализе, позволяет наметить перспективы развития данного направления для нефрологии в целом. Обзор представляется полезным для формирования методологических основ разработки медицинской информационной системы, позволяющей комплексно рассматривать проблемы качества жизни диализных больных за счёт применения алгоритмов искусственного интеллекта к решению различных задач, возникающих при назначении заместительной почечной терапии.

 

 

Дополнительная информация

Источник финансирования. Научное исследование проведено при поддержке Российского научного фонда (грант РНФ № 25-18-20135).

Funding source. The scientific research was carried out with the support of the Russian Science Foundation (RSF grant No. 25-18-20135).Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Competing interests. The authors declare that they have no competing interests.Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: О.В. Черненко — концепция и дизайн обзора, написание текста и редактирование статьи; И.А. Лакман — сбор и анализ литературных источников, подготовка и написание текста статьи; О.А. Шкель — отбор литературных источников из собранных, подготовка и написание текста статьи; Г.И. Девяткова — отбор литературных источников из собранных, подготовка и написание текста статьи, В.М. Тимирьянова — разработка алгоритмов для автоматического поиска источников, формирование сетевого графика, Н.Ш. Загидуллин — редактирование, подготовка и написание текста статьи.

Author contribution. All authors confirm that their authorship meets the international ICMJE criteria (all authors have made a significant contribution to the development of the concept, research and preparation of the article, read and approved the final version before publication). The largest contribution is distributed as follows: O. V. Chernenko — concept and design of the review, writing the text and editing the article; I. A. Lakman — collection and analysis of literary sources, writing the text and editing the article; O. A. Shkel — selection of literary sources from the collected ones, preparation and writing of the article; G. I. Devyatkova — selection of literary sources from the collected ones, preparation and writing of the article, V. M. Timiryanova — development of algorithms for automatic search of sources, formation of a network graph, N. Sh. Zagidullin — editing, preparation and writing of the article.

×

Авторлар туралы

Irina Lakman

Ufa University of Science and Technology

Хат алмасуға жауапты Автор.
Email: Lackmania@mail.ru
ORCID iD: 0000-0001-9876-9202
SPIN-код: 4521-9097
Scopus Author ID: 57192164952
ResearcherId: K-6878-2017

Associate Professor, Candidate of Technical Sciences, Head of the Laboratory for the Study of Socio-Economic Problems of the Regions
Ресей, Russia, Ufa, st. Z. Validi, 32

Oleg Chernenko

LLC "Hemodialysis Laboratory"

Email: och@dializrb.ru
ORCID iD: 0000-0001-7907-806X

Cand. Sci. (Med.)

Ресей, Russia,Ufa, Shafiev str., 5

Oksana Shkel

LLC "Hemodialysis Laboratory"

Email: zamdir@dializrb.ru
ORCID iD: 0009-0005-1320-0946

chief physician
Ресей, Russia,Ufa, Shafiev str., 5

Galina Devyatkova

Perm State Medical University named after E. A. Wagner (PSMU) of the Ministry of Healthcare of the Russian Feaderation.

Email: gidev@mail.ru
ORCID iD: 0000-0002-2318-9390

Dr. Sc. (Med.), professor of the Department of Public Health and Healthcare with a Course in Healthcare Informatization

Ресей, 26 Petropavlovskaya St., Perm, 614000, Russia

Venera Timiryanova

Ufa University of Science and Technology

Email: 79174073127@mail.ru
ORCID iD: 0000-0002-1004-0722
SPIN-код: 1449-1716
Scopus Author ID: 57194428883

Leading researcher of Scientific Research and Development Department

Ресей, Russia, Ufa, st. Z. Validi, 32

Naufal Zagidullin

Bashkortostan State Medical University

Email: znaufal@mail.ru
ORCID iD: 0000-0003-2386-6707
SPIN-код: 5910-1156
Scopus Author ID: 6603435096

MD, Professor, Head of the Department of Internal Medicine Propaedeutics
Ресей, Russia, Ufa, Lenin str. 3

Әдебиет тізімі

  1. Yuan Q, Zhang H, Deng T, Tang Sh, Yuan X, Tang W, Xie Y, Ge H, Wang X, Zhou Q, Xiao X. Role of Artificial Intelligence in Kidney Disease. International Journal of Medical Sciences. 2020;17(7):970-984. doi: 10.7150/ijms.42078.
  2. Becker JU, Mayerich D, Padmanabhan M, Barratt J. Artificial intelligence and machine learning in nephropathology. Kidney International. 2020;98(1):65-75. doi: 10.1016/j.kint.2020.02.027.
  3. Hueso M, Vellido A, Montero N, Barbieri C, Ramos R, Angoso M, Cruzado JM, Jonsson A. Artificial Intelligence for the Artificial Kidney: Pointers to the Future of a Personalized Hemodialysis Therapy. Kidney Diseases. 2018;4:1–9. doi: 10.1159/000486394.
  4. Mushtaq MM, Mushtaq M, Ali H, Sarwar MA, Bokhari SFH. Artificial intelligence and machine learning in peritoneal dialysis: a systematic review of clinical outcomes and predictive modeling. International Urology and Nephrology. 2024;56(12):3857-3867. doi: 10.1007/s11255-024-04144-z.
  5. Penar W, Wozniak M Machine Learning Methods for Dialysis Therapy Decision Problem — Comparative Study. Proceedings of the 4th International Conference on Computer Recognition Systems CORES ’05. Springer-Verlag Berlin Heidelberg 2005:653-659. doi: 10.1007/3-540-32390-2.
  6. Fielding O, Kipers C, Son JH. Using machine learning to predict optimal renal replacement therapy starts in patients with advanced renal function loss. American Society of Nephrology. Kidney Week. 2018:SA-PO953.
  7. Okita J, Nakata T, Uchida H, Kudo A, Fukuda A, Ueno T, Tanigawa M, Sato N, Shibata H. Development and validation of a machine learning model to predict time to renal replacement therapy in patients with chronic kidney disease. BMC Nephrology. 2024 Mar 14;25(1):95. doi: 10.1186/s12882-024-03527-9.
  8. Leung KC, Ng WW, Siu YP, Hau AK, Lee HK. Deep learning algorithms for predicting renal replacement therapy initiation in CKD patients: a retrospective cohort study. BMC Nephrology. 2024 Mar 16;25(1): 101. doi: 10.1186/s12882-024-03538-6.
  9. Guh JY, Yang CY, Yang JM, Chen LM, Lai YH. Prediction of equilibrated postdialysis BUN by an artificial neural network in high-efficiency hemodialysis. American Journal of Kidney Diseases. 1998;31(4):638-646. doi: 10.1053/ajkd.1998.v31.pm9531180.
  10. Strokov AG, Gurevich KYa, Ilyin AP, Denisov AYu, Zemchenkov AYu, Andrusev AM, Shutov EV, Kotenko ON, Zlokazov VB. Treatment of patients with chronic kidney disease stage 5 (CKD 5) by hemodialysis and hemodiafiltration. Clinical guidelines. Nefrologiya. 2017; 21(3):92-111. (In Russ).
  11. Fernández EA, Valtuille R, Willshaw P, Perazzo CA. Dialysate-side Urea Kinetics. Neural Network Predicts Dialysis Dose During Dialysis. Medical & Biological Engineering & Computing. 2003;41(4):392-396. doi: 10.1007/BF02348080.
  12. Azar AT, Wahba KM. Artificial neural network for prediction of equilibrated dialysis dose without intradialytic sample. Saudi Journal of Kidney Diseases and Transplantation. 2011;22(4): 705-711.
  13. Azar AT. Neuro-Fuzzy Applications in Dialysis Systems. Modeling and Control of Dialysis Systems. Studies in Computational Intelligence. 2013;405:1223–1274. doi: 10.1007/978-3-642-27558-6_10.
  14. Fernández EA, Valtuille R, Balzarini M. Artificial Neural Networks Applications in Dialysis. Modeling and Control of Dialysis. Studies in Computational Intelligence. 2013;405:1145-1179. doi: 10.1007/978-3-642-27558-6-8.
  15. Gabutti L, Vadilonga D, Mombelli G, Burnier M, Marone C. Artificial neural networks improve the prediction of Kt/V, follow-up dietary protein intake and hypotension risk in hemodialysis patients. Nephrology Dialysis Transplantation. 2004;19(5):1204–1211. doi: 10.1093/ndt/gfh084.
  16. Gabutti L, Burnier M, Mombelli G, Malé F, Pellegrini L, Marone C. Usefulness of artificial neural networks to predict follow-up dietary protein intake in hemodialysis patients. Dialysis – Transplantation. 2004;66(1):399-407. doi: /10.1111/j.1523-1755.2004.00744.x.
  17. Othman M, Elbasha AM, Naga YS, Moussa ND. Early prediction of hemodialysis complications employing ensemble techniques. BioMedical Engineering OnLine. 2022 Oct 11;21(1):74. doi: 10.1186/s12938-022-01044-0.
  18. Yang J, Wan J, Feng L, Hou S, Yv K, Xu L, Chen K. Machine learning algorithms for the prediction of adverse prognosis in patients undergoing peritoneal dialysis. BMC Medical Informatics and Decision Making. 2024 Jan 2;24(1):8. doi: 10.1186/s12911-023-02412-z.
  19. Barbieri C, Cattinelli I, Neri L, Mari F, Ramos R, Brancaccio D, Canaud B, Stuard S. Development of an Artificial Intelligence Model to Guide the Management of Blood Pressure, Fluid Volume, and Dialysis Dose in End-Stage Kidney Disease Patients: Proof of Concept and First Clinical Assessment. Kidney Diseases. 2019;5:28–33. doi: 10.1159/000493479.
  20. Lankhorst CE, Wish JB. Anemia in renal disease: diagnosis and management. Blood Reviews. 2010;24:39–47. doi: 10.1016/j.blre.2009.09.001.
  21. Brier ME, Gaweda AE. Artificial intelligence for optimal anemia management in end-stage renal disease. Kidney International. 2016;90:259–261. doi: 10.1016/j.kint.2016.05.018.
  22. Martínez-Martínez JM, Escandell-Montero P, Barbieri C, Soria-Olivas E, Mari F, Martinez Sober M, Amato C, Serrano Lopez A, Bassi M, Magdalena Benedito R, Stopper A, Gatti E. Prediction of the hemoglobin level in hemodialysis patients using machine learning techniques. Computer methods and programs in biomedicine. 2014;117:208–217. doi: 10.1016/j.cmpb.2014.07.001.
  23. Barbieri C, Mari F, Stopper A, Gatti E, Escandell-Montero P, Martínez-Martínez JM, Martín-Guerrero JD. A new machine learning approach for predicting the response to anemia treatment in a large cohort of end stage renal disease patients undergoing dialysis. Computers in biology and medicine. 2015;61:56–61. doi: 10.1016/j.compbiomed.2015.03.019.
  24. Martín-Guerrero JD, Camps-Valls G, Soria-Olivas E, Serrano-López AJ, Pérez-Ruixo JJ, Jiménez-Torres NV. Dosage individualization of erythropoietin using a profile-dependent support vector regression. IEEE Transactions on Biomedical Engineering. 2003;50:1136-1142. doi: 10.1109/TBME.2003.816084.
  25. Martin-Guerrero JD, Gómez F, Soria-Olivas E, Schmidhuber J, Climente-Marti M, Jiménez-Torres NV. A reinforcement learning approach for individualizing erythropoietin dosages in hemodialysis patients. Expert systems with applications. 2009;36:9737–9742. doi: 10.1016/j.eswa.2009.02.041.
  26. Barbieri C, Molina M, Ponce P, Tothova M, Cattinelli I, Titapiccolo JI, Mari F, Amato C, Leipold F, Wehmeyer W, Stuard S. An international observational study suggests that artificial intelligence for clinical decision support optimizes anemia management in hemodialysis patients. Kidney International. 2016;90:422–429. doi: 10.1016/j.kint.2016.03.036.
  27. Gaweda AE, Jacobs AA, Aronoff GR, Brier ME. Model predictive control of erythropoietin administration in the anemia of ESRD. American Journal of Kidney Diseases. 2008;51:71-79. doi: 10.1053/j.ajkd.2007.10.003.
  28. Chernenko OV, Lakman IA, Shkel OA, Padukova AA, Nafikov ShR, Shabanova KI. Application of artificial intelligence algorithms to assess the effectiveness of therapy prescribed to dialysis patients. ORGZDRAV: news, opinions, training. Bulletin of the Higher School of Healthcare and Social Development. 2021;7;2(24):103-115. (In Russ). doi: 10.33029/2411-8621-2021-7-2-103-115.
  29. Rogg S, Fuertinger DH, Volkwein S, Kappel F, Kotanko P. Optimal EPO dosing in hemodialysis patients using a non-linear model predictive control approach. Journal of mathematical biology. 2019;79(6-7):2281-2313. doi: 10.1007/s00285-019-01429-1.
  30. Ohara T, Ikeda H, Sugitani Y, Suito H, Huynh VQH, Kinomura M, Haraguchi S, Sakurama K. Artificial intelligence supported anemia control system (AISACS) to prevent anemia in maintenance hemodialysis patients. International Journal of Medical Science. 2021 Feb 22;18(8):1831-1839. doi: 10.7150/ijms.53298.
  31. Kang C, Han J, Son S, Lee S, Baek H, Hwang DD, Park JI. Optimizing anemia management using artificial intelligence for patients undergoing hemodialysis. Scientific Reports. 2024 Nov 5;14(1):26739. doi: 10.1038/s41598-024-75995-w.
  32. Fukagawa M, Kido R, Komaba H, Onishi Y, Yamaguchi T, Hasegawa T, Kurita N, Fukuma S, Akizawa T, Fukuhara S. Abnormal mineral metabolism and mortality in hemodialysis patients with secondary hyperparathyroidism: evidence from marginal structural models used to adjust for time-dependent confounding. American journal of kidney diseases. 2014;63(6):979-987. doi: 10.1053/j.ajkd.2013.08.011.
  33. Wang YF, Hu TM, Wu CC, Yu FC, Fu CM, Lin SH, Huang WH, Chiu JS. Prediction of target range of intact parathyroid hormone in hemodialysis patients with artificial neural network. Computer methods and programs in biomedicine. 2006;83:111–119. doi: 10.1016/j.cmpb.2006.06.001.
  34. Chiu JS, Lin WT, Li YC, Wang YF. Neural Network Modeling to Predict Intact Parathyroid Hormone in Uremic Patients on Continuous Ambulatory Peritoneal Dialysis. Journal of Nuclear Medicine. 2005;18(3):135-141. doi: 10.6332/ANMS.1803.002.
  35. Li J, Molnar MZ, Zaritsky JJ, Sim JJ, Streja E, Kovesdy CP, Salusky I, Kalantar-Zadeh K. Correlates of parathyroid hormone concentration in hemodialysis patients. Nephrology, dialysis, transplantation. 2013;28(6):15-25. doi: 10.1093/ndt/gfs598.
  36. Mumtaz SL, Shamayleh A, Alshraideh H, Guella A. Improvement of Dialysis Dosing Using Big Data Analytics. Healthcare Informatics Research. 2023;29(2):174-185. doi: 10.4258/hir.2023.29.2.174.
  37. Zhang H; Hung CL, Chu WC; Chiu PF, Tang CY. Chronic Kidney Disease Survival Prediction with Artificial Neural Networks. IEEE International Conference on Bioinformatics and Biomedicine (BIBM). 2018:1351-135. doi: 10.1109/BIBM.2018.8621294
  38. Akbilgic O, Obi Y, Potukuchi PK, Karabayir I., Nguyen D.V., Soohoo M., Streja E., Molnar MZ, Rhee CM, Kalantar-Zadeh K, Kovesdy CP. Machine Learning to Identify Dialysis Patients at High Death Risk. Kidney international reports. 2019;4:1219-1229. doi: 10.1016/j.ekir.2019.06.009
  39. Mezzatesta S, Torino C, Meo P, Fiumara G, Vilasi A. A machine learning-based approach for predicting the outbreak of cardiovascular diseases in patients on dialysis. Computer Methods and Programs in Biomedicine, 2019;177:9-15. doi: 10.1016/j.cmpb.2019.05.005
  40. Khitan Z, Jacob A, Balentine, C, Jacob A, Sanabria J, Shapiro J. Predicting Adverse Outcomes in End Stage Renal Disease: Machine Learning Applied to the United States Renal Data System. Marshall Journal of Medicine. 2018;4:72-86. doi: 10.18590/mjm.2018.vol4.iss4.8.
  41. Zinov'ev DA, Novickij VO, Malkoch AV. Application of neural network methods of machine learning in the treatment of complications in patients on hemodialysis. Vrach i informacionnye tekhnologii. 2019;2:29-37. (In Russ).
  42. Guinsburg AM, Jiao Y, Bessone MID, Monaghan CK, Magalhães B, Kraus MA, Kotanko P, Hymes JL, Kossmann RJ, Berbessi JC, Maddux FW, Usvyat LA, Larkin JW. Predictors of shorter- and longer-term mortality after COVID-19 presentation among dialysis patients: parallel use of machine learning models in Latin and North American countries. BMC Nephrology. 2022 Oct 22;23(1):340. doi: 10.1186/s12882-022-02961-x.

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML

© Eco-Vector,

Creative Commons License
Бұл мақала лицензия бойынша қол жетімді Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.