Delphi method to determine a list of questionnaire-assessed parameters in the follow-up of patients with inflammatory bowel disease.



Cite item

Full Text

Abstract

Background. Patients with inflammatory bowel disease (IBD) often require lifelong follow-up by a clinician. A promising area of such health care services is telemedicine monitoring, often based on the evaluation of patients' remote questionnaire results by a medical practitioner.

Aim. To define, using the Delphi method, a list of questionnaire-assessed parameters for use in the monitoring and treatment of patients with IBD.

Materials and Methods. The study was conducted in three stages. We created an electronic survey form to collect information, making sure that the respondent's experience was included when completing the survey. At the first stage, respondents answered an open-ended question about what parameters assessed by questionnaires should be monitored in patients with IBD. In the second stage, participants answered the same question, but selected any number of items from a list. In the third stage, we analyzed the responses. The primary endpoint was a consensus on each parameter, defined as >75% respondent agreement.

Results. There were 15 participants in the study, 13.3% of whom were male. 46% of respondents worked in an outpatient setting and 54% worked in an inpatient setting. The age range was from 25 to 53 years, with 53% of participants having 1 to 4 years of experience and 47% having 17 to 29 years of experience. None of the parameters reached a 75% agreement level based on the results of the first stage. At the second stage, respondents reached consensus on 72% of the parameters. We found no relationship between respondents' age, gender, years of experience, or job setting and responses in both the first and second stages.

Conclusions. The final list of parameters recommended for evaluation during monitoring and treatment of patients with IBD included: abdominal pain; frequency of defecation and stool quality; presence of pathological stool impurities; body temperature; joint/muscle pain; sleep quality; anxiety; depression; work capacity for employed/ability of attendance for students; energy, quantity of vigor; fixation on the disease; patients' general evaluation of their life quality; adherence to treatment.

Full Text

Введение.

Воспалительные заболевания кишечника (ВЗК), в частности язвенный колит и болезнь Крона, являются актуальной проблемой здравоохранения ввиду тяжести течения и осложнений, а также необходимости дорогостоящего лечения. Они часто оказывают значительное влияние не только на состояние здоровья, но и на качество жизни, ухудшая физическое и эмоциональное состояние пациентов и нарушая их социальные возможности [1]. Заболеваемость ВЗК неуклонно растет как во всем мире [2], так и в России [3], при этом 55,4% пациентов с язвенным колитом и 48,5% пациентов с болезнью Крона - это люди в возрасте от 21 до 40 лет [4]. Пациенты с ВЗК в большинстве своем нуждаются в пожизненном наблюдении ввиду рецидивирующего характера течения болезни, при этом методология амбулаторного ведения данных пациентов на этапе ремиссии не определена.

Одним из перспективных подходов ведения пациентов с ВЗК на амбулаторном этапе является использование телемедицинских технологий. У пациентов, находящихся под дистанционным мониторингом, достоверно выше качество жизни и ниже частота обращения за медицинской помощью по сравнению с пациентами, получающими стандартное лечение [5]. Однако при использовании дистанционного мониторинга возникает вопрос: что необходимо оценивать? Важность оценки необходимых лабораторных показателей, таких как С-реактивный белок и фекальный кальпротектин, не вызывает сомнений. Но помимо показателей активности ВЗК для качественной жизни пациенту важны и другие факторы, например, психологическое состояние, которое не оценивается в рутинной практике. Удобным и актуальным методом оценки различных аспектов состояния пациента являются опросники. Они предоставляют врачу необходимую информацию, например, о клинической активности ВЗК или приверженности пациента терапии, при этом не требуют финансовых и временных вложений. Наиболее часто в исследованиях оценивают активность заболевания и связанное с заболеванием качество жизни, реже – общее качество жизни, уровень депрессии, приверженность медикаментозной терапии, удовлетворенность пациентов медицинской помощью [5]. Единичные работы посвящены оценке висцеральной чувствительности  [6], влиянию заболевания на трудоспособность [7, 8] и сексуальную активность [9] у пациентов с ВЗК. При этом авторы исследований не мотивируют выбор тех или иных конечных точек. Таким образом, препятствием для стандартизации использования опросников является отсутствие консенсуса в отношении параметров, оцениваемых с их помощью, которые следует использовать у пациентов с ВЗК.

Целью нашего исследования стало определение списка оцениваемых с помощью анкетирования параметров для использования в наблюдении пациентов с ВЗК посредством дельфийского метода оценки экспертного мнения врачей-гастроэнтерологов.

 

Материалы и методы.

В период с мая по июнь 2023 г. группе врачей-гастроэнтерологов, занимающихся лечением пациентов с ВЗК, было предложено принять участие в опросе для достижения консенсуса о включении/невключении различных параметров в оценку состояния при лечении и наблюдении пациентов с ВЗК. Для принятия решения был выбран Дельфийский метод, позволяющий получить коллективное мнение, обладающее достаточной степенью достоверности и надёжности, а также исследовать области за рамками существующих знаний [10]. Перед началом исследования был проведен обзор статей, посвященных исследованиям на пациентах с ВЗК с использованием опросников. После обзора литературы были определены направления (Таблица 1), оцениваемые в работах российских и зарубежных авторов.

Выборка участников формировалась случайным образом (convenience sampling – опрос наиболее доступных респондентов). Не существует единого мнения относительно размера группы для исследований по методу Дельфи, а также рекомендаций или однозначного определения "малой" или "большой" выборки [11, 12]. Размер выборки в нашем исследовании был определён в соответствии с Akins и соавт., показавшими стабильность результатов дельфийского метода для группы экспертов в изучаемой области численностью от 15 до 23 человек [13].

Исследование состояло из трех этапов. Для сбора информации была создана электронная форма опроса на базе сервиса Яндекс.Формы. Обязательным условием для участия в опросе было указание стажа работы в качестве врача-гастроэнтеролога. На первом этапе участники отвечали на открытый вопрос, сформулированный как «По Вашему мнению, какие сферы жизни и параметры состояния необходимо оценивать у пациента с воспалительным заболеванием кишечника как во время лечения атаки, так и во время динамического наблюдения в ремиссии?». После заполнения поля для ответа респондент мог перейти к следующему этапу опроса. Ответы первого этапа были категоризированы в четыре класса: оценка клинической активности, психологического состояния, качества жизни и иное.

На втором этапе участникам было необходимо выбрать пункты из предложенных. Вопрос был сформулирован следующим образом: «Выберите те пункты из приведенного ниже списка, которые, по Вашему мнению, важно оценить у пациента с воспалительным заболеванием кишечника как во время лечения атаки, так и во время динамического наблюдения в ремиссии». Варианты ответа, представленные в Таблице 1, были сформированы в результате анализа литературы в базе данных PubMed. Мы анализировали оригинальные исследования и систематические обзоры, оценивающие эффективность лечения пациентов с ВЗК, и выделяли конечные точки этих исследований. Ограничений по количеству выбранных вариантов не было.

 

Таблица 1. Варианты ответов для второго этапа исследования: вопрос со множественным выбором.

Направление

Предлагаемый параметр

Клиническая активность заболевания

Боль в животе

Частота дефекации и качество стула

Наличие патологических примесей в кале

Температура тела

Боли в суставах/мышцах

Психологическое состояние

Эмоциональное состояние: тревожность

Эмоциональное состояние: настроение

Качество сна              

Качество восприятия пациентом собственного тела (негативное/позитивное отношение)

Качество жизни

Общая оценка пациентом качества своей жизни

Качество коммуникации с другими людьми

Качество сексуальной жизни

Трудоспособность для работающих/возможность посещать занятия для обучающихся

Иное

Фиксированность на заболевании

Висцеральная чувствительность

Энергичность, количество сил

Удовлетворенность пациента медицинской помощью

 

По завершении второго этапа участникам опроса было предложено по желанию дополнить свой ответ на вопрос первого этапа (без демонстрации респондентам текста их предыдущих ответов).

Третьим этапом исследования был выполнен анализ полученных ответов. Первичной конечной точкой считалось достижение консенсуса в отношении включения параметров оценки состояния пациента в итоговый список. Принято, что согласие по конкретному параметру считается достигнутым при выборе данного параметра более чем 75% респондентов [14].

Для анализа данных использовали программную среду и язык R 4.2.0. Проверку распределения на нормальность проводили с помощью теста Шапиро-Уилка. Для переменных с нормальным распределением указано среднее значение ± среднеквадратичное отклонение. Для переменных с распределением, отличающимся от нормального, указаны медианное значение и межквартильный интервал. Оценку корреляции между переменными проводили вычислением коэффициента ранговой корреляции Спирмена или Пирсона, в зависимости от типа распределения.

После завершения исследования мы провели интервью респондентов. Были заданы следующие вопросы:

  1. В какой форме было удобнее отвечать: открытый вопрос или вопрос с вариантами ответа?
  2. Как Вы считаете, почему некоторые пункты* не смогли набрать достаточное количество голосов? *В данном вопросе были указаны не набравшие 75% голосов пункты.

 

Результаты.

В исследовании приняло участие 15 респондентов, из них 13,3% мужчины. Средний возраст участников составил 36,6±9,9 лет, возрастной диапазон составил от 25 до 53 лет. 46% участников – работники, оказывающие медицинскую помощь в амбулаторно-поликлинических организациях, 54% – работники стационара. Выбывших из исследования респондентов не было. Распределение участников по стажу представлено на Рисунке 1.

Рисунок 1. Распределение участников исследования в соответствии с их стажем работы в качестве врачей-гастроэнтерологов.

 

По результатам первого этапа, где участникам исследования необходимо было ответить на открытый вопрос, среди ответов респондентов не было четких пересечений ввиду свободных формулировок каждого участника. После категоризации ответов ни одна из категорий не достигла уровня согласия (Рисунок 2).

Рисунок 2. Результаты первого этапа исследования. 75% респондентов - красная пунктирная линия.

 

По результатам первого этапа в варианты ответа второго этапа помимо пунктов, перечисленных в таб. 1, был внесен параметр «Приверженность лечению». Результаты второго этапа для каждого респондента (рис. 3) отличались от результатов первого в сторону увеличения числа оцениваемых опросниками параметров (медиана числа параметров 4 [3;5, 5] и 16 [13, 5; 17] для первого и второго этапов, соответственно).

Рисунок 3. Результаты второго этапа исследования. Красным цветом выделены столбцы тех параметров, которые не набрали 75% голосов - красная пунктирная линия.

 

По результатам корреляционного анализа не было обнаружено связи между возрастом, полом, стажем респондентов, а также местом их работы (амбулатория/стационар) и ответами как на первом, так и на втором этапах.

После получения результатов второго этапа было проведено интервьюирование участников. 100% респондентов отметили, что на открытый вопрос им было сложнее ответить, нежели на вопрос со множественным выбором. На вопрос о том, почему часть параметров не набрала нужное количество голосов, ответили 27% участников. Каждый из них отметил, что качество сексуальной жизни и коммуникации с другими людьми у пациентов с ВЗК зависит зачастую не только от наличия заболевания. Качество восприятия пациентом собственного тела, по мнению опрошенных, не связано с наличием заболевания и не требует оценки врачом-гастроэнтерологом. Удовлетворенность медицинской помощью респонденты также не сочли параметром, который необходимо отслеживать врачу у всех пациентов с ВЗК. В отношении висцеральной чувствительности опрошенные высказали мнение о важности оценки показателя у части пациентов, симптоматика которых не может быть объяснекна лишь клиническим течением ВЗК и для которых возможно присоединение функционального компонента.

 

Обсуждение.

Результатом исследования стал итоговый список параметров, рекомендуемых для оценки во время лечения и наблюдения пациентов с ВЗК, в который вошли:

  • Боль в животе;
  • Частота дефекации и качество стула;
  • Наличие патологических примесей в кале;
  • Температура тела;
  • Боли в суставах/мышцах;
  • Качество сна;
  • Эмоциональное состояние: тревожность;
  • Эмоциональное состояние: настроение;
  • Трудоспособность для работающих/возможность посещать занятия для обучающихся;
  • Энергичность, количество сил;
  • Фиксированность на заболевании;
  • Общая оценка пациентом качества своей жизни.
  • Приверженность лечению.

Данный список был получен в результате двухэтапного опроса врачей-гастроэнтерологов. В рамках исследования мы использовали два способа сбора информации: открытый вопрос и вопрос со множественным выбором. В первом случае не удалось достичь конценсуса ни по одной из категорий, в то время как во втором случае респонденты достигли согласия по 72% параметров. Это может быть связано с большей простотой второго этапа: во время интервьюирования респонденты отметили, что им проще и удобнее было отвечать на вопрос с множественным выбором. Также не выявлено связи между такими характеристиками участников опроса, как пол, возраст, место работы (амбулаторно-поликлиническая организация или стационар), стаж и их ответами как на первом, так и на втором этапах исследования. Проведенное нами исследование демонстрирует достоинства дельфийского метода, предоставляющего равный голос каждому участнику опроса и возможность замаскировать опыт и уровень квалификации респондента во избежание давления авторитета, неизбежного при очном обсуждении. В нашем исследовании врачи с малым опытом имели такие же представления о тактике наблюдения за пациентами, как их более опытные коллеги. Возможны альтернативные сценарии, в которых согласие не было бы таким единодушным; в таких случаях свежий взгляд молодых специалистов на рассматриваемую проблему потенциально способен привести к выработке более объективного её решения.

Основными показателями, оцениваемыми с помощью опросников в зарубежной литературе, являются качество жизни, связанное со здоровьем, инвалидность/трудоспособность и активность заболевания [15]. В нашем исследовании параметры, относящиеся к данным направлениям, также вошли в итоговый список. Первые пять выбранных участниками параметров (боль в животе, частота дефекации и качество стула, наличие патологических примесей в кале, температура тела, боли в суставах/мышцах) относятся к определению клинической активности ВЗК. Трудоспособность для работающих/возможность посещать занятия для обучающихся и общая оценка пациентом качества своей жизни также были выбраны более чем 90% респондентов.

Также в итоговый список вошли показатели, оценивающие эмоциональное состояние пациентов: качество сна, тревожность, настроение. Принимая во внимание высокую частоту у пациентов с ВЗК симптомов тревоги и депрессии  [16], оценка данных показателей несомненно даст исследователям и врачам важную информацию.

Оценка энергичности и количества сил у пациентов с ВЗК также имеет большое значение, учитывая субъективный, сложный характер астенического синдрома у этой группы больных [17]. Оценку данного показателя мы считаем нужной использовать врачам и исследователям в зависимости от клинической ситуации/конечных точек исследования.

Оценка приверженности лечению также важна у пациентов с ВЗК, принимая во внимание часто пожизненный прием препаратов, в том числе иммуносупрессантов. Учитывая, что приверженность лечению является целью вмешательств [18], ее оценка принципиальна как для врачей, так и для исследователей.

В систематическом обзоре Pang и соавт. как первичные исходы рассматриваются качество жизни, связанное с заболеванием, активность воспалительного процесса и частота ремисии. Вторичными конечными точками выступают общее качество жизни, показатель депрессии, приверженность терапии и удовлетворенность качеством помощи [5]. Однако почему в качестве исходов выбраны именно эти показатели исследователи не аргументируют. Консенсусное решение, представленное в нашей работе, определяет список параметров, оцениваемых при помощи опросников во время наблюдения пациентов с ВЗК.

Преимущества и ограничения. Мы пригласили к участию в исследовании врачей с разным опытом работы, что является как преимуществом, так и недостатком исследования. Положительным моментом участия большого количества молодых докторов является получение нового взгляда на вопрос, отрицательным – собственно небольшой практический опыт участников. Наличие среди респондентов работников как амбулаторной, так и стационарной помощи также позволяет получить более широкий круг мнений.

Направление дальнейшей работы. Проведение подобного опроса в более крупных масштабах с участием большого количества врачей-гастроэнтерологов из разных регионов России видится логичным и необходимым продолжением нашей работы. Cовместное обсуждение научных задач кругом профессионалов позволяет затронуть актуальные проблемы и по-новому взглянуть на возможностии их решения [19]. В рамках практической реализации проведенного исследования будут созданы методические рекомендации, очерчивающие пул опросников по определенным консенсусом направлениям.

ДОПОЛНИТЕЛЬНО

 

Источник финансирования. Данная статья подготовлена авторским коллективом в рамках НИР «Научное обоснование моделей и способов организации и оказания медицинской помощи с применением телемедицинских технологий», (№ ЕГИСУ: 123031400008-4 ) в соответствии с Приказом от 21.12.2022 г. № 1196 "Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов" Департамента здравоохранения города Москвы.

 

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публика-цией настоящей статьи.

 

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: Ю.Ф. Шумская, Д.А. Ахмедзянова, К.Ю. Колосова, М.В. Юраж – написание текста статьи; Ю.Ф. Шумская, О.В. Тащян – сбор и обработка материалов; М.Г. Мнацаканян, Р.В. Решетников, Ю.Ф. Шумская – концепция и дизайн исследования; Р.В. Решетников, Ю.Ф. Шумская – анализ полученных данных

 

×

About the authors

Yuliya F. Shumskaya

Research and Practical Clinical Center of Diagnostics and Telemedicine Technologies, Department of Health Care of Moscow

Author for correspondence.
Email: shumskayayf@zdrav.mos.ru
ORCID iD: 0000-0002-8521-4045

junior researcher at Medical Research Department

Russian Federation

Dina A. Akhmedzyanova

Research and Practical Clinical Center of Diagnostics and Telemedicine Technologies, Department of Health Care of Moscow

Email: dina_akhm@mail.ru
ORCID iD: 0000-0001-7705-9754
SPIN-code: 6983-5991

junior researcher at Medical Research Department

Russian Federation, Moscow

Marina G. Mnatsakanyan

Sechenov First Moscow State Medical University (Sechenov University)

Email: mnatsakanyanmg@gmail.com
ORCID iD: 0000-0001-9337-7453

Dr. Sci. (Med.), Head of the Department of
Gastroenterology; Professor, Department of Hospital Therapy No. 1, Institute of Clinical Medicine named after N.V. Sklifosovsky, I.M. Sechenov First Moscow State Medical University, Ministry of Health of Russia (Sechenov University)

Russian Federation, Moscow

Ksenia Yu. Kolosova

Sechenov First Moscow State Medical University (Sechenov University)

Email: shumskayayf@zdrav.mos.ru

Cand. Sci. (Med.), Gastroenterologist at the Gastroenterology Department of the University Clinical Hospital No. 1

Olga V. Tashchyаn

Sechenov First Moscow State Medical University (Sechenov University)

Email: olgatash1@rambler.ru
ORCID iD: 0000-0001-6759-6820

Cand. Sci. (Med.), Sechenov First Moscow State Medical University (Sechenov University)

Russian Federation, Moscow

Marta V. Yurazh

Sechenov First Moscow State Medical University (Sechenov University)

Email: shumskayayf@zdrav.mos.ru
ORCID iD: 0000-0002-4459-7481

Gastroenterologist at the Gastroenterology Department of the University Clinical Hospital No. 1

Roman V. Reshetnikov

Research and Practical Clinical Center of Diagnostics and Telemedicine Technologies, Department of Health Care of Moscow

Email: reshetnikov@fbb.msu.ru
ORCID iD: 0000-0002-9661-0254
SPIN-code: 8592-0558

Cand. Sci. (Phys.-Math.), Head of Medical Research Department

Russian Federation, Moscow

References

  1. Romberg-Camps MJL, Bol Y, Dagnelie PC, et al. Fatigue and health-related quality of life in inflammatory bowel disease. Inflamm Bowel Dis. 2010;16(12):2137-2147. doi: 10.1002/ibd.21285
  2. Windsor JW, Kaplan GG. Evolving Epidemiology of IBD. Curr Gastroenterol Rep. 2019;21(8):40. doi: 10.1007/s11894-019-0705-6
  3. Khalif IL, Shapina M V. Inflammatory bowel disease treatment in Eastern Europe. Curr Opin Gastroenterol. 2017;33(4):230-233. doi: 10.1097/MOG.0000000000000370
  4. Belousova EA, Shelygin YuA, Achkasov SI, et al. Clinical and Demographic Features and Treatment Approaches for Inflammatory Bowel Diseases (Crohn’s Disease, Ulcerative Colitis) in the Russia. The Primery Results of the Analysis of the National Register. Koloproktologia. 2023;22(1):65-82. doi: 10.33878/2073-7556-2023-22-1-65-82
  5. Pang L, Liu H, Liu Z, et al. Role of Telemedicine in Inflammatory Bowel Disease: Systematic Review and Meta-analysis of Randomized Controlled Trials. J Med Internet Res. 2022;24(3):e28978. doi: 10.2196/28978
  6. Trieschmann K, Chang L, Park S, et al. The visceral sensitivity index: A novel tool for measuring GI‐symptom‐specific anxiety in inflammatory bowel disease. Neurogastroenterology & Motility. 2022;34(9). doi: 10.1111/nmo.14384
  7. Jackson BD, Con D, Gorelik A, Liew D, Knowles S, De Cruz P. Examination of the relationship between disease activity and patient-reported outcome measures in an inflammatory bowel disease cohort. Intern Med J. 2018;48(10):1234-1241. doi: 10.1111/imj.13937
  8. Thomas PWA, den Broeder N, Derikx M, et al. Impact of Biological Therapies and Tofacitinib on Real-world Work Impairment in Inflammatory Bowel Disease Patients: A Prospective Study. Inflamm Bowel Dis. 2022;28(12):1813-1820. doi: 10.1093/ibd/izac002
  9. Chen B, Zhou B, Song G, et al. Inflammatory bowel disease is associated with worse sexual function: a systematic review and meta-analysis. Transl Androl Urol. 2022;11(7):959-973. doi: 10.21037/tau-22-190
  10. Murphy MK, Black NA, Lamping DL, et al. Consensus development methods, and their use in clinical guideline development. Health Technol Assess. 1998;2(3):i-iv, 1-88.
  11. Williams PL, Webb C. The Delphi technique: a methodological discussion. J Adv Nurs. 1994;19(1):180-186. doi: 10.1111/j.1365-2648.1994.tb01066.x
  12. Wilhelm W. Alchemy of the Oracle: the Delphi technique. The Delta Pi Epsilon Journal. 2001;1(43):6-26.
  13. Akins RB, Tolson H, Cole BR. Stability of response characteristics of a Delphi panel: application of bootstrap data expansion. BMC Med Res Methodol. 2005;5(1):37. doi: 10.1186/1471-2288-5-37
  14. Diamond IR, Grant RC, Feldman BM, et al. Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. J Clin Epidemiol. 2014;67(4):401-409. doi: 10.1016/j.jclinepi.2013.12.002
  15. van Andel EM, Koopmann BDM, Crouwel F, et al. Systematic Review of Development and Content Validity of Patient-reported Outcome Measures in Inflammatory Bowel Disease: Do We Measure What We Measure? J Crohns Colitis. 2020;14(9):1299-1315. doi: 10.1093/ecco-jcc/jjaa057
  16. Barberio B, Zamani M, Black CJ, Savarino E V, Ford AC. Prevalence of symptoms of anxiety and depression in patients with inflammatory bowel disease: a systematic review and meta-analysis. Lancet Gastroenterol Hepatol. 2021;6(5):359-370. doi: 10.1016/S2468-1253(21)00014-5
  17. Halpin SJ, Ford AC. Prevalence of Symptoms Meeting Criteria for Irritable Bowel Syndrome in Inflammatory Bowel Disease: Systematic Review and Meta-Analysis. American Journal of Gastroenterology. 2012;107(10):1474-1482. doi: 10.1038/ajg.2012.260
  18. Yu N, Basnayake C, Connell W, et al. Interventions to Improve Adherence to Preventive Care in Inflammatory Bowel Disease: A Systematic Review. Inflamm Bowel Dis. 2022;28(8):1177-1188. doi: 10.1093/ibd/izab247
  19. Vinogradova IA, Nizovtsova LA, Omelyanskaya O V. Innovative strategic session in the scientific activity of the Center for Diagnostics and Telemedicine. Digital Diagnostics. 2023;3(4):414-420. doi: 10.17816/DD111833

Supplementary files

There are no supplementary files to display.


Copyright (c) Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies