Artificial intelligence (AI) systems are highly efficient. However, their implementation in medical practice is accompanied by a range of ethical issues. The “black box” problem is basic to the AI philosophy, although having its own specificity in relation to medicine. A selection of relevant papers for the last three years by citations and their analysis through PubMed and Google Scholar search engines was conducted to study the problems of the AI implementation in medicine. One of the central problems is that the algorithms to justify decisions are still unclear to doctors and patients. The lack of clear and reasonable principles of AI operation is called the “black box” problem. How can doctors rely on AI findings without enough data to explain a particular decision? Who will be responsible for the final decision in case of an adverse outcome (death or serious injury)? In routine practice, medical decisions are based on an integrative approach (understanding of pathophysiology and biochemistry and interpretation of past findings), clinical trials and cohort studies. AI may be used to build a plan for disease diagnosis and treatment, while not providing a convincing justification for specific decisions. This creates a “black box”, since the information that the AI considers important for making a conclusion is not always clear, nor is it clear how or why the AI reaches that conclusion. Thus, Juan M. Durán writes, “Even if we claim to understand the principles underlying AI annotation and training, it is still difficult and often even impossible to understand the inner workings of such systems. The doctor can interpret or verify the results of these algorithms, but cannot explain how the algorithm arrived at its recommendations or diagnosis”. Currently, AI models are trained to recognize microscopic adenomas and polyps in the colon. However, doctors still have insufficient understanding of how AI differentiates between different types of polyps despite the high accuracy, and the signs that are key to making an AI diagnosis remain unclear to experienced endoscopists. Another example is the biomarkers of colorectal cancer recognized by AI. The doctor does not know how algorithms determine the quantitative and qualitative criteria of detectable biomarkers to formulate a final diagnosis in each individual case, i.e., a “black box” of process pathology emerges. For the trust of doctors and patients to be earned, the processes underlying the work of AI must be deciphered and explained, describing how it is done sequentially, step by step, and a specific result is to be formulated. Although the “black box” algorithms cannot be called transparent, the possibility of applying these technologies in practical medicine is worth considering. Despite the above problems, the accuracy and efficiency of solutions does not allow to neglect the use of AI. On the contrary, this use is necessary. Emerging problems should serve as a basis for training and educating doctors to work with AI, expanding the scope of application and developing new diagnostic techniques.
Системы искусственного интеллекта (ИИ) высокоэффективны, что делает невозможным игнорирование их имплементации в медицинскую практику, но создаёт ряд этических проблем. Проблема «чёрного ящика» является базовой для философии искусственного интеллекта, но имеет свою специфику применительно к медицине. С целью изучения проблем внедрения ИИ в медицину проведён отбор релевантных статей за последние три года через Pubmed и Google Scholar по цитированиям и их анализ. Одной из центральных проблем внедрения ИИ в медицину является проблема «чёрного ящика» — отсутствие ясных и обоснованных принципов работы ИИ. Как врачи могут опираться на заключения ИИ, не имея достаточного количества данных, объясняющих принятие того или иного решения? А в случае неблагоприятного исхода (летального случая, тяжёлой травмы) на ком будет лежать ответственность за окончательно принятое решение? В рутинной практике медицинские решения основываются на комплексном подходе: понимании патофизиологии и биохимии, интерпретации полученных в прошлом результатов, клинических исследованиях и когортных наблюдениях. Искусственный интеллект может быть использован для построения плана диагностики заболеваний и лечения, но не предоставляет убедительных обоснований для принятия конкретных решений. Это и создаёт «чёрный ящик»: не всегда понятно, какую информацию ИИ считает важной для вынесения заключения, каким образом и почему ИИ приходит именно к такому выводу. Хуан Мануэль Дуран пишет: «Даже если мы заявляем, что понимаем принципы, лежащие в основе маркировки и обучения ИИ, всё равно сложно, а часто даже невозможно претендовать на понимание внутренней работы таких систем. Врач может интерпретировать или проверять результаты этих алгоритмов, но врач не может объяснить, как алгоритм пришёл к своим рекомендациям или диагнозу». Сегодня модели ИИ обучены распознавать микроскопические аденомы и полипы в толстой кишке. Но, несмотря на высокую точность, врачи всё ещё имеют недостаточно представлений о том, как ИИ дифференцирует различные виды полипов, а признаки, являющиеся ключевыми для постановки диагноза ИИ, остаются неясными для опытных врачей-эндоскопистов. Другой пример — биомаркеры колоректального рака, распознаваемые ИИ. При этом врач не знает, как алгоритмы определяют количественные и качественные критерии выявляемых биомаркеров для формулировки окончательного диагноза в каждом индивидуальном случае, т.е. возникает «чёрный ящик» в патологии процесса. Для того чтобы завоевать доверие врачей и пациентов, необходимо обеспечить расшифровку и пояснение процессов, лежащих в основе работы ИИ, описать, как последовательно, шаг за шагом происходит работа и формулируется конкретный результат. Хотя алгоритмы «чёрного ящика» нельзя назвать прозрачными, стоит рассмотреть возможность применения данных технологий в практической медицине. Несмотря на перечисленные проблемы, точность и эффективность решений не позволяет пренебрегать использованием ИИ, даже, наоборот, делает это использование необходимым. Возникающие проблемы должны служить основой для подготовки и обучения врачей умению работать с ИИ, расширения сфер применения и разработки новых методик диагностики.