<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE root>
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:ali="http://www.niso.org/schemas/ali/1.0/" article-type="other" dtd-version="1.2" xml:lang="en"><front><journal-meta><journal-id journal-id-type="publisher-id">Digital Diagnostics</journal-id><journal-title-group><journal-title xml:lang="en">Digital Diagnostics</journal-title><trans-title-group xml:lang="ru"><trans-title>Digital Diagnostics</trans-title></trans-title-group><trans-title-group xml:lang="zh"><trans-title>Digital Diagnostics</trans-title></trans-title-group></journal-title-group><issn publication-format="print">2712-8490</issn><issn publication-format="electronic">2712-8962</issn><publisher><publisher-name xml:lang="en">Eco-Vector</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="publisher-id">430374</article-id><article-id pub-id-type="doi">10.17816/DD430374</article-id><article-categories><subj-group subj-group-type="toc-heading" xml:lang="en"><subject>Conference proceedings</subject></subj-group><subj-group subj-group-type="toc-heading" xml:lang="ru"><subject>Материалы конференции</subject></subj-group><subj-group subj-group-type="toc-heading" xml:lang="zh"><subject>会议报告摘要</subject></subj-group><subj-group subj-group-type="article-type"><subject>Conference Abstract</subject></subj-group></article-categories><title-group><article-title xml:lang="en">Discrimination of artificial intelligence in healthcare</article-title><trans-title-group xml:lang="ru"><trans-title>Дискриминация искусственного интеллекта в медицине</trans-title></trans-title-group><trans-title-group xml:lang="zh"><trans-title/></trans-title-group></title-group><contrib-group><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0009-0005-4818-8270</contrib-id><name-alternatives><name xml:lang="en"><surname>Khomyakov</surname><given-names>Michael Yu.</given-names></name><name xml:lang="ru"><surname>Хомяков</surname><given-names>Михаил Юрьевич</given-names></name><name xml:lang="zh"><surname></surname><given-names></given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><email>mehilaineen@gmail.com</email><xref ref-type="aff" rid="aff1"/></contrib></contrib-group><aff-alternatives id="aff1"><aff><institution xml:lang="en">N.I. Pirogov Russian National Research Medical University</institution></aff><aff><institution xml:lang="ru">Российский национальный исследовательский медицинский университет имени Н.И. Пирогова</institution></aff><aff><institution xml:lang="zh"></institution></aff></aff-alternatives><pub-date date-type="pub" iso-8601-date="2023-06-26" publication-format="electronic"><day>26</day><month>06</month><year>2023</year></pub-date><volume>4</volume><issue>1S</issue><issue-title xml:lang="en"/><issue-title xml:lang="ru"/><issue-title xml:lang="zh"/><fpage>143</fpage><lpage>144</lpage><history><date date-type="received" iso-8601-date="2023-05-18"><day>18</day><month>05</month><year>2023</year></date><date date-type="accepted" iso-8601-date="2023-05-18"><day>18</day><month>05</month><year>2023</year></date></history><permissions><copyright-statement xml:lang="en">Copyright ©; 2023, Eco-Vector</copyright-statement><copyright-statement xml:lang="ru">Copyright ©; 2023, Эко-вектор</copyright-statement><copyright-statement xml:lang="zh">Copyright ©; 2023, Eco-Vector</copyright-statement><copyright-year>2023</copyright-year><copyright-holder xml:lang="en">Eco-Vector</copyright-holder><copyright-holder xml:lang="ru">Эко-вектор</copyright-holder><copyright-holder xml:lang="zh">Eco-Vector</copyright-holder><ali:free_to_read xmlns:ali="http://www.niso.org/schemas/ali/1.0/"/><license><ali:license_ref xmlns:ali="http://www.niso.org/schemas/ali/1.0/">https://creativecommons.org/licenses/by-nc-nd/4.0</ali:license_ref></license></permissions><self-uri xlink:href="https://jdigitaldiagnostics.com/DD/article/view/430374">https://jdigitaldiagnostics.com/DD/article/view/430374</self-uri><abstract xml:lang="en"><p>Currently, artificial intelligence (AI) plays an important role in various fields as a primary worker or assistant, especially in healthcare. AI has many functions that can be performed even better than humans do due to the high speed of compiling a large amount of data from various sources (Internet and electronic health records), which increases the productivity of doctors. Less discussed, though equally important, is the discrimination of AI in healthcare. Doctors, who have a lot of responsibility, cannot rely on AI due to multiple vulnerabilities. First, AI collects huge amounts of data. However, AI does not guarantee error-free results, despite its non-autonomy and operator control, since human factors can play a role, becoming a source of inaccuracy. Therefore, a high risk of using poor quality data in further decision-making processes exists. Errors, biases (ethnic, gender, age, and social), and data gaps worsen AI outcomes, leading, for example, to discrimination against minorities and inaccurate prescriptions. In addition, AI may act unethically or even violate laws (e.g., Title VI, Section 1557 of the Affordable Care Act, which prohibits discrimination by race, color, national origin, sex, age, or disability in certain healthcare programs and activities).</p> <p>Secondly, AI may be called secretive due to the indeterminacy of the algorithms. This means that no one can explain how or why the AI reached this or that decision, as stated by Judea Pearl in The Book of Why: The New Science of Cause and Effect. Therefore, doctors cannot check the facts and make sure that the analysis is done correctly and the conclusion is accurate. Difficulties in solving real-world problems using AI that cannot be solved by formal and mathematical rules of logic as humans do (e.g., natural language and face recognition) must be recognized. AI makes the work of medical professionals easier, however, posing many unresolved problems that mislead doctors and contribute to wrong decisions.</p></abstract><trans-abstract xml:lang="ru"><p>В настоящее время искусственный интеллект (ИИ) играет важную роль в различных областях в качестве основного работника или помощника, особенно в здравоохранении. Искусственный интеллект обладает множеством функций, которые он может выполнять даже лучше, чем человек, благодаря высокой скорости компиляции большого количества данных из различных источников [Интернет, Electronic health record (EHR) и т.д.], что повышает производительность труда врачей.</p> <p>Менее обсуждаемой, но не менее важной проблемой является дискриминации искусственного интеллекта в здравоохранении: врачи, на которых лежит большая ответственность, не могут полагаться на ИИ, поскольку сталкиваются с рядом уязвимостей.</p> <p>Во-первых, ИИ собирает огромные массивы данных и, несмотря на то что он не автономен и контролируется оператором, не гарантирует безошибочный результат, так как может сыграть роль человеческий фактор, который будет источником неточностей в работе. Следовательно, существует высокий риск использования некачественных данных в процессе дальнейшего принятия решений. Ошибки, предрассудки (этнические, гендерные, возрастные, социальные и др.) и пробелы в данных ухудшают результаты работы ИИ, что приводит, например, к дискриминации меньшинств, назначению им неточного лечения. Кроме того, ИИ может действовать неэтично или даже нарушать законы (например, часть VI, раздел 1557 закона США о доступном медицинском обслуживании, запрещающего дискриминацию по признаку расы, цвета кожи, национального происхождения, пола, возраста или инвалидности в некоторых программах и мероприятиях в области здравоохранения).</p> <p>Во-вторых, ИИ можно назвать скрытным из-за неопределённости алгоритмов. Это означает, что никто не может объяснить, как и почему ИИ принял такое решение (по словам Джудии Перл в произведении «Книга почему»), поэтому врачи не могут проверить факты и убедиться, что анализ выполнен правильно и сделан верный вывод.</p> <p>Необходимо признать существование трудностей в решении посредством ИИ проблем реального мира, которые не могут быть решены с помощью формальных, математических правил логики, в то время как люди делают это хорошо (например, естественный язык, распознавание лиц и т.д.).</p> <p>Можно утверждать, что ИИ облегчает работу медицинских работников, однако он имеет множество нерешённых проблем, которые вводят врачей в заблуждение и способствуют принятию неверных решений.</p></trans-abstract><trans-abstract xml:lang="zh"><p/></trans-abstract><kwd-group xml:lang="en"><kwd>healthcare</kwd><kwd>artificial intelligence</kwd><kwd>discrimination</kwd><kwd>data</kwd></kwd-group><kwd-group xml:lang="ru"><kwd>здравоохранение</kwd><kwd>искусственный интеллект</kwd><kwd>дискриминация</kwd><kwd>данные</kwd></kwd-group><funding-group/></article-meta></front><body></body><back><ref-list><ref id="B1"><label>1.</label><citation-alternatives><mixed-citation xml:lang="en">Holzinger A, Langs G, Denk H, et al. Causability and explainability of artificial intelligence in medicine. Wiley Interdiscip Rev Data Min Knowl Discov. 2019;9(4):e1312. doi: 10.1002/widm.1312</mixed-citation><mixed-citation xml:lang="ru">Holzinger A, Langs G., Denk H., et al. Causability and explainability of artificial intelligence in medicine // Wiley Interdiscip Rev Data Min Knowl Discov. 2019. Vol. 9, N 4. P. e1312. doi: 10.1002/widm.1312</mixed-citation></citation-alternatives></ref><ref id="B2"><label>2.</label><citation-alternatives><mixed-citation xml:lang="en">Hoffman S, Podgurski A. Artificial Intelligence and Discrimination in Health Care. Case Western Reserve University. School of Law; 2020.</mixed-citation><mixed-citation xml:lang="ru">Hoffman S., Podgurski A. Artificial Intelligence and Discrimination in Health Care. Case Western Reserve University. School of Law, 2020.</mixed-citation></citation-alternatives></ref><ref id="B3"><label>3.</label><citation-alternatives><mixed-citation xml:lang="en">Kim JS, Kim BG, Hwang SH. Efficacy of Artificial Intelligence-Assisted Discrimination of Oral Cancerous Lesions from Normal Mucosa Based on the Oral Mucosal Image: A Systematic Review and Meta-Analysis. Cancers (Basel). 2022;14(14):3499. doi: 10.3390/cancers14143499</mixed-citation><mixed-citation xml:lang="ru">Kim J.S., Kim B.G., Hwang S.H. Efficacy of Artificial Intelligence-Assisted Discrimination of Oral Cancerous Lesions from Normal Mucosa Based on the Oral Mucosal Image: A Systematic Review and Meta-Analysis // Cancers (Basel). 2022. Vol. 14, N 14. P. 3499. doi: 10.3390/cancers14143499</mixed-citation></citation-alternatives></ref><ref id="B4"><label>4.</label><citation-alternatives><mixed-citation xml:lang="en">Laguarta J, Hueto F, Subirana B. COVID-19 Artificial Intelligence Diagnosis Using Only Cough Recordings. IEEE Open J Eng Med Biol. 2020;1:275–281. doi: 10.1109/OJEMB.2020.3026928</mixed-citation><mixed-citation xml:lang="ru">Laguarta J., Hueto F., Subirana B. COVID-19 Artificial Intelligence Diagnosis Using Only Cough Recordings // IEEE Open J Eng Med Biol. 2020. Vol. 1. P. 275–281. doi: 10.1109/OJEMB.2020.3026928</mixed-citation></citation-alternatives></ref><ref id="B5"><label>5.</label><citation-alternatives><mixed-citation xml:lang="en">Vellido A. Societal Issues Concerning the Application of Artificial Intelligence in Medicine. Kidney Dis (Basel). 2019;5(1):11–17. doi: 10.1159/000492428</mixed-citation><mixed-citation xml:lang="ru">Vellido A. Societal Issues Concerning the Application of Artificial Intelligence in Medicine // Kidney Dis (Basel). 2019. Vol. 5, N 1. P. 11–17. doi: 10.1159/000492428</mixed-citation></citation-alternatives></ref><ref id="B6"><label>6.</label><citation-alternatives><mixed-citation xml:lang="en">Park SH, Han K. Methodologic Guide for Evaluating Clinical Performance and Effect of Artificial Intelligence Technology for Medical Diagnosis and Prediction. Radiology. 2018;286(3):800–809. doi: 10.1148/radiol.2017171920</mixed-citation><mixed-citation xml:lang="ru">Park S.H., Han K. Methodologic Guide for Evaluating Clinical Performance and Effect of Artificial Intelligence Technology for Medical Diagnosis and Prediction // Radiology. 2018. Vol. 286, N 3. P. 800–809. doi: 10.1148/radiol.2017171920</mixed-citation></citation-alternatives></ref></ref-list></back></article>
