Сосуществование машинного интеллекта, цифрового искусства и диагностики: возможно ли оно?

Полный текст

ВИЗУАЛЬНОЕ ВОСПРИЯТИЕ ОБРАЗОВ

Машинное обучение (machine learning, ML) широко используется для диагностических целей, решений задач классификации, поиска и визуализации патологий, в том числе одной из самых изучаемых тематик, с позиций пуб-ликационной активности, является диагностика болезни Альцгеймера [1, 2]. Наряду с применением алгоритмов ML (в частности, метода опорных векторов) и расширением инструментария врача-диагноста активное развитие получают искусственные нейронные сети и генеративные модели по созданию визуального контента ― text2image. Под моделью text2image понимается алгоритм, который позволяет генерировать изображение по текстовому запросу.

Восприятие визуальных образов, таких как художественные изображения, в современной культуре напрямую связано с эмоциональными и когнитивными процессами, личностными особенностями их восприятия и интерпретации индивидуально каждым человеком. В действительности то, как мы воспринимаем, например, абстракцию (рис. 1), может многое рассказать нам о нас самих. M.F. Koich и F. Pessotto в своей работе [3] показали, что искажение эмоционального восприятия изображений связаны с индивидуальными особенностями личности. В исследовании авторов чувство радости при предъявлении определённых изображений коррелировало с общительностью, а чувство страха ― со способностью противостоять агрессии и отстаивать личные границы.

Рис. 1

Перспективной технологией для транслирования художественного контента является технология виртуальной реальности, где пользователь (пациент) создаёт собственную реальность, «переходную» между внутренним миром и внешней реальностью, которая может быть исследована совместно с психологом или врачом [4]. Благодаря технологии виртуальной реальности в руках исследователей появляются новые инструменты с уникальными возможностями. Так, например, F. Paladines-Jaramillo с колл. [5] адаптировали тест Розенцвейга для диагностики фрустрации, для чего стимульный материал с рисунками различных ситуаций перенесли в виртуальную среду.

Постепенно технологии, в том числе искусственный интеллект общего назначения, смогут стать натуралистической частью терапевтических процессов, в которые будут интегрированы. Однозначно для адаптации и массового внедрения в практику необходимы исследования и разработка специальных терапевтических приложений и систем.

МАШИННЫЙ ИНТЕЛЛЕКТ

Возможности машинного интеллекта расширяются стремительно, не отставая от технологий виртуальной реальности. В течение последнего года мы наблюдаем ошеломительные результаты в создании генеративных объектов цифрового искусства¹, объектов дизайна, фотореалистических картин, живописных изображений с помощью генеративных состязательных нейросетей (generative adversarial network, GAN) и диффузионных моделей (diffusion models, DM), таких как DALL-E-2, Imagen, ruDALL-E, VQGAN, Stable Diffusion, Latent Diffusion, Disco Diffusion и др., работающих по принципу преобразования вводимого текста в изображение.

Следствием совместного взаимодействия человека, разрабатывающего алгоритм и вводящего текстовый запрос, и GAN (или DM) уже является дополнительный творческий эффект [6]. В данном случае вычислительным результатом работы модели text2image становится цифровой объект ― 2D-изображение.

Интересен такой факт, что GAN-подобные модели используются для анализа данных нейровизуализации (компьютерная или магнитно-резонансная томография²) [7, 8].

Машинный интеллект в совершенстве владеет текстом: на текущем уровне развития технологий искусственного интеллекта способность предсказывать следующий элемент текста важна для понимания его смысла и создания новых содержательных текстов. Справедливо отметить, что алгоритмы создания визуальных изображений также используют «предсказание следующего пикселя», но в отличие от текстовых моделей (GTP-3 и др.) и генерируемых ими текстовых фраз, при диалоговом взаимодействии синхронизация между людьми происходит на уровне нервно-психических функций [9], например, увеличивается с подключением общего эмоционального поля [10]. Положительные эффекты этой нейронной синхронизации применяются в коммуникационных экспериментах [11, 12].

ВИЗУАЛЬНОЕ ВОСПРИЯТИЕ И ЭМОЦИИ

Разработчики непрерывно стремятся усовершенствовать функциональность и результативность нейронных сетей (приложения DALL-E 2, ruDALL-E, Stable Diffusion, Midjorney и др.), а их появление вдохновляет учёных на изучение визуального восприятия смыслов, заложенных в художественные объекты, с помощью генеративного искусства³ [6, 13]. В связи с этим возникает логичный вопрос, связано ли восприятие объектов цифрового искусства с личностными характеристиками смотрящего? В частности, P. Achlioptas и соавт. [14] провели исследование эмоций, сопровождающих зрительное восприятие произведений искусства, связанных с ними объяснений собственных эмоций. В этом эксперименте произведения изобразительного искусства использовались в качестве стимульного материала, для того чтобы вызвать сильный эмоциональный отклик. Как подчеркнули авторы [14], аффективный компонент часто недооценивается при разработке систем искусственного интеллекта.

Проведём небольшой эксперимент, ответив на вопрос: «Как вы считаете, какое из двух изображений, представленных на рис. 2, создано нейронной сетью?»

Рис. 2. Изображения (а, b), созданные нейронной сетью.

Ответ простой: оба изображения (см. рис. 2) созданы с использованием искусственного интеллекта [15].

Благодаря развитию генеративных моделей text2image представляется реальным быстрое создание тематического ряда уникальных цифровых изображений с помощью нейронной сети. Уже сейчас почти любой исследователь может воспользоваться подобным инструментарием, сгенерировать новые контекстуальные изображения и спланировать собственный дизайн эксперимента.

Экологически валидно использовать визуальное искусство в качестве стимула для организации исследований. Человек в своих реакциях испытывает множество переживаний, в том числе эмоции и саморефлексию. Данный опыт в высшей степени индивидуален, а реакции смотрящих на один и тот же объект существенно различаются. Подтверждением данных индивидуальных различий служат паттерны нейронной активности различных подсетей головного мозга [16].

ЗАКЛЮЧЕНИЕ

Положительно отвечая на поставленный в письме вопрос (возможно ли использовать машинный интеллект для создания генеративных изображений и применения в экспериментальной диагностике), необходимо акцентировать внимание на то, что развитие исследований на стыке психологии и генеративного искусства, где машинный интеллект создаёт полноценные художественные работы, способствует появлению интеллектуальных систем, поддерживающих эмоциональное человеко-машинное взаимодействие. В свою очередь, подобные системы будут встраиваться в роботов, которые в роли социального партнёра будут помогать человеку адаптивно управлять и регулировать собственные эмоции, а в роли врача-ассистента ― организовывать терапевтическую деятельность.

Подобный подход будет реализовываться не только как интерактивный и интеллектуальный инструмент на рабочем столе психолога и врача, например, для целей экспериментальной диагностики аффективных процессов у пациентов, но как более сложная система⁴, обеспечивающая контролируемое взаимодействие врача-машинного интеллекта и пациента для целей практической медицины.

ДОПОЛНИТЕЛЬНО

Источник финансирования. Автор заявляет об отсутствии внешнего финансирования при проведении поисково-аналитической работы.

Конфликт интересов. Автор декларирует отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад автора. Автор подтверждает соответствие своего авторства международным критериям ICMJE. (Автор внёс существенный вклад в разработку концепции, проведение поисково-аналитической работы и подготовку статьи, прочёл и одобрил финальную версию перед публикацией).

ADDITIONAL INFORMATION

Funding source. This article was not supported by any external sources of funding.

Competing interests. The author declare that he has no competing interests.

Author’s contribution. The author made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.

¹ Например, DALL-E 2 OpenAI (режим доступа: https://openai.com/dall-e-2); ruDALL-E (Далли) Sber, SberDevices (режим доступа: https://rudalle.ru).

² Подробнее см. обзоры о роли генеративных состязательных нейросетей в анализе медицинских изображений.

³ Под генеративным искусством понимаются художественные объекты, созданные с помощью информационных технологий, в частности GAN или DM [6, 13].

⁴ Медицинское изделие.

Об авторах

Андрей Васильевич Власов

Автор, ответственный за переписку.
Email: a.vlasov@npcmr.ru
ORCID iD: 0000-0001-9227-1892
SPIN-код: 3378-8650
Россия, Москва; Москва

Список литературы

Дополнительные файлы

Доп. файлы

Действие

1. JATS XML

Скачать

2. Рис. 1

Скачать (847KB)

Метаданные

3. Рис. 2. Изображения (а, b), созданные нейронной сетью.

Скачать (792KB)

Метаданные