Choosing a configuration with a limited number of electrodes to identify the cognitive load of the brain

Full Text

Обоснование

Развитие технологий искусственного интеллекта, в частности машинного и глубокого обучения, открывает новые возможности в области нейродиагностики. Данные технологии активно используются для создания адаптивных систем, способных анализировать данные электроэнцефалографии (ЭЭГ) с целью оценки когнитивной нагрузки.

Когнитивная нагрузка представляет собой комплекс процессов, связанных с длительной мыслительной деятельностью, концентрацией внимания и активностью мозга при выполнении различных задач. С помощью нейрообручей возможно регистрировать ЭЭГ- сигналы во время выполнения таких заданий. Полученные данные могут быть использованы для оценки эффективности индивидуальных образовательных программ и мониторинга общего состояния здоровья [3].

Появление современных электронных технологий стимулирует развитие новых носимых устройств для контроля состояния здоровья и самочувствия. На рынке уже присутствуют нейрообручи от различных производителей, таких как Neiry, BrainBit, Muse 2, NeuroSky MindWave Mobile 2 и Neuroplay. Эти устройства позволяют получать неинвазивные данные ЭЭГ и отличаются компактным дизайном, что делает их удобными для домашнего использования [3].

Вместе с тем использование нейрообручей ставит перед исследователями задачу оптимизации конфигурации электродов для эффективной идентификации когнитивной нагрузки человека, учитывая ограниченное количество электродов в таких устройствах.

Цель

Провести эксперимент по многоклассовой классификации данных ЭЭГ (низкая, средняя и высокая когнитивная нагрузка) на ограниченном количестве электродов. Сравнить результаты вычислительных экспериментов различных конфигураций электродов и выбрать оптимальную. Для проведения эксперимента выбрана архитектура LSTM с использованием библиотек MNE, Pytorch. Для оценки качества работы были выбраны метрики: Accuracy, F1, AUC-ROC, AUC-PR.

Материалы и Методы

Дизайн исследования

Дизайн исследования, а также схема формирования наборов с различными конфигурациями электродов на основе открытого набора данных для проведения анализа представлены на рис. 1.

Критерии соответствия

Критерии включения. В выборку были включены все 25 испытуемых представленных в открытом датасете (без  учёта  их  возраста  или  наличия  сопутствующих  заболеваний) при выполнении заданий: MATB-II, N-Back.

Критерии невключения. Отсутствие результатов исследования при выполнении заданий: MATB-II, N-Back. Результаты всех испытуемых были представлены в полном объеме в данном датасете при прохождении данных двух заданий.

Рис. 1. Дизайн исследования и формирование наборов данных для анализа.

Этическая экспертиза

Экспертиза датасета была проведена этическим комитетом Тулузского университета (номер CER 2021–342). Набор данных был проверен на субъективном, поведенческом и физиологическом уровне (т. е. сердечная и мозговая активность), чтобы гарантировать его полезность для сообщества pBCI [4].

Результаты

Объекты исследования

В настоящем исследовании был использован набор данных COG-BCI, включающий записи с трех сессий, в ходе которых 29 участников (18 мужчин и 11 женщин, средний возраст 23,9 года), преимущественно студентов, выполняли четыре задачи различной степени сложности: MATB-II, N-Back, PVT и Flanker [5].

Задача Flanker используется для оценки принятия решений и конфликтов. Её суть заключается в определении направления стрелки, при одновременном представлении отвлекающих или не отвлекающих стимулов [5].

Задача PVT применяется для оценки бдительности и усталости. В этой задаче участники должны как можно быстрее отреагировать, нажав на кнопку, на случайно появляющиеся сообщения на экране монитора [5].

Задачи MATB-II и N-Back использовались для оценки когнитивной (умственной) нагрузки. В MATB-II участники должны одновременно выполнять четыре подзадачи, связанные с авиацией, а в N-Back участники должны запоминать числа, которые появляются на экране, и решить, совпадает ли представленная в настоящее время буква с предыдущей N-й буквой (N равен 0, 1 или 2). В итоге, для эксперимента были выбраны две категории задач: MATB- II (низкая, средняя, высокая) и N-Back (нулевая, первая, вторая). Исходные данные из набора данных подверглись предварительной обработке, включающей высокочастотную фильтрацию (нижняя граница 1 Гц) [5].

Для очистки сигналов в диапазоне 0.3-25 Гц был использован фильтр Баттерворта. Затем к сигналам применялась оконная функция Хэмминга для минимизации эффекта утечки при

спектральном анализе, скользящее среднее для сглаживания и категоризация по частотным диапазонам (Theta, Alpha, Beta, Gamma). Для каждого канала и частотного диапазона рассчитывалась средняя спектральная плотность мощности с использованием метода Уэлча.

Классификация проводилась с использованием различных конфигураций электродов [6] [7]. Для генерации признаков применялась сверточная нейронная сеть (CNN) с тремя сверточными слоями, оптимизатором Adam и функцией потерь – категориальной перекрёстной энтропией. Для учета дисбаланса классов использовались веса классов.

Архитектура модели основана на использовании рекуррентной нейронной сети с одним слоем LSTM и двумя линейными слоями для классификации. Оценка качества модели осуществлялась с использованием метрик Accuracy, F1, AUC-ROC и AUC-PR.

Для оценки AUC-ROC и AUC-PR используются подход One-vs-Rest (OvR), где для каждого класса строится отдельная бинарная классификация, где данный класс считается положительным, а все остальные — отрицательными.

 

Основные результаты исследования

Результаты классификации на различных конфигурациях электродов. Задача MATB-II.

Конфигурация электродов	Accuracy	F1	AUC-ROC			AUC-PR
			Класс 0	Класс 1	Класс 2	Класс 0	Класс 1	Класс 2
AF3-AF4	0.42	0.38	0.64	0.58	0.65	0.50	0.41	0.47
Fz-P3-Pz-P4	0.58	0.58	0.77	0.70	0.81	0.63	0.55	0.67
Fz-Fc1-Fc2-CP5-Pz-CP6	0.58	0.58	0.77	0.70	0.81	0.63	0.55	0.67
Fz-Fc1-Fc2-C3-C4-P7-Pz-P8	0.51	0.50	0.76	0.58	0.79	0.58	0.38	0.63
P7-P8	0.46	0.41	0.71	0.55	0.68	0.53	0.37	0.52
AF3-AF4-PO3-PO4	0.52	0.52	0.72	0.61	0.75	0.54	0.43	0.57
AF3-AF4-P7-P8-PO3-PO4	0.66	0.66	0.84	0.77	0.84	0.74	0.64	0.74
AF3-AF4-FC1-FC2-P3-P4-O1-O2	0.69	0.69	0.86	0.76	0.87	0.74	0.68	0.74
Fp1-Fp2-T7-T8-O1-O2	0.67	0.67	0.85	0.78	0.86	0.77	0.66	0.76
F3-Fz-F4-Pz-О1-О2	0.66	0.66	0.81	0.76	0.83	0.70	0.64	0.70
Конфигурация 10-20	0.97	0.97	0.99	0.99	0.99	0.99	0.99	0.99

Таблица 1. Результаты классификации задачи MATB-II.

В табл. 1 представлены результаты эксперимента по использованию различных конфигураций электродов.

Впоследствии были рассчитаны средние значения полученных результатов по трем классам для метрик: AUC-ROC и AUC-PR. Далее выполнено ранжирование конфигураций по каждой метрике (от 1 до 9, где 1 — лучший). В табл. 2 представлены результаты ранжирования.

Конфигурация электродов	Сумма рангов	Accuracy	F1	Средний AUC-ROC	Средний AUC-PR
AF3-AF4-FC1-FC2-P3-P4-O1-O2	5	0.69	0.69	0.83	0.72
Fp1-Fp2-T7-T8-O1-O2	7	0.67	0.67	0.83	0.73
AF3-AF4-P7-P8-PO3-PO4	12	0.66	0.66	0.81	0.70
F3-Fz-F4-Pz-О1-О2	14	0.66	0.66	0.80	0.68
Fz-P3-Pz-P4	20	0.58	0.58	0.76	0.61
Fz-Fc1-Fc2-CP5-Pz-CP6	20	0.58	0.58	0.76	0.61
Fz-Fc1-Fc2-C3-C4-P7-Pz-P8	30	0.51	0.50	0.71	0.53
AF3-AF4-PO3-PO4	30	0.52	0.52	0.69	0.51
P7-P8	36	0.46	0.41	0.64	0.47
AF3-AF4	40	0.42	0.38	0.62	0.46

Таблица 2. Результаты ранжирования задачи MATB-II.

Анализ полученных данных свидетельствует о том, что наивысшие оценки демонстрируют следующие конфигурации:

• Fp1-Fp2-T7-T8-O1-O2: Accuracy: 0.67, F1: 0.67, AUC-ROC 0.85, 0.78, 0.86; AUC-PR 0.77, 0.66, 0.76
• AF3-AF4-FC1-FC2-P3-P4-01-02: Accuracy: 0.69, F1: 0.69, AUC-ROC 0.86, 0.76, 0.87; AUC-PR 0.74, 0.68, 0.74

Далее были рассчитаны средние и медианные значения полученных результатов. Результаты приведены в табл. 3.  

	AUC-ROC			AUC-PR
	Класс 0	Класс 1	Класс 2	Класс 0	Класс 1	Класс 2
среднее	0.79	0.70	0.80	0.66	0.57	0.67
медиана	0.77	0.70	0.81	0.63	0.55	0.67

Таблица 3. Результаты средних и медианных значений, полученных при классификации задачи MATB-II.

По результатам исследования установлено, что показатель классификации данных ЭЭГ по уровням когнитивной нагрузки наименьший при классификации среднего уровня (класс 1) и максимальная при классификации высокого уровня (класс 2).

 

Рис. 2. Матрица ошибок (confusion matrix) классификации задачи MATB-II. Конфигурации располагаются на рисунке слева на право согласно таблице сверху вниз.

На Рис. 2. можно увидеть, что хуже всего результат у конфигураций: AF3-AF4, P7-P8. Как видно у многих конфигураций хуже всего классифицируется класс 2.

Вывод

Проведённый эксперимент продемонстрировал, что применение определенных комбинаций электродов позволяет достичь высокой точности (см. Таблицу 3) классификации данных ЭЭГ по трем уровням когнитивной нагрузки в задачах MAB. Наиболее эффективные результаты были получены при использовании конфигураций электродов: AF3-AF4-FC1-FC2-P3-P4-O1-O2 и Fp1-Fp2-T7-T8-O1-O2.

Результаты классификации на различных конфигурациях электродов. Задача N-BACK.

Конфигурация электродов	Accuracy	F1	AUC-ROC			AUC-PR
			Класс 0	Класс 1	Класс 2	Класс 0	Класс 1	Класс 2
AF3-AF4	0.37	0.30	0.65	0.61	0.54	0.46	0.44	0.34
Fz-P3-Pz-P4	0.53	0.53	0.76	0.66	0.71	0.66	0.49	0.57
Fz-Fc1-Fc2-CP5-Pz-CP6	0.58	0.58	0.77	0.70	0.81	0.63	0.55	0.67
Fz-Fc1-Fc2-C3-C4-P7-Pz-P8	0.62	0.61	0.83	0.77	0.81	0.74	0.64	0.68
P7-P8	0.45	0.44	0.68	0.63	0.64	0.53	0.43	0.47
AF3-AF4-PO3-PO4	0.60	0.60	0.80	0.75	0.78	0.66	0.64	0.64
AF3-AF4-P7-P8-PO3-PO4	0.66	0.66	0.84	0.82	0.80	0.73	0.72	0.70
AF3-AF4-FC1-FC2-P3-P4-O1-O2	0.72	0.72	0.87	0.86	0.84	0.79	0.78	0.74
Fp1-Fp2-T7-T8-O1-O2	0.71	0.71	0.86	0.84	0.86	0.76	0.74	0.79
F3-Fz-F4-Pz-О1-О2	0.65	0.65	0.84	0.80	0.80	0.73	0.67	0.69
Конфигурация 10-20	0.97	0.97	0.99	0.99	0.99	0.99	0.99	0.99

Таблица 4. Результаты классификации задачи N-BACK.

В табл. 4 представлены результаты эксперимента, проведенного на различных конфигурациях электродов.

Далее, так же, как и в предыдущей задачи были рассчитаны средние значения полученных результатов по трем классам для метрик: AUC-ROC и AUC-PR. Далее было выполнено ранжирование конфигураций по каждой метрике (от 1 до 9, где 1 — лучший). В табл.  5 представлены результаты ранжирования.

Конфигурация электродов	Сумма рангов	Accuracy	F1	Средний AUC-ROC	Средний AUC-PR
AF3-AF4-FC1-FC2-P3-P4-O1-O2	5	0.72	0.72	0.85	0.75
Fp1-Fp2-T7-T8-O1-O2	7	0.71	0.71	0.85	0.76
AF3-AF4-P7-P8-PO3-PO4	12	0.66	0.66	0.82	0.72
F3-Fz-F4-Pz-О1-О2	16	0.65	0.65	0.81	0.68
Fz-P3-Pz-P4	20	0.62	0.62	0.80	0.63
Fz-Fc1-Fc2-CP5-Pz-CP6	25	0.60	0.60	0.77	0.60
Fz-Fc1-Fc2-C3-C4-P7-Pz-P8	27	0.58	0.58	0.76	0.61
AF3-AF4-PO3-PO4	32	0.53	0.53	0.71	0.56
P7-P8	36	0.45	0.44	0.65	0.47
AF3-AF4	40	0.37	0.30	0.60	0.42

Таблица 5. Результаты ранжирования задачи N-BACK.

Анализ полученных данных показывает, что наиболее эффективные результаты были достигнуты при следующих конфигурациях:

• Fp1-Fp2-T7-T8-O1-O2: Accuracy: 0.72, F1: 0.72, AUC-ROC 0.87, 0.84, 0.88; AUC-PR 0.79, 0.76, 0.80
• AF3-AF4-FC1-FC2-P3-P4-01-02: Accuracy: 0.70, F1: 0.70, AUC-ROC 0.86, 0.85, 0.87; AUC-PR 0.79, 0.78, 0.76

Впоследствии были рассчитаны среднее и медианное значения полученных результатов. Результаты приведены в табл. 6.

	AUC-ROC			AUC-PR
	Класс 0	Класс 1	Класс 2	Класс 0	Класс 1	Класс 2
среднее	0.80	0.76	0.78	0.69	0.64	0.66
медиана	0.83	0.77	0.80	0.73	0.64	0.68

Таблица 6. Результаты средних и медианных значений полученных при классификации задачи N-BACK.

Согласно полученным данным, значение метрики минимально при классификации задач с средней нагрузкой (класс 1) и максимально - при классификации задач с низкой нагрузкой (класс 0).

На Рис. 3 можно увидеть аналогичную ситуацию с задачей MAB, что у последних двух конфигураций электродов меньше всего ошибок и данные наиболее равномерно распределяются по классам. Хуже всего результат у конфигурации: P7-P8. У конфигурации AF3-AF4, результат на этом типе задач заметно лучше.

 

Рис. 3. Матрица ошибок (confusion matrix) классификации задачи N-BACK.

Вывод

Эксперимент выявил наилучшую эффективность конфигураций электродов AF3-AF4-FC1- FC2-P3-P4-O1-O2 и Fp1-Fp2-T7-T8-O1-O2.

Важно отметить, что в отличие от задачи MAB, при классификации N-BACK метрика демонстрирует наименьшие значения при классификации задач средней сложности и наибольшие - при классификации задач низкой сложности.

Обсуждение

В ходе эксперимента были протестированы различные конфигурации электродов для классификации когнитивной нагрузки мозга человека. На основе результатов эксперимента были выбраны две конфигурации электродов, показавшие наилучший результат: AF3-AF4- FC1- FC2-P3-P4-O1-O2 и Fp1-Fp2-T7-T8-O1-O2.

В результате было показано, что ограниченное количество электродов позволяет оценивать когнитивную нагрузку при решении задач. Использование таких конфигураций позволяет использовать нейрообручи для решения данной задачи, что может быть использовано для мониторинга самочувствия и для оценки индивидуальных траекторий обучения в образовании.

Заключение

Протестированы и предложены две конфигурации с ограниченным количеством электродов для определения уровня когнитивной нагрузки при решении двух типов задач: MAB и N-BACK.

В дальнейшем будут проведены эксперименты по использованию данных конфигураций на различных моделях машинного обучения (в том числе предобученных) и при решении других типов задач.

About the authors

Alexander Evgenievich Dedkov

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы; Российский университет дружбы народов

Author for correspondence.
Email: dedkov.ae@yandex.ru
ORCID iD: 0009-0008-3003-0637
SPIN-code: 9004-0960
Russian Federation

DENIS ANATOLYEVICH ANDRIKOV

Российский университет дружбы народов

Email: andrikov-da@rudn.ru
ORCID iD: 0000-0003-0359-0897
SPIN-code: 8247-7310
Russian Federation

References

Supplementary files