Исследователи Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) научились при помощи нейросети автоматически распознавать эмоциональное состояние человека по данным электроэнцефалограммы (ЭЭГ) головного мозга. Результаты найдут применение в цифровых помощниках для охраны психологического здоровья человека в режиме реального времени.
Сегодня значительное количество объектов транспортной, промышленной и оборонной инфраструктуры контролируется и функционирует при помощи операторов, водителей и специалистов единых информационных центров, от психофизиологического состояния которых во многом зависит безопасность таких объектов.
Для регулярного мониторинга этих специалистов сейчас активно внедряют цифровые помощники, в основе которых лежат нейросети, использующие для распознавания на видеозаписях внешние проявления: выражение лица, речь, язык тела и т. д. Так, ученые СПб ФИЦ РАН уже много лет ведут разработки программного обеспечения для оценки опасных состояний человека, которая учитывает в том числе эмоциональную нестабильность. Мониторинг ведется на основе анализа фото, видео, пульса и даже особенностей моргания глаз.
Однако эти методы имеют ограничения, в том числе зависимость от визуальных или слуховых стимулов, на которые могут влиять условия освещения, фоновый шум или культурные различия в выражении эмоций. Поэтому для повышения качества работы цифровых помощников ученые привлекают широкий комплекс разнородных данных.
Сегодня значительное количество объектов транспортной, промышленной и оборонной инфраструктуры контролируется и функционирует при помощи операторов, водителей и специалистов единых информационных центров, от психофизиологического состояния которых во многом зависит безопасность таких объектов.
Для регулярного мониторинга этих специалистов сейчас активно внедряют цифровые помощники, в основе которых лежат нейросети, использующие для распознавания на видеозаписях внешние проявления: выражение лица, речь, язык тела и т. д. Так, ученые СПб ФИЦ РАН уже много лет ведут разработки программного обеспечения для оценки опасных состояний человека, которая учитывает в том числе эмоциональную нестабильность. Мониторинг ведется на основе анализа фото, видео, пульса и даже особенностей моргания глаз.
Однако эти методы имеют ограничения, в том числе зависимость от визуальных или слуховых стимулов, на которые могут влиять условия освещения, фоновый шум или культурные различия в выражении эмоций. Поэтому для повышения качества работы цифровых помощников ученые привлекают широкий комплекс разнородных данных.
В новом исследовании мы решили использовать еще один тип данных и обучили нейросеть по данным ЭЭГ с высокой точностью распознавать, какие эмоции человек испытывает в режиме реального времени: позитивные, негативные или нейтральные. В будущем наше решение может быть интегрировано в устройство для неинвазивного (т.е. без повреждения тканей организма) мониторинга психофизиологического состояния пользователей, в том числе тех, от кого зависит работоспособность критической инфраструктуры
рассказал один из авторов исследования, старший научный сотрудник лаборатории автоматизированных систем СПб ФИЦ РАН Алексей Кашевник.
Нейросетевую модель обучили распознаванию эмоций на двух больших базах данных ЭЭГ (FACED и SEED), которые находятся в открытом доступе. В целом в них содержится обезличенная информация о мозговой активности более 130 человек различного пола и возраста. Для проверки корректности распознавания авторы самостоятельно собрали небольшой набор данных еще 16 человек при помощи компактного носимого на голове устройства для записи ЭЭГ. Параллельно они записали на видео этих респондентов для сравнения эффективности двух методов: распознавания эмоций по ЭЭГ и по видеоданным.
Нейросетевую модель обучили распознаванию эмоций на двух больших базах данных ЭЭГ (FACED и SEED), которые находятся в открытом доступе. В целом в них содержится обезличенная информация о мозговой активности более 130 человек различного пола и возраста. Для проверки корректности распознавания авторы самостоятельно собрали небольшой набор данных еще 16 человек при помощи компактного носимого на голове устройства для записи ЭЭГ. Параллельно они записали на видео этих респондентов для сравнения эффективности двух методов: распознавания эмоций по ЭЭГ и по видеоданным.
Одна из главных проблем, с которой мы столкнулись — необходимость учета различных паттернов ЭЭГ у разных респондентов. Мозговая активность каждого участника уникальна, что приводит к различиям в сигналах ЭЭГ даже при ощущении одних и тех же эмоциональных состояний
отметил Алексей Кашевник.
Несмотря на эти трудности, предложенная модель анализа ЭЭГ показала многообещающие результаты в классификации валентности эмоций — точность составила от 70 до 80 %.
Исследование выполнено при финансовой поддержке Минобрнауки России в рамках госзадания.
Несмотря на эти трудности, предложенная модель анализа ЭЭГ показала многообещающие результаты в классификации валентности эмоций — точность составила от 70 до 80 %.
Исследование выполнено при финансовой поддержке Минобрнауки России в рамках госзадания.
Источник: Минобрнауки России