"Мультимодальный анализ настроений" - это группа методов, которые составляют золотой стандарт для диалоговой системы искусственного интеллекта с определением настроений. Эти методы могут автоматически анализировать психологическое состояние человека по его речи, цвету голоса, выражению лица и позе и имеют решающее значение для систем искусственного интеллекта, ориентированных на человека. Этот метод потенциально может реализовать эмоционально интеллектуальный искусственный интеллект с возможностями, выходящими за рамки человеческих, который понимает чувства пользователя и генерирует соответствующий ответ.

Однако современные методы оценки эмоций фокусируются только на наблюдаемой информации и не учитывают информацию, содержащуюся в ненаблюдаемых сигналах, таких как физиологические сигналы. Такие сигналы являются потенциальной золотой жилой эмоций, которые могут значительно улучшить показатели оценки настроений.

В новом исследовании, опубликованном в журнале Транзакции IEEE по аффективным вычислениям, физиологические сигналы были впервые добавлены к мультимодальному анализу настроений исследователями из Японии, совместной командой, состоящей из адъюнкт-профессора Шого Окады из Японского передового института науки и технологий (JAIST) и проф. Кадзунори Коматани из Института научных и промышленных исследований Университета Осаки. "Люди очень хорошо умеют скрывать свои чувства. Внутреннее эмоциональное состояние пользователя не всегда точно отражается содержанием диалога, но поскольку человеку трудно сознательно контролировать свои биологические сигналы, такие как частота сердечных сокращений, может быть полезно использовать их для оценки своего эмоционального состояния. Это могло бы создать искусственный интеллект с возможностями оценки настроений, которые недоступны человеку", - объясняет доктор Окада.

Команда проанализировала 2468 обменов сообщениями с диалоговым искусственным интеллектом, полученных от 26 участников, чтобы оценить уровень удовольствия, испытываемого пользователем во время разговора. Затем пользователя попросили оценить, насколько приятным или скучным показался ему разговор. Команда использовала мультимодальный набор данных для диалога под названием "Hazumi1911", который уникальным образом объединил распознавание речи, датчики цвета голоса, определение выражения лица и позы с потенциалом кожи, формой определения физиологической реакции.

"При сравнении всех отдельных источников информации биологическая сигнальная информация оказалась более эффективной, чем голос и выражение лица. Когда мы объединили языковую информацию с информацией о биологических сигналах, чтобы оценить самооценку внутреннего состояния во время разговора с системой, производительность ИИ стала сравнимой с человеческой", - комментирует взволнованный доктор Окада.

Эти результаты свидетельствуют о том, что обнаружение физиологических сигналов у людей, которые обычно остаются скрытыми от нашего взгляда, может проложить путь к созданию высоко эмоционально интеллектуальных диалоговых систем на основе искусственного интеллекта, что сделает взаимодействие человека и машины более естественным и приносящим удовлетворение. Более того, эмоционально интеллектуальные системы искусственного интеллекта могли бы помочь выявлять и контролировать психические заболевания, чувствуя изменения в ежедневных эмоциональных состояниях. Они также могли бы пригодиться в образовании, где искусственный интеллект мог бы оценить, заинтересован ли ученик и взволнован ли темой обсуждения или ему скучно, что привело бы к изменениям в стратегии преподавания и более эффективным образовательным услугам.