С.-ПЕТЕРБУРГ, 4 сен - РИА Новости. Сотрудники лаборатории естественного языка НИУ ВШЭ совместно с экспертами из Санкт-Петербургского Федерального исследовательского центра РАН и Центра практического ИИ Сбербанка разработали нейросеть, способную одновременно распознавать эмоции, оценивать воспринимаемые черты личности и выявлять неуверенность или противоречивость поведения, сообщили РИА Новости в пресс-службе НИУ ВШЭ в Петербурге.
"Разработанная модель искусственного интеллекта получает информацию о поведении человека сразу по нескольким каналам. Она анализирует видео, голос и содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов. Таким образом нейросеть одновременно распознает эмоции, оценивает воспринимаемые черты личности и выявляет амбивалентность", - рассказали в пресс-службе НИУ ВШЭ.
Доцент школы информатики, физики и технологий НИУ ВШЭ - Санкт-Петербург Дмитрий Рюмин отметил, что нейросеть обучали на суперкомпьютере вуза "Харизма". Для трех задач использовали разные корпуса данных — каждый со своей разметкой.
"Основная сложность разработки ИИ-инструмента заключалась не только в разной разметке корпусов, но и в том, что информативность модальностей зависела от задачи. Например, для оценки воспринимаемых черт личности особенно важно видео, а для выявления амбивалентности - содержание речи. Поэтому мы объединили в модели общие компоненты. Это позволило совместно использовать знания из разных корпусов и улучшить распознавание эмоций на незнакомых данных", - пояснила руководитель проекта отдела прикладных технических решений НИУ ВШЭ Елена Рюмина.
Разработчики отмечают, что результаты исследования показывают потенциал разработки для цифровых образовательных систем, интеллектуальных интерфейсов и технологий поддержки пользователя, где важно учитывать эмоциональные и поведенческие особенности человека.
В пресс-службе НИУ ВШЭ в Петербурге добавили, что следующим шагом станет внедрение нейросетевых экспертов, которые будут по-разному учитывать голос, содержание речи, мимику, жесты и другие особенности поведения в зависимости от поставленной задачи. Параллельно ученые работают над персонализированными цифровыми аватарами, способными адаптировать мимику, речь и поведение к эмоциональному состоянию пользователя.
