Одно из ключевых условий эффективного взаимодействия человека и роботов — умение машин понимать эмоции. Проблема заключается в абстрактной природе эмоций, которая затрудняет точное извлечение и обработку информации.
Ученые из Южной Кореи разработали мультимодальную систему, способную комбинировать вербальные и невербальные данные о выражении эмоций. Она состоит из персонализированного интерфейса, накладываемого на кожу лица, и системы обработки данных с беспроводным каналом связи.
Интерфейс представляет собой гибкую, прозрачную маску. Она изготовлена из двух полимеров — PDMS и PEDOT: PSS. Это сочетание демонстрирует хорошую электропроводность. Маска создается для каждого отдельного пользователя на основе 3D-модели лица. Она оснащена блоками определения напряжения (тензодатчиками) и вибрации на основе трибоэлектрического эффекта — появления электрических сигналов в результате трения. Тензодатчики распознают выражение лица, а датчики вибрации — речь. Маска считывает микродвижения глаз, носа, губ, подбородка, глабеллы — складки между бровями — и голосовых связок.
Основа интерфейса — растягивающийся электрод, созданный с помощью полутвердевания. Он изготовлен по технологии наноповерхностного травления индукционной плазмой с реактивными ионами. За счет этого создается широкая удельная площадь контакта, что улучшает трибоэлектрические характеристики.
Тензодатчики преобразовывают напряжение кожи в электрические сигналы. Задержка между изменением выражения лица и передачей информации в систему обработки составляет менее 20 мс.
Датчик вибрации фиксирует работу голосовых связок. Для повышения его эффективности диэлектрический слой маски оснащен специальными отверстиями, которые усиливают вибрации за счет движения воздуха. Датчик может распознавать частоты от 100 до 250 Гц (типичные диапазоны голосов взрослых мужчины и женщины).
Устройство питается от трибоэлектрического наногенератора, то есть, фактически, обеспечивает энергией само себя.
Система обработки данных создана на основе быстро адаптирующейся модели сверточной нейронной сети (CNN). Речь идет о специальной архитектуре, которая способна эффективно распознавать визуальные образы. Благодаря такой архитектуре система может распознавать эмоции человека в реальном времени. Для обработки визуальных образов использована одномерная CNN, для голоса — двумерная.
Эксперты стремились создать небольшие наборы базовых паттернов натяжения и вибрации, так как у каждого отдельного пользователя эти эмоциональные сигналы имеют свои особенности, а значит использование больших объемов данных значительно усложнит массовое использование интерфейса. При этом система может адаптировать наборы данных под конкретного человека. Наличие базы серьезно ускоряет процесс индивидуальной настройки устройства.
В ходе тестов интерфейс смог показать точность до 93,3%, отмечается в журнале Nature Communications.
Ранее «Мир робототехники» писал, что создание интеллектуальных машин — уже давно не часть исключительно научной фантастики. С появлением искусственного интеллекта роботы стали как никогда близки к появлению у них подобия человеческого мышления. При этом возникает вопрос: а что будет после того, как машины обретут самосознание?
