Исследование эффективности чатбота «Эли» экспертами НИУ ВШЭ: результаты и планы

В конце 2020 года Институт ЮНЕСКО по информационным технологиям в образовании (ИИТО ЮНЕСКО) запустил просветительский чатбот «Эли» на основе нейросети. С помощью Эли сотни молодых людей смогли бесплатно и анонимно получить ответы на вопросы о физиологии и психологии взросления, отношениях и сексуальном здоровье.

В 2021 году количество диалогов пользователей с чатботом перевалило за 300 тысяч, и разработка привлекла внимание Центра исследований современного детства Высшей школы экономики. Группа социологов задалась целью проанализировать взаимодействие нейросети с пользователями и выяснить, как можно повысить эффективность бота. Команда создателей «Эли», в свою очередь, с радостью поддержала эту инициативу.

Цель исследования заключалась в том, чтобы проанализировать репрезентативный фрагмент данных (анонимизированных диалогов пользователей с чатботов), а именно, сообщений, на которые Эли не смог дать ответ с первого раза и счел «неуспешной коммуникацией», и сделать выводы о том, как снизить количество подобных ситуаций. Согласно первичному анализу, основных причин «неуспешного» исхода было две: либо в чатбот изначально не была заложена информация для ответа на вопрос пользователя, либо запрос был сформулирован не типичным для Эли способом и не был верно идентифицирован нейросетью.

Таким образом, перед исследователями стояли следующие задачи:

  • выяснить, ответов на какие интересующие пользователей вопросы пока нет в базе знаний чатбота;
  • выявить типы вопросов, ответы на которые уже имеются в чатботе, но пользователи задают их таким образом, что нейросети не удается их распознать.

Для решения поставленных задач случайным образом было отобрано 5500 сообщений из общего массива и сгруппировано в 3 категории: 0 —  «шум», то есть сообщения, которые содержат просто набор слов или букв; 1 – «вопрос по теме, не представленной в чатботе»; 2 – «ответ в базе знаний есть, но нейросети не удалось идентифицировать вопрос». Выяснилось, что 40% относятся к «шуму», 19% входят в категорию сообщений, темы которых не входят в текущий диапазон знаний Эли и 41% принадлежат к представленным в базе темам, но написанным на языке, который чатбот распознать не смог. Исходя из этого, создатели Эли смогли сделать вывод, что бота можно будет доработать, чтобы сделать его более восприимчивым к языку и ожиданиям пользователей.

Точки роста: навигация и история персонажа

Больше половины сообщений, на которые Эли не смог ответить из-за отсутствия информации в базе знаний, касались либо устройства бота и его функциональных возможностей (35%), либо вопросов, связанных с популярной психологией (23%), например, про типы темперамента, техники самопомощи, развитие эмоционального интеллекта, борьбу с выгоранием и хронической усталостью, управление эмоциями.

При этом доля неотвеченных вопросов по каждой из остальных тем (романтические и любовные отношения, семья, репродуктивное здоровье, женская и мужская физиология, секс) не превышала 10%. А значит, Эли достаточно неплохо «разбирается» в этих темах и в целом попадает в популярные запросы.

Рис 1. Тематическое распределение вопросов, ответов на которые нет в текущей версии чат-бота

Что касается устройства чатбота, то у пользователей в основном возникали сложности с навигацией и «коммуникационным» компонентом, например, не получалось вернуться к главному меню, на шаг назад, сделать паузу или сменить тему вопросов:

«Верни меня к стартовому меню»

«Открой меню»

«А как обратно вернуть кнопочки?»

«Хочу сменить тему»

Кроме того, выяснилось, что пользователи хотят знать больше о разработчиках чатбота, его «идентичности» и истории создания:

«Что такое Юнеско?»

«Привет, почему тебя так зовут»

«Тебе сколько лет»

«Кто тебя обучает?»

Собеседники интересуются тем, как работает чатбот, их волнует приватность переписки и способы, которыми виртуальный собеседник отвечает и распознает сообщения:

«Тут сидит человек, или настоящий чат-бот?»

«Как ты работаешь?»

«Мне иногда кажется, что такие чат-боты, это люди по ту сторону экрана»

«Ты читаешь голосовое?»

По всем этим темам Эли предлагает краткие разъяснения в приветственном сообщении, однако, этого, очевидно, оказалось недостаточно для пользователей.

Психология и отношения

С точки зрения образовательного компонента, при общении с виртуальным собеседником пользователям больше всего не хватало ответов по общепсихологическим вопросам, таким как стресс, усталость, темперамент, психологические границы. Было обнаружено много запросов на расширенную информацию о межличностной коммуникации, противостоянию вербальной агрессии (включая троллинг и буллинг) и решению конфликтов в отношениях с родителями и в паре, заведению знакомств в интернете, работе с пассивной агрессией:

«Родители говорят мне, что я очень эгоистичная и высокомерная и поэтому у меня нет друзей. Типа, я ставлю себя выше других, но это совсем не так! На самом деле я сама очень боюсь сказать лишнее слово человеку»

«Как поговорить с родителями о том, что чувствую?»

«Как лучше всего повести себя жертве буллинга если с агрессором разговаривали его родители, мои, тренер, а шутки и издевательства продолжаются?»

«Мой парень редко мне пишет, а мне не хватает его внимания.
Поделись лайфаками об отношениях»

Как оказалось, нередко к чат-боту с вопросами обращаются не только молодые люди и подростки, но и их родители. Они спрашивают о том, как говорить с ребенком о сексе и безопасности, ищут общих советов по воспитанию детей:

«Когда и как рассказать сыну о половом воспитании?»

«Привет! Как воспитать хорошего человека?»

«Я воспитываю внучку с диагнозом ВИЧ+»

«Что делать, если сын не идёт на откровенный разговор?»

Нередко пользователи спрашивают о планировании семьи, гендерных ролях или нормальности отказа от рождения детей. Встречаются и вопросы, касающиеся обучения и профессиональной самореализации, школьной жизни и подготовки к экзаменам.

Возможность оценить количество и содержание пользовательских запросов дала команде Эли более глубокое понимание болевых точек аудитории и ориентиры для формирования контентной политики на следующие периоды.

Трудности перевода: вопросы из базы знаний, которые нейросеть не смогла распознать

Наиболее часто такие запросы касаются отношений (36,3%) и психологических проблем (16,4%). На вопросы по этим темам Эли затрудняется ответить, даже если ответы в его базе знаний есть. Причина оказалась проста и сложна одновременно – люди задают эти вопросы так, словно общаются лицом к лицу с живым человеком: пишут длинные сообщения, перечисляют детали, повторяют одно и тоже на разный лад. В результате нейросеть не справляется с таким обилием и разнообразием ключевых слов, несмотря на многократное обучение на десятках потенциальных формулировок каждого вопроса.

Как показал анализ, пользователи зачастую употребляют менее ожидаемые комбинации слов, отличные от тех, что заложены в чат-боте, в особенности при описании проблем, связанных с влюбленностью, коммуникацией в отношениях с партнером. А также в запросах на тему насилия, измен в отношениях, вербальной агрессии, страхов и переживаний, связанных с расставанием.

В данном случае, скорее всего, использование витиеватого языка людьми, которые обратились к Эли за советом по теме отношений связано с сильным чувством страха перед демонстрацией собственной уязвимости и некомпетентности в данном вопросе. Кроме того, тема любви, влюбленности, взаимодействия с партнером может быть сложна для разговора и формулировки запросов, поскольку мышление о ней вероятно не до конца осмысленно (то есть находится на языке чувств, а не присутствует в форме слов и когнитивных конструкций в голове у тех, кто пишет чатботу).

Оксана Михайлова,

Младший научный сотрудник центра исследований современного детства

Выводы и планы

На основе анализа пользовательских диалогов и рекомендаций исследователей, создатели Эли взялись за оптимизацию базы знаний чатбота, его «архитектуры», а также логики использования.

В новой версии Эли больше внимания будет уделено ответам на вопросы о том, кем и зачем Эли создан, как работает, для какой аудитории предназначен и каким образом сохраняет анонимность диалогов. Логика навигации по боту будет переосмыслена, чтобы позволить пользователям комфортнее перемещаться между темами и уровнями информации, получая ответы именно на те вопросы, которые их интересуют.

Ответы на запросы по темам «Психология» и «Отношения» будут вынесены в отдельный проект, а именно, будут представлены в формате интерактивного образовательного курса. ИИТО ЮНЕСКО в партнерстве с экспертной командой Эли и сообществом «ДВОР» планирует выпустить серию материалов для этого курса, в которых популярные и сложные запросы будут детально проработаны и снабжены тематическими тестами, визуальными материалами и мини-чатботами. Данный курс станет подспорьем в поиске ответов на вопросы об агрессии, буллинге, дискриминации, личных границах, стыде, отношении к внешности, коммуникации в семье и в паре, и о многом другом. Эли же сосредоточится на том, что у него получается лучше всего – кратких, содержательных и однозначных ответах на вопросы о физиологии, сексуальном и репродуктивном здоровье, и безопасности.

Таким образом, благодаря работе социологов Центра исследований современного детства Высшей школы экономики создатели чатбота получили новую перспективу для оценки сильных и слабых сторон продукта, а также набор важных рекомендаций для его дальнейшего развития. Сейчас чатбот проходит масштабное обновление. Новая версия Эли будет запущена уже этой осенью. А новый проект – курс интерактивных материалов, посвященных психологическим, этическим и ценностным вопросам будет выходить на платформе партнерского проекта ДВОР до конца 2022 года.

Поделиться