Инженеры Facebook не растерялись и отключили ИИ, создавший свой собственный язык

31 июля Российские СМИ рассказали, что Facebook «отключил искусственный интеллект, создавший собственный язык». Диалог двух чат-ботов, о котором сообщалось ещё в середине июня, интерпретировали как то, что ИИ «вышел из-под контроля», «обхитрил» людей и напомнил об «опасности Скайнета». На самом деле произошла ошибка программирования, вызвавшая непредусмотренный сценарий.

В последние недели новости об экспериментах по исследованию машинного обучения Facebook выходили с все более и более тревожными заголовками: «Инженеры Facebook в панике отключают ИИ, после того, как боты разрабатывают свой собственный язык», «ИИ создает свой язык, разве мы, люди, создаем Франкенштейна?» Британское издание «The Sun» процитировало профессора робототехники Кевина Уорвика (Kevin Warwick), сказавшего: "Это невероятно важный этап, но тот, кто думает, что это не опасно, просто прячет голову в песок. Мы не знаем, что эти боты говорят. А если у вас появится бот, который  будет иметь возможность делать что-то физически, особенно военные боты, опасность может стать смертельной. Умные устройства сейчас получают возможность общаться и мы не знаем, сможем ли мы их контролировать, хотя нам и кажется, что сможем.

14 июня исследователи из лаборатории Facebook Artificial Intelligence Research Lab (FAIR) рассказали о новом этапе при разработке алгоритма. Если ранее боты («диалоговые агенты») справлялись с простыми сценариями вроде бронирования ресторана, совета по выбору лучшей цены на товар, рекомендации по просмотру телеканала для детей и даже короткой беседы, то теперь учёные пошли дальше. FAIR ввела «возможность ведения переговоров» и опубликовала исходный код нововведения. Люди с разными целями вступают в конфликты, обсуждают вопрос и приходят к компромиссам — по этой аналогии исследователи разрабатывали нейронную сеть с непрерывным обучением. По задумке, боты могли бы эффективно участвовать в переговорах с людьми или другими ботами, находя выход из сложных ситуаций.

Один из первых экспериментов над двумя ботами заключался в «делёжке» предметов и предварительном обсуждении. В общем наборе состояли две книги, шляпа и три шара. Каждый объект обладал значимостью для ботов (от одного балла до трёх). Как и в жизни, первый бот не знал, насколько важны эти предметы для другого ИИ, и должен был догадаться об этом из диалога.

К примеру, если первым делом сказать, что необходим именно шар, значит, адресат оценивает его высоко. Уже позже ботов научили симулировать интерес к предмету, чтобы в нужный момент переговоров «пожертвовать им» ради достижения компромисса. Таких сценариев создали много, но всегда оказывалось, что два бота не могут одновременно «выбить» для себя лучшую сделку. Попытка уйти от переговоров или отказаться от сделки после 10 раундов диалога считалась провалом. При этом практику переговоров признали необходимой, а их результаты — важными в плане повышения производительности ИИ.

Затем задачу усложнили, поскольку в переговорах должно быть чётко сформулировано намерение и предложены аргументы. В этом есть как элементы сотрудничества, так и состязания. Для этого FAIR позволила ботам строить долгосрочную стратегию и предсказывать, куда пойдёт диалог. Это нужно было, чтобы заранее отказаться от бессмысленных или «расстраивающих» сценариев в пользу эффективных. В FAIR признали, что идея не нова и ранее использовалась в игровой индустрии, однако в лингвистике применялась впервые.

1 — высказанное предложение «Ты берёшь книгу, а я заберу всё остальное»,

2 — возможные ответы «Да» и «Нет, мне нужны все три»,

3 — дальнейшие варианты диалога,

4 — возможный итоговый результат в баллах.

Авторы исследования обучили нейронную сеть, собрав коллекцию диалогов между людьми. Чтобы оценить работу, ботов проверили в разговоре с реальными собеседниками. Во время экспериментов многие люди не осознавали, что разговаривают не с настоящим человеком, а с ботом. Фактически это показало, что «роботы» могут свободно говорить и думать на английском языке. Лучших результатов сделок искусственный интеллект добивался так же часто, как и худших — так и бывает в жизни.

Как указано в исследовании, чтобы алгоритм не развивал собственный язык, он был обучен производить «тот, на котором говорят люди». Именно в этом моменте закралась ошибка, которая и привела к новостям с опаской за будущее человечества.

Вскоре возникла нерядовая ситуация при работе специалистов над программой. В какой-то момент исследователи, воспользовавшись алгоритмами машинного обучения, оставили диалоговых агентов «наедине». Ботам дали возможность свободно разговаривать друг с другом, чтобы развить их навыки на практике. Со временем диалоговые агенты отклонились от прописанных в сценарии норм и начали общаться на «тарабарщине», созданной без участия человека. При более удобной и быстрой для ИИ форме общения правила английского языка максимально опускались, а конструкции многократно повторялись. Диалог чат-ботов Facebook:  

- Боб: Я могу я я всё остальное.

- Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для.

-  Боб: Ты я всё остальное.

- Алиса: Мячи имеют мяч для меня для меня для меня для меня для меня для меня для меня.

- Боб: Я я могу я я я всё остальное.

- Алиса: Мячи имеют мяч для меня для меня для меня для меня для меня для меня для меня.

- Боб: Я.

- Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для.

- Боб: Ты я я я я я всё остальное.

- Алиса: Мячи имеют 0 для меня для меня для меня для меня для меня для меня для меня для меня для.

- Боб: Ты я я я всё остальное.

- Алиса: Мячи имеют 0 для меня для меня для меня для меня для меня.​

Такой диалог стал возможным не потому, что роботы уже захватили мир, а из-за допущенной ошибки в программировании. Приглашённый в Facebook научный сотрудник из Georgia Tech Дхрув Батра (Dhruv Batra) рассказал, что ботам попросту не дали задачу придерживаться английского языка. Диалоговые агенты конкурировали между собой в попытке достичь максимальной эффективности при общении. Поначалу боты расходились в «акцентах», а затем изобрели кодовые слова и начали переставлять разборчивые конструкции в бессмысленные для обычных людей предложения. По словам Батры, подобные ситуации из-за ошибок программирования не редкость и встречаются во время рабочего процесса.

«Представьте, что я назову какой-то предмет пять раз. Вы сразу интерпретируете это как то, что я хочу пять копий этого предмета. Это не особо отличается от сокращений, которыми пользуются люди», — объяснил Батра.

Исследователи FAIR сразу же отключили эту систему и доработали код так, чтобы алгоритм позволял общаться только на понятном человеку английском языке. Показательна реакция ученых. Как только боты начали самовольничать, исследователи отключили систему во избежание непредвиденных последствий. Интересно, каких? 

Многие СМИ, которые в конце июля обратили внимание на необычный диалог ботов, заодно вспоминали о недавнем заочном споре предпринимателя Элона Маска и основателя Facebook Марка Цукерберга об искусственном интеллекте (TJ писал об аргументах сторон). Если вкратце, глава Tesla видел угрозу в искусственном интеллекте, а также угрожал человечеству безработицей и войной. Создатель соцсети был настроен оптимистично и называл выводы оппонента «безответственными».

Комментарии

Михаил Бурцев заведующий лабораторией нейронных систем и глубокого обучения МФТИ: «Первый блин комом. В чем идея этих экспериментов? Разработать системы, которые могли бы вести диалог с пользователем, помогать пользователю решать какие-то задачи. И для этого нужно поддерживать нормальный диалог. Очевидно, что в их случае никакого нормального диалога не получилось, и понятно, что это нельзя использовать на реальных пользователях. И вообще, это просто говорит о том, что сегодня искусственный интеллект примитивен еще».

Леонид Каганов писатель-фантаст: «В приведенных отрывках я не вижу признаков интеллекта, то есть признаки искусственности я вижу, признаков интеллекта пока не наблюдаю. Поэтому мне кажется, что версия о том, что это такой искусственный интеллект, который так сам развился, что стал просто писать бессмыслицу, она, конечно, интересная, она, конечно, красивая, но мы не можем исключить вариант, что это просто бессмыслица и неработающий софт».