Лекции
Кино
BBC Галереи SMART TV
Искусственный интеллект — робот или личность? Что будет с человечеством, если машины превзойдут нас по силе разума
Читать
26:08
0 7336

Искусственный интеллект — робот или личность? Что будет с человечеством, если машины превзойдут нас по силе разума

— Generation ИИ

Будут ли когда-нибудь у искусственного интеллекта человеческие качества? А ценности и нормы морали? Будут ли роботы понимать значение терминов «смерть» и «убийство» или человечество может оказаться жертвой своего же изобретения? А также что нужно сделать людям, чтобы создать искусственный интеллект, о котором мы все потом не пожалеем.

Обсуждают: 

  • Аркадий Сандлер, директор центра искусственного интеллекта ПАО «МТС»
  • Игорь Пивоваров, организатор открытой конференции по искусственному интеллекту OpenTalks.AI, главный аналитик по направлению «искусственный интеллект» МФТИ

Сандлер: Здравствуйте! Это программа «Generation ИИ». Я Аркадий Сандлер, директор Центра искусственного интеллекта компании МТС. 

Пивоваров: Меня зовут Игорь Пивоваров, я главный аналитик Центра искусственного интеллекта МФТИ и организатор ведущей конференции по искусственному интеллекту OpenTalks.AI. 

Сандлер: Сегодня мы обсуждаем тему «искусственный интеллект как личность». Человеку свойственно наделять человеческими качествами предметы, у которых этих качеств на самом деле не существует. 

Пивоваров: А можем ли мы к нему относиться как к личности? Может ли быть в машине что-то, что мы воспринимаем как личность, 

Сандлер: На мой взгляд, мы даже не близко к этому.

Пивоваров: Об этом мы поговорим сегодня. Технологии искусственного интеллекта идут все дальше в область того, что делает человек. Раньше мы считали, что они не могут творить, сейчас уже много других примеров. Мы вплотную начинаем приближаться к тому, чтобы искусственный интеллект мог стать личностью. Боты, которых вы, например, делаете, вы же пытаетесь сделать, чтобы они походили на человека, чтобы они манерами походили? Что будет, когда это будет личность?

Сандлер: Нет, мы стараемся делать таких роботов, которые комфортны для человека в общении. Мы стараемся делать комфортных собеседников.

Пивоваров: Мне, например, некомфортно будет общаться, если это бездушная машина. Хочется, чтобы это была личность на той стороне.

Сандлер: Она бездушная, она имитирует личность. Она обучена имитировать личность. Она при этом бездушная машина, которая обучена максимально комфортному способу взаимодействия с человеком.

Пивоваров: Пока. Пока ты знаешь, как она работает, пока ты понимаешь как бы, как эти куски алгоритмов состыковываются, и понимаешь, что там никого нет, что она обучена так, что она имитирует. Но чем дальше, чем более сложные модели мы строим, чем больше мы лезем в то, как устроен мозг, пытаемся воспроизводить эту архитектуру в нейросетях, тем меньше мы начинаем понимать, как генерируются конкретные ответы, траектории, тем больше мы начинаем приближаться к точке, когда будет все больше непонятно, почему машина сделала то или иное, и когда в ней будут проявляться какие-то креативные качества. Мы начнем придавать ей такие человеческие черты, а может быть, они в ней будут органически появляться. Что такое вообще человеческие черты?

Сандлер: Для начала ты очень здорово сказал про то, что мы не можем или не сможем, на самом деле уже не можем, не всегда можем понять, откуда взялся тот или иной ответ. Именно поэтому появляется такой, если угодно, слой, который в обычной жизни называется цензурой. Это такой слой, когда мы контролируем тот ответ, который робот пытается выдать пользователю. И это очень интересная технология в том числе, которая требует дополнительного развития. То есть если сначала первые такие вот диалоговые роботы создавались на правилах для формирования ответа, то, поскольку сейчас все больше и больше используются нейросети в работе таких диалоговых движков, иногда приходится добавлять правила, которые контролируют то, что ты пользователю можешь ответить.

Пивоваров: Точно, потому что мы не ожидаем.

Сандлер: Это же довольно важно, да.

Пивоваров: Да.

Сандлер: Потому что мы не всегда ожидаем, и не всегда понимаем источник, и иногда понимаем, какие вещи пользователю говорить нельзя, что совершенно верно.

Пивоваров: Точно! Помнишь того бота Microsoft, который обучался на твитах там пользователей и через время стал вообще чуть ли не расистом?

Сандлер: Да, они утверждали, что на это ушли примерно сутки. Но я не устаю говорить, что не надо путать пиар с технологиями. На мой взгляд, там больше была пиар-составляющая, чем технологическая. Тем не менее в медиа, в какой-то, если угодно, даже современной гиковской поп-культуре это осталось как событие, как многие вещи появляются благодаря хорошему пиару, конечно же.

Пивоваров: Пиар пиаром, но…

Сандлер: Подожди секундочку. Ты вот сказал про одушевление. Как много мы знаем случаев, что люди начинают разговаривать с совершенно неодушевленными предметами! Я не буду здесь даже брать тему разговора с животными, потому что у них там тоже есть нейросеть и какая-то реакция, обучение реагирования и так далее. Но ведь огромное количество людей разговаривает с телевизором, огромное количество людей разговаривает со своими автомобилями. Получившие довольно большое распространение, например, роботы-пылесосы, их, во-первых, именуют, во-вторых, с ними начинают разговаривать.

Пивоваров: Потому что они начинают себя вести как некие живые существа, немножко непредсказуемо. Душа ― это понятие сложное.

Сандлер: Да они не ведут себя как живые существа. Мы придаем им качества живых существ.

Пивоваров: Верно. Смотри, с одной стороны…

Сандлер: Что это за живое существо, когда какая-то круглая штуковина ездит по твоей квартире по такой вот совершенно неестественной траектории, подметая твой пол? Это такой веник, который начал двигаться.

Пивоваров: Верно, верно.

Сандлер: Просто достаточно, достаточно продвинутая технология становится неотличима от магии, где магия… Мы начинаем какие-то придумывать этому свойства, например, человеческие.

Пивоваров: Смотри, одно дело ― придавать некоторые человеческие черты, а другое дело ― когда мы пытаемся в движении… Сейчас множество исследователей искусственного интеллекта черпают вдохновение в биологии.

Сандлер: Да.

Пивоваров: В архитектуре мозга, те же глубокие нейросети, которые сейчас используются, ― это одна из моделей неокортекса. Но мы постепенно движемся в сторону усложнения этих машин. И дальше ― я не хотел бы рассматривать слово «душа», оно сложное, но если мы будем говорить про интеллект или, там, про разумность поведения, а разумностью для нас является некое целесообразное адаптивное поведение, когда тот же пылесос начинает объезжать какие-то углы и проявляет некоторые признаки разумного поведения. Ты начинаешь его воспринимать как некоторое, условно, существо, не просто линейное, а с какими-то… Я понимаю, что там пока нет ничего человеческого.

Сандлер: Не начинаю воспринимать.

Пивоваров: Слушай, но технология пока еще не на том уровне. Но мы же движемся стремительно в сторону…

Сандлер: Вот это очень интересный пример ты с тем же самым пылесосом привел, когда он начинает объезжать препятствия. Когда он несколько раз проехал по твоей квартире и выучил своими датчиками, что в этом месте есть препятствие, на которое он натолкнулся несколько раз, технология дошла до такого состояния, чтобы он предвидел, что в этом месте не нужно снова втыкаться в это препятствие, а нужно его объехать. То есть технология пришла к ситуации, когда его маршрут строится, то есть внутренняя навигация строится с учетом уже известного препятствия, которое несколько раз было опробовано как препятствие.

Пивоваров: Мы с тобой работаем в отрасли, которая настолько стремительно сейчас движется! Ты посмотри то, что говорили за последнее время. Компьютер обыгрывал в шахматы ― ладно. Говорили про го, стратегическая игра, только человек может выиграть в го, многие считали это вообще неким рубежом. Выиграли, AlphaGo выиграла у Ли Седоля в го. В прошлом году, в конце прошлого года уже программа DeepMind Alpha Star выиграла в StarCraft, в стратегическую игру. Казалось бы, это уже вообще, если, по крайней мере, го ― это игра с полной информацией, мы видим все поле, мы видим все фишки, то стратегическая компьютерная игра ― это игра с неполной информацией. Люди стремительно накачивают технологии, множество компаний по миру бежит. Это будет не через десятки лет, это будет буквально, наверно, через годы. Вот смотри, ты говоришь про то, что машина может…

Сандлер: Ты в данном случае…

Пивоваров: Машина может идентифицировать себя?

Сандлер: Очень, очень оптимист, мне кажется.

Пивоваров: Ты знаешь, здесь дело не в оптимизме, я скорее взвешиваю вероятности. Одно дело ― верить, не верить, другое дело ― смотреть на развитие событий и взвешивать вероятности. Я оцениваю такое развитие событий как достаточно вероятное. 

Сандлер: Что машина обретет сознание и дальше личность в течение ближайших лет?

Пивоваров: Я бы сказал…

Сандлер: Это, что называется, плохие новости.

Пивоваров: Если это будет в том виде, сознание, такое человеческое сознание с самостоятельной постановкой цели, которой мы не знаем, и с самостоятельной мотивацией, то вполне возможно, что это будет плохая новость, это правда. Мы как технологическое сообщество должны, мне кажется, все время задумываться над тем, что мы создаем и какой будет эта машина, сможет ли она себя идентифицировать. Если она себя идентифицирует в этом мире, какие цели она будет перед собой ставить. Могут ли у нее быть вот эти человеческие ценности, которые нас ограничивают во многом, будут ли у нее такие ценности, можно ли…

Мы понимаем, что их невозможно запрограммировать. И в этом смысле как раз, собственно, центральный вопрос нашей программы «А можно ли убить ИИ?» ― а будет ли существовать такой этический вопрос? Для искусственного интеллекта будет ли вообще понятие «убить», «смерть» или это будет нечто выходящее за наши привычные этические рамки?

Сандлер: Что значит смерть программы. Это когда ее…

Пивоваров: У программы, наверно, нет смерти.

Сандлер: Это когда ее выключили?

Пивоваров: Да.

Сандлер: Так ее потом включили, она снова заработала.

Пивоваров: Верно. Если это программа…

Сандлер: Или что? Или когда ее стерли?

Пивоваров: Если это программа, то, наверно, да. Если мы понимаем, что она работает по некоторому алгоритму. Тот же робот-пылесос. Его выключил ― он выключился. Потом включил, по тому же маршруту он и поехал, да.

Сандлер: Да.

Пивоваров: Но интереснее как раз момент, если в машине появится такая субъектность, если она начнет себя как-то идентифицировать в мире, то какой она будет и как мы к ней будем относиться? Должно ли это как-то регулироваться? Можем ли мы эту машину рассматривать как равноправного, даже не знаю, как это сказать… Существо вместе с нами в одном мире. Должно ли на него распространяться законодательство такое же, как для нас? Если такой робот что-то сделает, то он должен за это отвечать или нет?

Сандлер: У меня есть предложение.

Пивоваров: Так.

Сандлер: Я предлагаю договориться о следующем: пока считать, что у машин нет сознания и нет личности и, соответственно, они не должны становиться субъектами права как самостоятельные личности, потому что в тот момент, когда такие системы, которые сейчас все, несомненно, сетевые, обретут сознание, личность, смогут сами себе ставить цели и выбирать средства к обеспечению собственной безопасности, наступит точка технологической сингулярности, потому что это точка, за границей которой мы не знаем, что будет происходить. Может быть, все будет прекрасно, а может быть, все будет не прекрасно. Мы просто не знаем этого. Поэтому до того момента, пока это не произошло, мы не рассматриваем машины как что-то, способное иметь сознание и личность. А когда это произойдет, будем разбираться.

Пивоваров: Может статься, что разбираться будет уже достаточно сложно. Меня смущает то, что сейчас много коллективов по миру, и твой, в частности, тоже, как один из мощных коллективов в России, стремительно движутся в сторону создания все более и более совершенных интеллектуальных машин. И мы, мне кажется, зачастую, как человечество, ведем себя здесь немножко как дети, которые просто экспериментируют, не очень даже задумываясь о последствиях.

Например, компания DeepMind, подразделение Google, она же прямо ставит перед собой задачу создания общего искусственного интеллекта, который должен себя осознавать, идентифицировать. То есть, другими словами, есть компании, которые прямо идут к этой точке сингулярности.

Сандлер: Это некая цель, которую они перед собой ставят для того, чтобы разрабатывать то, что они разрабатывают. Мы тоже перед собой ставим довольно амбициозные цели, и это позволяет нам фокусироваться на том, что мы делаем, понимать, что мешает нашему движению. Это действительно так. Но это не значит, что это произойдет вот-вот, потому что все, что сделала на сегодняшний момент компания DeepMind, она сделала набор довольно специализированных решений, которые в некоторых, конечно, в некоторых вещах поражают обывателя.

Но когда мы говорим об этом в более профессиональном сообществе, все-таки мы понимаем, что это довольно специфические, специально заточенные на определенные действия системы. И, конечно, лучшее, что они сделали, ― система управления загрузкой процессоров для дата-центров Google.

Пивоваров: Тут мы на полных парах будем двигаться к этой точке сингулярности. Какой она будет?

Сандлер: Но и нас не остановить. Нас никого не остановить. И даже если мы философски рассуждаем, что может произойти некоторая ситуация, что мы придем к этой условной точке сингулярности, после чего может быть не так хорошо человечеству, это все равно не остановить. Этот прогресс не остановить.

Пивоваров: Может быть, мы захотим убить свое творение как раз, если мы его создадим, а оно окажется совсем не тем, что мы ожидали. Что мы будем с ним делать?

Сандлер: Мы будем стараться его выключить.

Пивоваров: Есть такой философ Ник Бостром, который считает, что если мы создадим настоящий искусственный интеллект, прямо мощный, который будет себя осознавать, который окажется мощнее, чем человек, он за несколько секунд оценит ситуацию и предпримет любые усилия для того, чтобы его выключить было невозможно. То есть если кто-то очень умный и способный прогнозировать очень далеко, сильнее, чем человек, наверно, это не очень сложно.

Сандлер: Сильнее, чем много людей.

Пивоваров: Сильнее, чем много людей, да.

Сандлер: То есть нужно понимать, что мы говорим про такую систему, которая будет интеллектуально сильнее, чем человечество.

Пивоваров: Это ты мощно задвинул. Прямо все человечество?

Сандлер: Практически да. Потому что если создать систему, которая будет интеллектуально такая же сильная, как ты или я, то эта система будет примерно в тех же самых условиях, что ты или я. Каждый из нас с тобой или даже мы с тобой вместе, мы не сможем обеспечить себе безопасность, если десять человек вокруг решат нас этой безопасности лишить.

Поэтому когда мы говорим про такую точку сингулярности, когда мы совсем не понимаем, что происходит, совсем не понимаем, что за этой точкой, и ничего не сможем сделать с такой системой, то это, условно, должна быть такая система, которая интеллектуально сильнее, чем человечество, и способна влиять на реальный мир не меньше, чем человечество.

Пивоваров: Мы не сможем контролировать эту ситуацию никак. Это будет за пределами нашего человеческого контроля.

Сандлер: Представим себе абсолютную утопию. Вдруг появилась такая система, но эта система не может на реальный мир влиять достаточно сильно, но при этом она интеллектуально очень мощная. И вот все вдруг поняли, что, наверно, ее нужно выключить. Вот человечество поняло, что ее нужно выключить совсем.

Есть крайняя точка выключения любой системы. Эта крайняя точка ― выключить все электричество. Все правительства мира договариваются, что в какой-то момент выключается все электричество. Совсем, полностью. И это выключение, полный блэкаут, держится до того момента, пока не закончится энергия в самом последнем аккумуляторе.

Пивоваров: Вот этот сценарий как-то, несмотря на мой оптимизм, мне кажется вообще маловероятным.

Сандлер: Я же сказал, это утопия. Конечно, это невозможно.

Пивоваров: Да. Человечество не демонстрирует способности договариваться, к сожалению, в особенности в таком сложном вопросе, скажем, как искусственный интеллект.

Сандлер: Мне кажется, человечество способно договариваться тогда, когда осознаёт реально крупную угрозу. Чем дальше, тем больше мы это видим, что реально существенная угроза способна объединять более-менее разумные силы.

Пивоваров: А ты не считаешь, что то направление, в котором мы движемся, вот это создание, попытки создания общего искусственного интеллекта, является реальной угрозой для человечества?

Сандлер: Пока нет.

Пивоваров: Пока? Или вообще?

Сандлер: Ты мне задаешь вопрос, считаю ли я.

Пивоваров: Сегодня и сейчас.

Сандлер: Это сегодня и сейчас?

Пивоваров: Да.

Сандлер: Сегодня и сейчас я не