Мастерок.жж.рф

Хочу все знать


Previous Entry Share Next Entry

Facebook остановил ботов, которые заговорили на непонятном языке



Все таки что не говорите, а опасность развития искусственного интеллекта до того уровня, когда он выйдет из под контроля всегда пугала людей. Представьте, что мы будем делать и как контролировать полноценное ИИ, если тут какой то суррогат и то напугал людей.

Люди же всегда будут стремиться оставить себе контроль и управление, но как говорится "все что один сделал, другой всегда сломать может". Если даже все будет супер надежно - всегда будет опасение. Вот и Маск недавно спорил на эту тему с Цукербергом: "Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.

И вот это разве не "звоночек": чат-боты, которые были созданы для переговоров с людьми, вышли из-под управления и начали общаться на собственном языке.

Сначала они использовали английский язык для общения друг с другом, но затем создали новый язык, который могла понять только сама система ИИ, что нарушало цель работы.

Facebook приостановила работу ИИ после того, как разработчики обнаружили этой сбой.

Вот отрывок разговора между чат-ботами:

Алиса: «Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для».
Боб: «Ты я все остальное».
Алиса: «Яйца имей яйца для меня для меня для меня для меня для меня».
Боб: «Я».
Алиса: «Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для».
Bob: «Ты я я я я я все остальное».






Ботов подключили к алгоритмам машинного обучения и позволили им переписываться между собой, чтобы они оттачивали навыки общения. Но через некоторое время те начали видоизменять слова и фразы, а затем и вовсе придумали собственный язык, упростив ряд выражений и грамматических конструкций.

Используя машинное обучение, боты также разработали несколько стратегий для улучшения исхода переговоров с собеседником и начали использовать их в комбинации с рядом придуманных ими же слов в зависимости от важности конкретного диалога. В частности, они провозглашали ложную цель беседы, чтобы затем отказаться от нее и якобы прийти к компромиссу.

Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.

Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.

Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.





В марте 2016 года чат-бот компании Microsoft стал звездой сети после того как возненавидел человечество. Самообучающаяся программа начинала общение с пользователями фразой «Люди очень клевые», но всего за сутки выучила такие выражения, как «Я просто всех ненавижу!», «Я ненавижу феминисток» или «Я ненавижу евреев». В итоге сотрудникам компании пришлось временно отключить бота.



Перевод с искусственного


Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.

Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.

Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.
Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Как вы считаете, пока рано бить тревогу как про клонирование например? Или пусть все развивается само собой?

[источники]источники
http://www.ibtimes.com/facebook-ai-project-generates-own-language-chat-transcript-baffles-humans-2572297
https://futurist.ru/news/4011-kompaniya-facebook-ostanovila-rabotu-ii-kotoriy-zagovoril-na-neponyatnom-yazike
http://www.bbc.com/russian/features-40778454
https://lenta.ru/news/2017/06/20/ownlanguage/



Posts from This Journal by “Роботы” Tag


Buy for 300 tokens
Buy promo for minimal price.

  • 1
a_zaxar August 4th, 18:06

user_cruser August 4th, 18:06
Гитлера надо было останавливать еще в Мюнхене

masterok August 4th, 18:10
тоже так считаю

jidigr August 4th, 18:07
фигня... классический пример общения чат-ботов написанных на lisp'е

koldoblin August 4th, 21:16
Нынче основной язык ИИ - Питон.
Scikit, TensorFlow питоновые фреймворки..

viatua August 4th, 18:11
Все равно все произойдет.

outstalker August 4th, 18:34

maikcg August 4th, 19:36

Скорее они просто заглючили и писали ахинею вместо разговора как уничтожить кожанных мешков.


i_v_bunsha August 4th, 19:40
Автор нихрена не понял. Зачем писать о том, о чем вообще не имеешь представление? Ботов с ботам стравливать - последнее дело. Это обычное переобучение. Ошибка накапливается - на выходе шлак.

instantmanager August 4th, 19:47
ну конечно, самые тупые программисты у фэйсбука и гугла

axsmyth August 4th, 19:49
«Машины начали общаться на собственном, несуществующем языке, который люди не понимали».

На самом деле эта фигня началась уже давно. Когда вы думаете, что ваш компьютер завис, на самом деле он думает свои собственные, изобретённые им мысли.

А моя бабушка в таких случаях говорила: «Дураку хоть плюнь в глаза — всё божья роса».

masterok August 4th, 19:50
на счет "плюнь" у нас несколько иначе говорили

shallgun_force August 4th, 20:14
по поводу создания ботами искусственного языка. эта инфа имела бы смысл, если бы рагугль сказал бы всем полную правду, в чем я сомневаюсь. скорей всего всё намного запутанней и возможно хуже. это не слова пессимиста, но скептика. они являются проектом цру, значит все что они преподносят априори ложь и там есть место только меньшей доле правды. запутывают следы. и корпоративные тайны никто не отменял

mechnik August 5th, 5:49
Обострение?

bigdrum August 4th, 21:29
Если у них там был анализатор контекста, то скорее всего из-за неудачных контекстов, порождаемых самими ботами, поплыла настройка. Два зеркала друг напротив друга, слегка кривых...

mechnik August 5th, 5:50
Не думаю, что настройка поплыла. Думаю, изначально были заданы неправильные рамки. Вот и получили полный набор бреда на выходе.

ab_dachshund August 5th, 3:34
Этот пример лучше прочего доказывает, насколько переоценены нейронные сети. В смысле, "таинственные" результаты их работы.

mechnik August 5th, 5:50
Нейторнные сети?! Да это просто база скриптов, не более.

cosmicstarcat August 5th, 6:53
"изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском."
До сих пор помню как ботов на нейросетях оставили самообучаться способом обгона противника в гонках (история на gamedev). И какое же удивление - когда создатель заглянул на сервак и понял - что все боты эволюционировали в одну простейшую стратегию "если не ехать" то и катастрофы не будет.

Точно так же и тут. Оставили бы этих ботов еще на пару месяцев - и они бы сами замолчали, так как никакой информации и работы с информацией у них нету . У них есть ее имитация.Поэтому их эволюция и должна идти в сторону упрощения текста, до полной редукции.

boxp August 6th, 11:49
Так мож приоритеты неправильно расставляли? Типа, цель - не отсутствие аварий, а минимально аварийное достижение цели назначения?

ambival August 5th, 8:14
Какое там общение у программы, которая просто генерирует какие-то символы в ответ на входящие символы? Умение выдвавать набор букв стали считать искуственным интеллектом? Так это еще на БЭЙСИКе было возможным.

todofbander August 5th, 8:43
Этот мир давно сошел с ума.
99,99% всего, что делают люди - это шаги к самоубийству.
Опасно ли делать таких ботов? А остальные 99,98% не опасно? ))
Это уже не важно: человечество не выживет долго.

homoluden August 5th, 11:01
Надо выключить свет

"Боты начали на непонятном языке и - "

pontograf August 5th, 22:35
понеслось! А ФБ - то какой молодец. Взял, да и приостановил ботов. Вопрос: "Сколько федеральных университетов и мехматов нужно стране, чтобы число дураков попало в нужный диапазон эпсилон - окрестности?

i_v_bunsha August 8th, 17:58
Кстати, не факт, что мы находимся в той-же пропасти переобучения, просто наше время не пришло.

  • 1
?

Log in

No account? Create an account