Мастерок.жж.рф

Хочу все знать


Previous Entry Share Next Entry

Ученые обманывают искусственный интеллект



Все мы ждем того момента, когда искусственный интеллект, программы, техника научиться делать практически тоже, то и мы. Это все вполне реально. Но пока что мало кто задумывается, что все равно этот процесс не будет одинаков у машин и людей.

Вот например Группа исследователей из университета Кюсю открыла способ обманывать программы по распознаванию образов, изменив один-единственный пиксель на изображении. Этот пиксель расположен так, что он сбивает с толку нейросети, отвечающие за идентификацию, и они начинают принимать собак за кошек, а лошадей за машины.



Тестовые изображения были ограничены всего тысячей пикселей, но в случае более высокого разрешения и миллионов пикселей правило также работает. Только изменять надо не один пиксель, а несколько сотен.

Вторая группа исследователей, на этот раз из Массачусетского технологического института, умудрилась пойти еще дальше. Они смогли напечатать с помощью 3D-принтера скульптуру черепахи, которую программа, даже разглядев со всех сторон и под любым углом, приняла за винтовку. Этот эксперимент представляет куда большую проблему для технологии распознавания образов, так как все дело происходило в реальности, а программе позволили проанализировать объект со всех углов, но она все равно не определила его подлинную форму.

Вместе оба исследования показывают, какой путь предстоит пройти роботам и программам, прежде чем они достигнут человеческого уровня. В конце концов, наш мозг не обмануть, заменив один или даже сотню пикселей.

Жаль только, что в источниках не приводятся разъяснения, как это так получается обмануть программу. А вы что думаете? В чем секрет "битых пикселей" и как можно обмануть с 3Д моделью?

[источники]источники
https://www.popmech.ru/technologies/394772-cherepaha-kak-vintovka-uchenye-obmanyvayut-iskusstvennyy-intellekt/





Posts from This Journal by “Роботы” Tag

  • Робот делает сальто

    Как то "сто лет назад" в этом блоге мы обсуждали человекоподобного робота Atlas. Я уже за это время и забыл про него, все каких то собачек…

  • Новый робот-собака

    Новый Робопес компании Boston Dynamics получил апгрейд и стал еще быстрее. Согласитесь, сейчас уже это похоже на что то серьезное. Даже кажется,…

  • Толпа танцующих роботов. В чем сложность?

    Когда я недавно был в Китае, мы увидели, что на всех такси в нашем поле зрения все табло показывают синхронно. Товарищи утверждали, что в этом…


Buy for 300 tokens
Buy promo for minimal price.

  • 1
isoparm November 3rd, 8:35
Точка на всех фотографиях достаточно контрастная. Скорее всего, алгоритм раскладывает изображения на частоты, а потом по количеству пиков и их взаиморасположению определяет, что изображено на картинке. В месте точки образуется новый пик, который сбивает алгоритм с толку, потому что все изображения, на которых алгорит обучался, не содержали такой точки.

ab_dachshund November 3rd, 17:04
На самом деле вся новость - бред, потому что отсеять откровенные аномалии перед засовыванием в сеть никто не мешает. Другое дело, что чтобы такое сделать, надо хотя бы в этом разбираться, а конкретные люди не для того увлеклись нейросетями, чтобы возиться с алгоритмами.

А так в приципе можно продолжить хохму - и посоветовать водятлам снова подкладывать сиди-диск на торпеду, чтобы камеры контроля скорости принимали вашу машину за собаку или лягушку. Ну типа она бликанет - и будет вам "битый пиксель".

Все же алгоритмы одинаково глючат.

instantmanager November 3rd, 8:36
Вероятнее всего битый пиксель подбирался методом перебора. Этого достаточно для Proof of concept.

А вот с черепахой сложнее, видимо они знали какую то уязвимость алгоритма. Печать занимает несколько часов и слабо верится что сделано методом подбора.

vladimir1911 November 3rd, 9:06
На мой взгляд, нейросети - это такой фейк, продукт маркетинга. Те алгоритмы нейросетей, что мне попадались в Интернете, показывали плохую сходимость. Думаю, что в случаях о которых вы пишете, использовались более продвинутые варианты нейросетей, но проблема плохой сходимости - остается. А плохая сходимость - это и означает, что чуть-чуть меняем начальные условия - и конечный результат получается совсем другой.

koldoblin November 3rd, 14:29
Базовые Нейросети, которые везде рисуют - т.е. множество нейронов - т.е. обычно линейный полином с сигмоидом, это очень небольшое подмножество возможных вариантов.

Для звука и изображения нужно брать по крайней мере, что-то с синусами, чтобы стало похоже на вариант ряда фурье. Опять же глупо пытаться тупым подбором (градиентным спуском) заменять быстрое преобразоваине фурье. А они это делают.

Купил как-то дорогую книжку, где какие-то китайцы рассказывают как распознавать звук.
Так они ни про синус, ни про спектр слыхом не слыхивали. Лупят звук в стандартные нейроны.
Результат распознавания, типа, 30% успеха. Чтобы решить проблему, они накручивают новые слои нейронов. Дай обезьяене в руки молоток...
У меня кровь потекла из глаз от такой науки.

ab_dachshund November 3rd, 17:00
Прелесть нейросетей в глазах грантоискателя - в том, что никто не знает, как именно они работают. Точнее, и не надо знать. В смысле - они задают сеть, алгоритмы, но в процессе "обучения" из сети получается нечто, что уже нельзя толком проанализировать, подправить, отладить. Если оно обучилось плохо - его можно выбрасывать и начать обучать новый.

Упомянутая прелесть в том, что не надо писать алгоритм распознавания, он как бы сам собой получится. И типа если пихать туда как можно больше всего, то получится (опять же сам собой) пресловутый искусственный интеллект. Так как никто не знает, как именно его программировать, то вся надежда на методы, которые позволят получить его случайно.

Другими словами, это что-то типа метода изготовления наших мальчишек - из веснушек и хлопушек, из линеек и батареек. Сложить все вместе в таз - и ждать, пока боженька вдохнет в это разум и душу.

wkulish November 3rd, 10:00

В 90 х студентом застал первый бум. Только тогда они назывались экспертные системы. Мой научник весьма скептически к ним относился. И оказался прав. Сейчас их стали называть нейросетями, но по сути и то и то перебор вариантов. Никто ещё не получил из этих сетей больше чем туда вложил...


ab_dachshund November 3rd, 16:53
Экспертные системы и нейросети - разные вещи. Дело не в чуть другом названии - там приципиально разный подход к обучению.

wkulish November 4th, 1:13

Тогда нейросетей не было. Сейчас появились. И чо? Если откинуть маркетинг. Основные  проблемы так и остались нерешенными...


ab_dachshund November 4th, 4:52
Сто лет назад не было ручных бензопил, только топоры. Сейчас есть и то и другое. И чо? По-вашей логике это просто два названия одного и того же?

Ваш вопрос тоже легко разъяснить. Это все системы имитационного интеллекта - а не искусственного в том смысле, которой в него вкладывают журналисты и фантасты. Сейчас не существует других подходов, кроме имитационного - типа давайте придумаем способ, как научить программу поступать так же, как человек в похожих ситуациях. Ну, примерно как попугая учат говорить "так же как человек". Экспертная система - это один принцип обучения попугая, нейросеть - совсем другой. Но ни один из них в принципе, даже случайно, не способен превратить попугая в разумного динозавра - что бы там не трендели журналисты и научпоп.

Проблемы, которые подразумеваете вы, остались нерешенными именно потому, что оба метода и не могли бы их разрешить. Несмотря на привычку журналистов называть и то, и это "искусственным интеллектом".

То есть другими словами, проблема не решена, потому что это средство для решения совсем другой проблемы. И вот мое мнение, что экспертные системы для "другой проблемы" годятся, а вот нейросети - просто модное увлечение.

На всякий уточню, если потеряли нить - "другая проблема", это создание неразумной и не осознающей себя детерминированной системы, способной на интерактивный бихейворизм, то есть способной выдавать достаточно сложное поведение, которое при поверхностном анализе похоже на разумное.

wkulish November 4th, 6:56

Формализовать всю сумму человеческого опыта в той или иной предметной области - раз. Формализовать задачу длч ИИ - два. Нет ни одной рабочей модели всшей нервной деятельности - три.
Имитационный интеллект - хорошая дефиниция!)


ab_dachshund November 4th, 7:28
Я и говорю о том, что задачу построения именно разума за полвека даже не смогли сформулировать. Что надо делать, в какую сторону? Открыт даже вопрос - есть ли он у человека или это просто сложно обученный автомат фон Неймана.

Нейросети популярны именно идеей, что и пусть мы не понимаем - но мы напихаем туда кучу картинок собак и лягушек, добавим вычислительных мощностей, подсоединим к гуглу - и оно как-нибудь само оживет под ликующие вопли про "its alive, alive".

wkulish November 4th, 9:23

It's pretended to be alive!)


  • 1
?

Log in

No account? Create an account