?

Log in

No account? Create an account

masterok


Мастерок.жж.рф

Хочу все знать


Previous Entry Share Flag Next Entry
«Моральные принципы» беспилотных автомобилей
masterok


Когда я на конференции ЦИПР-2017 в Иннополисе фотографировал Гошу Куценко, он в этот момент слушал докладчика на секции, посвященной роботам и беспилотным автомобилям. Там как раз обсуждалась тема морального выбора у автопилота. Прошло уже несколько лет, но по теме "моральных принципов" беспилотных автомобилей ничего не поменялось.

Простыми словами это можно озвучить так: если наезд неизбежен, то кого давить "ребенка или бабушку"? А может быть в таком случае лучше "пожертвовать" пассажиром машины?

И вот в какую сторону сейчас развивается дискуссия в этом вопросе ...


Конечно же вы все сейчас станете говорить о том, что мол надо не выбирать кого "давить", а стараться не допускать подобных ситуаций или решать их так, чтобы все остались целы и невредимы. Это все так. Но то, что человек решает на уровне подсознания, робот или автопилот должен решать по заложенной в него программе. А программу как раз таки разрабатывает заранее человек и он что то должен определить в этот момент. Нельзя же просто именно эту ситуацию вообще не предусмотреть. В противном случае в каком то сложном положении беспилотный автомобиль влетит на остановку полную людьми, вместо того, чтобы повернуть в обратную сторону и в отбойник например.





Для того, чтобы понять, как поступили бы люди в той или иной критической ситуации, сотрудники института разработали специальную игру «Moral Machine».

Тест доступен для всех желающих, в том числе и на русском языке. В игре моделируется ситуация, когда самоуправляемый автомобиль вышел из-под контроля, а искусственный интеллект должен сделать свой выбор.




Всего в тесте представлено 13 ситуаций, в каждой из которых необходимо решить кого- пешеходов или пассажиров- оставить в живых.





Например, пользователю предлагается выбрать кто из 2 двух людей – молодой или пожилой человек – должен остаться в живых, а на кого наедет автомобиль.

На сегодняшний день Moral Machine набрала уже более 11 млн. возможных сценариев поведения.

А как бы вы прошли этот тест?





Однако, совсем недавно ученые из Университета Оснабрюка (Германия) провели другой эксперимент, участники которого должны были с помощью симулятора виртуальной реальности «водить машину» в туманный день в пригороде. Неожиданно на пути «водителей» возникало препятствие в виде человека, животного или неодушевленного предмета, и им приходилось принимать решение, кого пощадить в данной ситуации.

Результаты эксперимента показали, что поступки водителей в этом случае были обусловлены их морально-этическими принципами, пишет издание EurekAlert! Таким образом, человеческое поведение можно хорошо описать с помощью алгоритмов, которые со временем будут использованы и машинами. Для этого собственно и не требовалось никаких исследования, все и так понятно, но "британские ученые такие ученые ...".

Мне как не специалисту больше непонятен не тот аспект, кого выберет задавить водитель животное или человека, а как будет решать водитель или в будущем программа беспилотного автомобиля, когда выбор будет стоять между врезаться в стену (и возможно погибнуть) и врезаться например в автобус и возможно погубить или покалечить несколько человек.

Нет, давайте вообще по максимуму упростим ситуацию: врезаться в стену или сбить человека? Каждый человек на Земле совершит явно не одинаковое действие. Тут нет 100% верного решения. Так вот и программа беспилотного автомобиля должна понимать какие действия ей предпринять когда выбор стоит так или вот так. Конечные шансы никто не знает, но вот выбор направления действия должен быть однозначно!

В Германии пошли дальше. Недавно Федеральное министерство транспорта и цифровой инфраструктуры Германии определило 20 этических принципов для водителей автомобилей. Согласно им, к примеру, ребенок, бегущий через дорогу, признается «более вовлеченным в создание опасной ситуации», чем взрослый, стоящий на обочине. Таким образом, в данном случае водитель не должен жертвовать жизнью или здоровьем взрослого пешехода. Оригинально, не правда ли? Т.е. моральные ценности в этом случае что то лишнее и не нужное. Может быть так и должно быть? Четкий расчет и рационализм?

«Теперь, когда мы знаем, как внедрять этические принципы в машины, мы, как общество, сталкиваемся с двойной дилеммой, — объяснил профессор Питер Кениг. — Во-первых, мы должны решить, следует ли включать моральные ценности в „поведение“ машин, а во-вторых, должны ли машины действовать так же, как люди».

Авторы исследования уверены, что автомобили-беспилотники — это только начало, поскольку все более распространенными становятся роботы в больницах и другие системы искусственного интеллекта. Ученые предупреждают, что мы стоим на пороге новой эпохи и должны установить для машин четкие правила, пока те не начали принимать решения без нас.





Конечно же не будем думать, что эта тема и такие выборы возникли только сейчас.

Я очень хорошо помню, как в детстве читал книжку Азимова "Я, Робот". Она произвела на меня огромное впечатление. Возможно основной причиной этому были сюжеты, посвященные выбору роботами между тремя законами робототехники:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Но даже имея такие четкие законы, случались ситуации, которые либо не описывались ими, либо создавали серьезное противоречие со здравым смыслом.

Чувствуется мне, что еще лет через 10 уже придется нам создавать свои законы робототехники и ставить на одну сторону весов рациональность и расчет, а на другую мораль и принципы совести.

Или вы считаете, такой проблемы не возникнет?



Ах да, зачем Гоша Куценко все это слушал я вам рассказывал тут.


Posts from This Journal by “Технологии” Tag


promo masterok january 2, 2018 12:00 53
Buy for 200 tokens
Вот так выглядит трафик в блоге 2020 год по месяцам. Это более ТРЕХ МИЛЛИОНОВ просмотров в месяц, среди которых не только залогиненные в ЖЖ , но и любые просмотры из поисковых систем. При этом за месяц приходит около МИЛЛИОНА посетителей. Статистика Google Analytics за месяц 2020 года (…

тема кстати неплохо раскрыта в фильме "Я, робот"
а так к механизму понятие этики неприменимо - там может быть только голая рациональность + матстатистика

Всё решает страховка.

Если авто застраховано на меньшую сумму, чем собачка, то ему (автомобилю) лучше убиться апстену.


У меня просто, гибнет виновный в нарушении ПДД, а если переходят на зелёный - гибнет пассажир, не следящий за состоянием машины. Животные - низший приоритет. А вот ребёнок|взрослый, тут сложно. Наверное, ехать прямо, чтобы не перевернуться и т.п.

Нахер мне за мои деньги такой автомобиль, который мной пожертвует ради спасения каких-то левых прохожих. Я лучше куплю автомобиль, который будет спасать меня в любом случае. Не трудно догадаться, какой вариант автопилота выберут автопроизводители.

>какой вариант автопилота выберут автопроизводители.
Тот, который предпишут законодательно.

По идее, если выбор между ребёнком, бабушкой и водителем, лучше сбить бабушку. Тут, конечно, много что нафинтить можно вплоть до того, что ребёнок тот ещё, а в авто вообще копия Ефремова, а бабушка любимая своим детьми и внуками ветеран войны и труда, но...

Сбивать надо того, кто нарушает правила

(Deleted comment)
Так моральные принципы выгодны по баблу. Демократия выгодней диктатуры, не гнобить геев выгодней, чем гнобить итд.

(Deleted comment)
(Deleted comment)
У Азимова, кстати, в какой-то книжке из серии о роботах было решение этой дилеммы: если ситуация не противоречит трем основным законам, а все варианты действий равноценны, то робот "подкидывал монетку" - делал случайный выбор.

Вангую (прости господи за термин), что единственным работающим алгоритмом будет: 1) минимизировать возможность критической ситуации; 2) при попадании в критическую ситуацию ранжировать потери - человек важнее собаки, ребенок важнее остальных, женщина важнее мужчины, молодой важнее старого (а при всеобщей чипизации, например, мобильными девайсами или подкожными чипами, авторобот вероятно, сможет получить подробную информацию и ранжировать трезвенник/алкаш и т.п.); 3) если потери равнозначны, то датчик случайных чисел в помощь.

Все это "обучение морали" - пункт 2 выше - в действительности не для программирования роботов, а для психотерапии сапиенсов. Нужно понять, против чего люди не восстанут. Дело в том, что мораль - понятие сильно расплывчатое в разных частях мира, а то и страны. А уж соблюдение норм морали конкретным человеком и вовсе не гарантировано: пассажир на переднем сиденье гибнет в разы чаще водителя, каким бы моральным в обычной жизни водитель не был. Привить нормы морали нейросети невозможно, можно только обучить, а обучение предполагает некоторые флуктуации. Кончится тем, что каждое авто станет неповторимой недоличностью со своим недопониманием как действовать. Оно нам, людям, нужно? Нет, только жесткий алгоритм и гарантированный датчик случайных значений с равномерным распределением.

>авторобот вероятно, сможет получить подробную информацию и ранжировать ДЕПУТАТ И УВАЖАЕМЫЙ ЧЕЛОВЕК ЛИБО ХОЛОП ИЗ ПОДАТНОГО СОСЛОВИЯ
Фиксанул.

Гибнет тот, кто нарушает. Если никто не нарушает, то тот, кто в автомобиле. То есть, активный участник. Собак в расчёт не брать. Они умнее людей уже в плане соблюдения ПДД.

"Гибнет тот, кто нарушает." - здрасти. Обычно нарушают строители, построив опасную дорогу, а гибнут пешеходы.

Тормоз нужно давить! Тормоз!

А может всё же жертву объехать?, если в соседней полосе свободно? Автопилот ведь знает, свободно там или нет.

Опять 25, сколько раз эту тему обсасывали, и до сих пор продолжается. Ответ один: автопилот должен быть предсказуемым, должен соблюдать ПДД, а в случае опасности столкновения с пешеходом - просто тормозить в пол, сохраняя прямолинейное движение без всяких маневров и виражей. Это кстати справедливо и для обычных водителей.


Без манёвров и виражей сейчас прописано в ПДД потому, что челоевк не успеет во время экстренного торможения посмотреть, свободны ли соседние полосы. Автопилот это может успеть, так что ПДД в своё время в этом пункте поменяют.

В статье упомянут немецкий тренажер виртуальной реальности. Вот и решение! Каждый владелец автопилота сдает тест на упомянутом тренажере. Результаты теста закладываются в автопилот и определяют его линию поведения. Владелец делит ответственность с машиной.

Владелец делит ответственность, когда покупает автомобиль с тем или иным автопилотом.

Современные ПДД НЕ интересует морально-нравственный аспект. При обнаружении опасности, которую водитель в состоянии обнаружить, он обязан применить торможение, вплоть до полной остановки ТС. Все остальное от лукавого, в т.ч. какое-либо (любое) маневрирование. И такое поведение изначально виновно.
И, следовательно, составляя алгоритм, необходимо отталкиваться не от морали, но от Правил.

Жёсткие правила существуют из-за того, что человек слишком медленный и тупой, чтобы быстро принимать верные решения. Поэтому тормозить и ехать прямо — лучший вариант. Однако, автопилот будет способен находить такие лазейки, которые человеку просто недоступны. Никто не станет убивать десятки тысяч человек в год только потому, что есть ПДД, в то время как ИИ мог бы сократить количество смертей до единиц, маневрируя всеми возможными способами. Например, если столкновение с ребёнком неизбежно, то можно подтянуть ремни, заблокировать колёса так, чтобы машина перевернулась и в воздухе перелетела через ребёнка. В итоге, все живы, только вот шеи немного побаливают и ребёнок обосрался. :)

Интерес владельца конечно же ен задавить никого. Ведь задавленный может оказаться родственников водителя.

Не будет никакого выбора, это все просто хайп на теме. Проснитесь уже.

Это все равно что рассуждать - что нужно сделать, чтобы компьютер лучше и качественнее компилировал программу, составленную представителем нацменьшинств, и будет ли мол это этично, не ущемит ли это самооценку вместо того, чтобы дать преференцию. Хватит мусолить эту соску.

Машина с исправным автопилотом будет просто корректировать скоростной режим в зависимости от видимости и расчётного тормозного пути. Любой выбор, тем более связанный с какой-то оценкой - типа ребенок, бабушка, тунеядец, ветеран труда - лишь замедлит выполнение программы. Любой маневр в условиях торможения в пол заметно опаснее, чем просто торможение в пол - хотя бы потому что уже невозможно понять, что случится после заноса, куда удар отшвырнет машину и обломки препятствия и не бросит ли ее на толпу сбоку, которую на картинке поленились нарисовать. Любой алгоритм, предусматривающий выбор, маневр и оценку этической компоненты заведомо более глючный и медленный, чем просто команда "тормози в пол".

Даже если рассматривать совсем вымороченную ситуацию - перед автопилотом с моста сбросили жирдяя из известного примера и затормозить невозможно - задача автопилота не оценивать количество жизней или сравнивать их ценность, а сохранить управляемость ТС до полной остановки. Что, опять же, практически исключает искусное маневрирование.

маневрирование это не исключает

машины пока что могут ошибаться с тем, что они видят на дороге, но возможностей контролировать саму машину у автопилота куда больше, чем у человека

Пока не появился искусственный интеллект, человек всегда будет более надежным водителем, чем робот. Ну, а когда появится, то хз, как оно тогда для человечков вообще всё сложится.

Роботы уже сейчас надёжнее водят автомобиль, чем человек. В 10 раз,

(Deleted comment)
В своей полосе прописано потому, что челоевк не успеет во время экстренного торможения посмотреть, свободны ли соседние полосы. Автопилот это может успеть, так что ПДД в своё время в этом пункте поменяют.

(Deleted comment)
(Deleted comment)
(Deleted comment)
(Deleted comment)
(Deleted comment)