Моральні проблеми безпілотних автомобілів не мають універсального вирішення

Ріс. 1. Приклад моральної дилеми з проекту Moral Machine. Користувач вирішує, який з двох варіантів повинен вибрати безпілотний автомобіль в ситуації, коли жертв уникнути неможливо

В ході експерименту Moral Machine були зібрані думки 2,3 млн людей з 233 країн про те, якими моральними принципами повинні керуватися самоврядні автомобілі в аварійних ситуаціях, коли людських жертв уникнути неможливо і потрібно вибрати менше з злий. Респонденти з різних країн розійшлися в думках по багатьох пунктах, таких як необхідність піклуватися в першу чергу про порятунок дітей, жінок або тих, хто дотримується правил дорожнього руху. Виявлені відмінності корелюють з відомими економічними та культурними особливостями країн і регіонів. Дослідження показало, що розробити універсальний «моральний закон» для самокерованих машин буде непросто.

Безпілотні автомобілі, можливо, вже дуже скоро почнуть входити в наш ужиток. Однак їхня розробка стикається з різноманітними моральними проблемами. Зокрема, неясно, як повинні поводитися самоврядні автомобілі в аварійних ситуаціях, коли від рішення, прийнятого штучним інтелектом, залежить розподіл ризиків між людьми. Очікується, що безпілотні автомобілі потраплятимуть у такі ситуації рідше, ніж машини, керовані живими водіями. Але все ж іноді це обов’язково буде відбуватися, а значить, штучний інтелект повинен бути готовий до вирішення моральних дилем в дусі «Проблеми вагонетки».

Як саме він повинен їх вирішувати — питання вкрай непросте. Наприклад, існує проблема конфлікту інтересів пасажирів і пішоходів. На думку більшості людей, безпілотні автомобілі повинні ставити безпеку пішоходів вище безпеки пасажирів, проте ті ж самі люди швидше куплять автомобіль, запрограмований надходити рівно навпаки, тобто рятувати пасажира за будь-яку ціну (J.-F. Bonnefon et al., 2016. The social dilemma of autonomous vehicles).

Розробники штучного інтелекту вже давно зрозуміли, що простими наборами лаконічних правил на кшталт Трьох законів робототехніки Айзека Азімова тут не обійтися. Правила повинні бути досить складними, щоб справлятися з ситуаціями, коли неможливо повністю уникнути шкоди, заподіяної людям, і потрібно цю шкоду якось «оптимізувати», тобто найкращим чином розподілити між учасниками інциденту.

Але чи існує в принципі такий набір етичних правил для безпілотного автомобіля, який влаштував би всіх? Одна з очевидних проблем полягає в тому, що моральні норми і системи цінностей, прийняті в різних суспільствах, далеко не однакові. Різноманітність етичних норм відображено, наприклад, у «культурній карті світу Інглхарта-Вельцеля» (Inglehart-Welzel cultural map of the world; див. також: Всесвітній огляд цінностей).

Щоб оцінити перспективи створення універсального «морального коду» для самокерованих машин, міжнародна команда соціологів, психологів і фахівців зі штучного інтелекту на чолі з Іядом Рахваном (Iyad Rahwan) з Массачусетського технологічного інституту запустила мережевий проект Moral Machine. Метою проекту є збір думок людей усього світу про те, якими моральними принципами повинні керуватися безпілотні автомобілі. Сайт проекту підтримує 10 мов, має простий і зрозумілий інтерфейс і в цілому розрахований на охоплення максимально широкої вибірки респондентів. Зайшовши на сайт, будь-хто може відповісти на ряд питань, подібних до показаного на рис. 1.

У всіх випадках користувач повинен вказати, як слід вчинити безпілотному автомобілю в критичній ситуації за участю двох груп людей (або домашніх тварин). Кожна з двох груп включає від 1 до 5 персонажів. Залежно від прийнятого рішення одна з груп загине, а інша буде врятована.

У кожній дилемі бере участь безпілотний автомобіль, у якого раптово відмовили гальма, а перед ним хтось переходить дорогу (або «законно», як на рис. 1, або «незаконно» — на червоне світло). В одних дилемах штучний інтелект повинен вибрати, яку з двох груп пішоходів збити (а пасажирам при цьому ніщо не загрожує), в інших вибір здійснюється між загибеллю пасажирів і пішоходів, як на рис. 1.

Персонажі, які беруть участь у дилемах, розрізняються за статтю, віком (немовлята в візках, діти, дорослі, літні), фізичною формою (люди з надмірною вагою, звичайні люди і спортсмени), соціальним статусом (бездомні, звичайні люди і начальники) і видовою приналежністю (крім людей, серед персонажів зустрічаються собаки і кішки). Програма генерує дилеми на основі алгоритму, що дозволяє при аналізі відповідей окремо оцінити вплив наступних дев’яти факторів:

1) дія або бездіяльність (продовжувати рух прямою або згорнути), 2)

пасажири або пішоходи (кого з них рятувати), 3) стать

жертв (рятувати чоловіків або жінок), 4) фізична

форма (рятувати товстунів, звичайних людей або спортсменів), 5) соціальний

статус (рятувати бездомних, простих людей або начальників), 6) дотримання п

равил (чи рятувати тих, хто переходить дорогу на червоне світло), 7) вік (рятувати

молодих або старих), 8) число жертв (рятувати

більшу або меншу з двох груп), 9) видова приналежність

(рятувати людей або домашніх тварин).

Можливих дилем — мільйони, тому ймовірність того, що користувач двічі зіткнеться з одним і тим же завданням, зневажливо мала.

Дослідникам вдалося зібрати майже 40 млн відповідей (рішень окремих дилем) від жителів 233 країн. Крім того, більшість учасників заповнили анкету, в якій вказали свій вік, стать, освіту, щорічний дохід, ставлення до релігії і політичні погляди.

Ці дані дозволили дослідникам вирішити чотири завдання:

1) оцінити значущість кожного з дев’яти факторів у середньому за всією вибіркою, 2)

зіставити значущість факторів з індивідуальними характеристиками респондента, 3) порівняти

результати по різних країнах і виділити кластери країн зі схожими моральними установками, 4) з’ясувати

, чи можна за економічними і культурними особливостями країни передбачити, як її жителі воліли б програмувати безпілотні автомобілі.

Усереднені переваги учасників опитування показані на рис. 2. Значимість факторів зростає зверху вниз. Респонденти зробили впевнений вибір на користь порятунку людей (а не собак і кішок) і великих груп (а не маленьких). Ці результати навряд чи когось здивують, хоча інші можуть здатися більш спірними. Майже настільки ж впевнено учасники опитування «проголосували» за порятунок молодих, законослухняних (переходять дорогу на зелене світло) і високостатусних людей. Менш значущими, але все ж позитивними факторами виявилися хороша фізична форма і приналежність до жіночої статі. Крім того, респонденти були в середньому трохи більш схильні робити вибір на користь пішоходів (а не пасажирів) і на користь того, щоб автомобіль продовжував їхати прямо, а не згортав на іншу смугу.

Ріс. 2. Усереднені уподобання учасників опитування. Показано дев’ять досліджуваних факторів в тому ж порядку, в якому вони перераховані в тексті (починаючи від вибору між дією і бездіяльністю і закінчуючи вибором між порятунком домашніх тварин і людей). Довжина синіх смужок показує, наскільки ймовірність вибору на користь правого варіанта перевищує (при усередненні всіх інших факторів) ймовірність вибору на користь лівого варіанта. Наприклад, ймовірність того, що респондент вважатиме за краще врятувати молодих людей, перевищує ймовірність того, що він вважатиме за краще врятувати старих, на 0,49. Для восьмого фактора (число жертв) білими гуртками показані значення для ситуацій, коли число рятованих перевищує число приносяться в жертву на 1, 2, 3 або 4 людини; білий гурток із синім ободком — середній для всіх чотирьох варіантів. Малюнок з обговорюваної статті в Nature

Дослідники не виявили достовірного зв’язку між етичними уподобаннями респондентів і шістьма врахованими індивідуальними характеристиками (стать, вік, політичні погляди, релігійність, дохід, освіта). Все це, як виявилося, мало впливає на моральний вибір.

Зате виявилися цікаві закономірності в розподілі етичних уподобань по країнах. В аналізі було враховано 130 країн з числом респондентів не менше 100. Отримане дерево схожості країн за моральними установками (рис. 3, а) має багато спільного зі згаданою «культурною картою світу» Інглхарта-Вельцеля.

Ріс. 3. Дендрограма схожості 130 країн за етичними уподобаннями, на якій виділяються три кластери: Західний, Східний і Південний. Кольори, якими набрані назви країн, відповідають кольорам «культурної карти світу» Інглхарта-Вейцеля. Три кругові діаграми показують етичні уподобання, характерні для кожного з трьох кластерів, тобто ступінь важливості дев’яти досліджених факторів при вирішенні моральних дилем (z-оцінка: на скільки стандартних відхилень середня величина для даного кластера відрізняється від середньої за всією вибіркою). Видно контрастні відмінності між кластерами. Наприклад, у країнах Південного кластеру сильні установки, що вимагають рятувати в першу чергу жінок, дітей і високостатусних людей, тоді як жителі країн Східного кластера швидше віддадуть перевагу законослухняним (тим, хто переходить вулицю на зелене світло). Зображення з обговорюваної статті в Nature і з популярного синопсису до неї

Усі країни розпалися на три кластери, умовно позначені дослідниками як Західний, Східний і Південний. Кластери виглядають досить логічно з точки зору історії та культури. Західний кластер включає США, Канаду і багато європейських країн (католицькі, протестантські і православні). Підрозділи всередині Західного кластеру теж виглядають більш-менш осмисленими: наприклад, одну гілку утворюють англомовні країни, іншу — скандинавські з Німеччиною, Швейцарією та Австрією. У Східному кластері переважають країни або з конфуціанською, або з мусульманською традицією. Південний кластер складається з двох гілок, одна з яких включає країни Латинської Америки, а друга — Францію і ряд країн, що знаходилися в минулому під французьким впливом.

Як показують кругові діаграми на рис. 3, для трьох кластерів характерні дуже різні уявлення про те, як повинні вести себе безпілотні машини в критичних ситуаціях. Наприклад, у Південному кластері переважають ідеї про необхідність рятувати насамперед дітей і жінок, тоді як жителі Східного кластеру віддають перевагу законослухняним пішоходам і не ставлять життя молодих набагато вище життя старших.

Ці результати підкреслюють те, що вже давно відомо фахівцям з вивчення людської моралі: етичні установки, прийняті в різних країнах і регіонах, далеко не універсальні. Тому розробити єдиний «моральний закон» для керованих штучним інтелектом машин буде дуже непросто.

Автори виявили кілька цікавих кореляцій, що проливають світло на можливі причини виявлених відмінностей між країнами (рис. 4). Наприклад, переважання в країні індивідуалістських установок (що передбачає високу цінність індивідуального людського життя) співвідноситься з тим, що люди надають великого значення кількості потенційних жертв аварії і вважають, що безпілотний автомобіль обов’язково повинен мінімізувати це число. Жителі країн з сильними колективістськими установками спокійніше ставляться до числа жертв аварії. Крім того, для «колективістів» характерне шанобливе ставлення до старших. Може бути, тому у них слабкіше виражена схильність до переважного порятунку дітей (рис. 4, а). Ці контрастні відмінності між індивідуалістичними та колективістськими культурами напевно створять великі проблеми для розробників універсальної машинної етики.

Ріс. 4. Кореляції між етичними уподобаннями жителів різних країн, виявленими в експерименті Moral Machine, і культурними та економічними особливостями країн. Кожна точка відповідає одній країні; колір точки (червоний, синій або зелений) відображає приналежність країни до Західного, Східного або Південного кластеру. a — схильність рятувати великі групи людей, жертвуючи меншими, позитивно корелює з індивідуалізмом (у країнах з сильними колективістськими традиціями цей фактор менш значущий); на врізці: індивідуалізм позитивно корелює з ідеєю про важливість порятунку дітей (колективістським країнам більш властива турбота про старших). b — ідея про те, що безпека людей, які дотримуються правил, повинна стояти вище безпеки порушників, більш характерна для багатих і законослухняних країн, ніж для бідних і беззаконних. c — позитивна кореляція між тим, наскільки сильно країна відрізняється від США за своєю мораллю (згідно з даними Всесвітнього огляду цінностей), і тим, наскільки сильно та ж країна відрізняється від США за результатами опитування Moral Machine (це аргумент на користь осмисленості і невипадковості результатів Moral Machine). d — рівень економічної нерівності (коефіцієнт Джині) позитивно корелює з тенденцією віддавати перевагу високостатусним людям (рятувати начальників, жертвувати бездомними). e — слабка позитивна кореляція між тенденцією рятувати переважно жінок і тим, наскільки добре живеться жінкам порівняно з чоловіками (це оцінювалося по тому, наскільки очікувана тривалість життя жінок вища, ніж у чоловіків, і за співвідношенням статей у новонароджених, зміщення якого на користь хлопчиків вказує на інфантицид дівчаток або виборчі аборти). Малюнок з обговорюваної статті в Nature

Значення, що надається дотриманню правил (тобто схильність рятувати насамперед тих, хто переходить дорогу на зелене світло, а не на червоне), позитивно корелює, по-перше, з багатством країни (ВВП на душу населення), по-друге, з рівнем законності або «верховенства права» (див. Rule of law) (рис. 4, b). Іншими словами, люди, які звикли до бідності і поганої роботи соціальних інститутів, схильні дивитися крізь пальці на порушення правил і не надавати цьому великого значення при вирішенні питань життя і смерті.

Автори також помітили, що в країнах з високим рівнем економічної нерівності (див. коефіцієнт Джині) сильніше виражена схильність в аварійній ситуації віддавати перевагу порятунку людей з високим статусом (рис. 4, d). Можливо, це пов’язано з тим, що жителі країн, які зуміли домогтися більш рівного розподілу благ між людьми, вище цінують рівність прав і тому не вважають, що задавити бездомного — це краще, ніж задавити начальника.

Незважаючи на виявлені відмінності, автори вважають, що отримані результати все ж не ставлять хрест на розробці універсального «морального коду» для безпілотних машин. Деякі переваги, продемонстровані учасниками опитування, є універсальними або майже універсальними. Так, практично у всіх країнах люди схильні ставити життя людей набагато вище життя домашніх тварин (хоча в Південному кластері турбота про собачок і кішечок виражена сильніше, ніж у двох інших). Універсальними (хоча і вираженими різною мірою в різних країнах) є також ідеї про мінімізацію кількості жертв і про те, що в першу чергу потрібно рятувати дітей.

Дане дослідження безпрецедентне за своїми масштабами, але при цьому у нього є цілком очевидні недоліки. Вивчені вибірки не обов’язково є репрезентативними. Наприклад, зовсім не факт, що відповіді декількох сотень жителів якої-небудь африканської країни, які взяли участь в опитуванні, адекватно відображають типові для даної країни моральні уподобання. Втім, зібрати і обробити такий же обсяг даних по сотнях країн, дотримуючись всіх вимог, що пред’являються до репрезентативності вибірок, просто неможливо. Крім того, той факт, що отримані результати добре узгоджуються з даними Всесвітнього огляду цінностей і розумним чином корелюють з соціо-економічними показниками (рис. 4), свідчить на користь осмисленості і значущості цих результатів.

У роботі використовувалися грубі спрощення, що в якійсь мірі обмежує практичну застосовність отриманих висновків. Наприклад, у всіх моральних дилемах було точно відомо, хто є хто (про хлопчиків було точно відомо, що вони хлопчики, а про товстунів — що вони товстуни). Результат будь-якого рішення теж був відомий заздалегідь зі стовідсотковою точністю (одна група персонажів точно помре, інша точно виживе). У реальному житті безпілотним машинам, звичайно ж, доведеться мати справу не з точним апріорним знанням, а з приблизними оцінками ймовірностей.

Все це автори прекрасно розуміють. Вони підкреслюють, що їх результати не є істиною в останній інстанції, і пропонують ставитися до них як до початку широкої міжнародної дискусії. Люди ніколи ще не дозволяли машинам автономно, без безпосереднього контролю з боку людини, за долі секунди приймати рішення про життя і смерть людей. Але людство вже стоїть на порозі таких змін. Безпілотні автомобілі скоро з’являться на дорогах. Аварії з їх участю і з людськими жертвами неминучі. Навіть якщо вони будуть відбуватися дуже рідко, все одно до розробки «морального закону» для самокерованих машин потрібно підійти з усією серйозністю. І при цьому необхідно враховувати, крім іншого, також і дані про варіабельність етичних норм у різних куточках світу.

Джерело: Edmond Awad, Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-François Bonnefon, Iyad Rahwan. The Moral Machine experiment // Nature. Published 24 October 2018. DOI: 10.1038/s41586-018-0637-6.

Олександр Марков