Нейронні мережі розумніші за людину?

Діджитал Перегляди: 38

Комп’ютери виходять на смугу обгону: самонавчальні нейронні мережі виводять штучний інтелект на все вищий рівень. Як довго зможе людина конкурувати з ними?

  • Нейронні мережі навчаються як діти
  • Кремнієвій долині від Баварії
  • Го: наступний великий успіх штучного інтелекту
  • AlphaGo грає сама з собою
  • Менше ресурсів, більше знань
  • Стиснення даних означає прогрес
  • Ідеальна формула інтелекту


Серія статей CHIP:як штучний інтелект (ШІ) кидає виклик   Людство

стоїть на порозі великих змін. Технологічні концерни, військові та дослідницькі лабораторії працюють над створенням цифрового надінтеллекту, який з космічною швидкістю змінить все на світі: суспільство, життя і навіть смерть людини. Що нас чекає попереду: ідилія чи останні дні людства? Поки що ми не вирішили, яким шляхом будемо йти. У новій серії статей наш журнал розповість про те, до чого може призвести така революція штучного інтелекту, про його неймовірні можливості і підводні камені.

  • Частина 1. Створення надразуму: що чекає людство, коли з’явиться штучний інтелект?

    • Частина 2. Формула вічного життя буде відкрита через 30 років

    • Частина 3. Нейронні мережі розумніші за людину

    ? • Частина 4. Ласкаво просимо в машину: чи небезпечний штучний інтелект і як його зупинити?

У 1981 році мюнхенський новобранець Юрген Шмідхубер ділив приміщення в армійській казармі з якимось Руді Феллером. В якості бомбардира спортивного клубу «Мюнхен 1860» футболіст став кумиром мюнхенських уболівальників, і йому належав перехід в бременський «Вердер».

Навколо молодого гравця національної збірної товпилося багато солдатів, і тільки Шмідхубер спочатку не мав поняття, хто спить на нижньому ярусі його ліжка. Тим не менш, між ним і Феллером панувало взаєморозуміння: «Він був дуже приємною людиною. У мене не було машини, і він іноді підвозив мене на своєму Renault Alpine «.

Хоча Шмідхубер активно займався спортом, набагато більше його цікавила наукова фантастика. З самих юних років він був захоплений питаннями штучного інтелекту. Шмідхубер послідовно вивчав інформатику і математику в Мюнхенському технічному університеті і в 30 років був призначений на посаду доцента.

У 1995 році він став одним з директорів Швейцарського інституту з дослідження штучного інтелекту IDSIA (Лугано), де він разом зі своїми студентами вчить машини мислити. 53-річний вчений відрізняється скромністю. На лекціях він охоче розповідає про те, як вже в 15 років хотів створити робота, який був би розумнішим за нього самого. «Мої колеги кажуть, що це має бути досить просто».

Але все виявляється не таким простим. З одного боку, тому що Шмідхубер — науковий геній з позамежною творчою активністю. З іншого боку, тому що створення мислячих машин затягується, незважаючи на прагнення допитливого розуму. Тим не менш, досягнуті чималі успіхи, і істотний внесок в це внесений лабораторією, що знаходиться в кантоні Тічіно.

Розроблювані там рекуррентні нейронні мережі (зі зворотним зв’язком) завойовують все більше сфер людського інтелекту, наприклад, розпізнавання мови і почерку або аналіз зображень і відео із застосуванням в медицині, смартфонах, саморухливих автомобілях і багатьох інших областях.

Нейронні мережі навчаються як діти

Для Шмідхубера це тільки початок: «Для освоєння мов достатньо контрольованого навчання. Нашій рекуррентній нейронній мережі надаються навчальні приклади — наприклад, переклади з Європарламенту, і показуються необхідні результати. Потім рекуррентна нейронна мережа з’ясовує, як це відбувається.

Ще десять років тому це відносилося до сфери наукової фантастики. Але всього цього, як і раніше, недостатньо для створення універсального засобу вирішення завдань, яке подібне дитині або навіть нашим роботам без участі вчителя, методом проб і помилок, саме знайде послідовність дій, яка веде до успіху «.

IDSIA зробив великий внесок у цей універсальний спосіб навчання. Повзаюча дитина, яка натрапила на ніжку столу, швидко зрозуміє, що в майбутньому їй потрібно уникати болючих зіткнень. «Найбільш загальна мета дитини полягає в тому, щоб все життя тримати в зеленій зоні сенсори болю і голоду». У робота, за словами Шмідхубера, біль можна висловити негативними числовими значеннями, а винагороди — позитивними.

  
  

Людина вчиться десятиліттями і розвивається до рівня складної істоти з безліччю здібностей. А як навчаються машини? «Наші системи мають подібну структуру, — каже Шмідхубер. Ми не намагаємося детально відтворити мозок, а розмірковуємо над тим, що потрібно для оптимального універсального засобу вирішення завдань. І за аналогією з синапсами в головному мозку наша змодельована нейронна мережа посилює міцність зв’язків таким чином, щоб отримати осмислені результати «.

Добре функціонуючі глибокі нейронні мережі існують вже давно, але тільки зараз вони переживають свій розквіт. Шмідхубер каже наступне: «Це в першу чергу пояснюється підвищенням обчислювальної потужності. При одній і тій же вартості вона кожні десять років удосконалюється з коефіцієнтом 100 «.

Кремнієвій долині від Баварії

Для того, щоб мережі могли згадувати минулі вводи даних, їм потрібен якийсь вид короткострокової пам’яті у формі зворотних зв’язків. Але спочатку це працювало на досить середньому рівні: спогад рекуррентної нейронної мережі просто не утримувався досить довго. У 1991 році кращий зі студентів Шмідхубера Сепп Хохрайтер проаналізував дану проблему в Мюнхенському технічному університеті.

У 1995 році обидва баварці опублікували рішення під назвою Long Short-Term Memory (LSTM). Ця «довга короткострокова пам’ять» на відміну від старої рекуррентної нейронної мережі згадує не тільки кілька, але і тисячі, мільйони і більше кроків. До кінця нульових років дослідники штучного інтелекту IDSIA вдосконалили LSTM. Сьогодні Alphabet, Baidu та інші IT-концерни роблять ставку на LSTM, створену в Баварії та Швейцарії.

Не тільки ідеї, а й колишні студенти IDSIA мають вагу в Кремнієвій долині. Співзасновник і перший співробітник DeepMind, а також інші її службовці — це вихідці з «кузні кадрів» Шмідхубера.

Фірма вважається висококласною компанією, що займається питаннями штучного інтелекту. Її передові бійці — це зірки інді-року в світі цифрових технологій. З моменту приєднання до Alphabet два роки тому колишній стартап іменується Google DeepMind.

Один із засновників компанії Деміс Хассабіс талановито грає в шахи. У 13 років він займав друге місце у світовому рейтингу Ело у своїй віковій категорії.

Але як керівник фірми, що займається штучним інтелектом, тепер вже 39-річний фахівець з нейробіології веде головну партію в настільних іграх не в шахах, а в го. Класична азіатська гра досить проста.

Є чотири основних правила і кілька варіацій окремих деталей — власне, більше знати і не треба. У теорії гри го відноситься до кінцевих ігор з нульовою сумою з повною інформацією. Це означає, що випадковість не може загубити стратегію гравця, кращий виграє методично, і успіх одного стає провалом для іншого.

Однак здається простою гра в го є і найскладнішою в світі. Природно, що 19 на 19 ліній на ігровому полі відкривають великі можливості, ніж, наприклад, шахова дошка з полем 8 на 8. На партію пропонується в середньому по 200 варіантів ходів. Фігура може стати вирішальною після сотні ходів.

Го: наступний великий успіх штучного інтелекту

Як і в грі в шахи жодна людина не може розрахувати вперед всі комбінації ходів, те ж стосується і машин: кількість відповідних правил позицій становить більш ніж 2 на 10 170 мірою. І це чимало. Кількість атомів у всьому Всесвіті оцінюється як 10 у 80 ступені.

Можна було б замінити кожен окремий атом у всьому Всесвіті нового всесвіту з кількістю атомів, що становить 10 80 мірою, і все одно їх число не досягло б кількості дозволених позицій в го. До речі, число відповідних правилам комбінацій ходів становить близько 10 в 360 ступені.

«AlphaGo веде гру, як дуже сильна людина»

Фань Хуей, професійний гравець в го, після своєї поразки в грі проти штучного інтелекту AlphaGo.

Хороший стратег в го не може покладатися тільки на комбінаційні та математичні здібності. Йому потрібна інтуїція, досвід, проникливість, креативність, а також холоднокровність при роботі над помилками. У цьому відношенні го являє собою бастіон людського інтелекту, що вимагає більшого, ніж просто застосування всіх або дуже багатьох теоретичних можливостей.

Тобто, щоб по-справжньому опанувати грою, штучний інтелект повинен йти іншим шляхом. І компанія DeepMind його знайшла. Зі своєю програмою AlphaGo дочірня компанія Google, що займається штучним інтелектом, п’ять разів обіграла триразового чемпіона Європи з гри в го Фаня Хуея в п’яти іграх. Була ще друга неофіційна серія з коротшим часом на роздуми; в цій серії з п’яти ігор перемогла AlphaGo з рахунком 3:2.

У деякому відношенні цей тріумф має більше значення, ніж перемога суперкомп’ютера Deep Blue над чемпіоном світу з шахів Гаррі Каспаровим двадцять років тому, що пояснювалося, насамперед, чистою обчислювальною потужністю і обширними ігровими бібліотеками. Краще порівняти AlphaGo з TDgammon — нейронною мережею, яка ще в 1994 році без вчителя навчилася грати в нарди на рівні світового чемпіона серед людей.

AlphaGo грає сама з собою

В AlphaGo DeepMind комбінує дві нейронні мережі з так званим методом Монте-Карло. При цьому, виходячи з відповідної позиції на дошці, моделюються можливі наступні ходи на основі випадкових ходів, і вибирається найбільш багатообіцяючий хід.

Цей вид пошуку по дереву не новий, традиційні програми для гри в го таким чином досягли рівня амбітних любителів. Але щоб конкурувати з профі, потрібно обмеження розгалуження пошуку по дереву за допомогою оптимізації. І тут в гру вступають нейронні мережі. Перша «стратегічна мережа» (Policy Network) концентрує пошук на ходах, які дійсно представляються успішними. Потім «оціночна мережа» (Value Network) оцінює актуальне положення в кожній фазі моделювання, щоб обмежити глибину пошуку.

Нейронні мережі вимагають тренування за допомогою даних. Розробники забезпечили «стратегічну мережу» всього 30 мільйонами ходів з банку даних по реальних професійних іграх. І вже з цим багажем AlphaGo в передбаченні наступного ходу суперника досягла відмінного коефіцієнта попадань в 57 відсотків «

.Однако наша мета полягає не в імітації кращих гравців, а в перемозі над ними», — пояснюють творці програми в DeepMind.

Тому AlphaGo повинна була самостійно освоїти нові стратегії, зігравши, як колись TDgammon, тисячі партій з самою собою і отримуючи підтримку за допомогою винагород за перемоги. Таке стимульоване навчання (Reinforcement Learning) удосконалило «стратегічну мережу» настільки, що вона стала перемагати інші програми для гри в го, які робили ставки на величезні древа пошуку.

Потім «стратегічна мережа» через стимулююче навчання вдосконалила і «оціночну мережу», привівши її в стан, при якому вона може прогнозувати результат гри при будь-якій позиції.

Хассабіс, один із засновників DeepMind, вважає, що AlphaGo — це ще один крок до людського мислення. Наступний крок AlphaGo зробила в період з 9-го по 15-е березня, обігравши з рахунком 4:1 Лі Седоля, найкращого в світі гравця в го в недалекому минулому. Чемпіон був налаштований оптимістично і розраховував на перемогу над машиною Google. За перемогу над AlphaGo Google обіцяла 1 млн доларів, але оскільки чемпіон програв, гроші були спрямовані на благодійність.

Простота гри в го приваблює і Юргена Шмідхубера, який ще в 2010 році разом зі своїми студентами публікував статті на тему го. Видається, що його наукова робота надихається ідеєю про вічне спрощення, про постійне стиснення складної інформації в короткі та елегантні описи.

Менше ресурсів, більше знань

Професор штучного інтелекту роз’яснює це на прикладі неконтрольованого навчання, при якому нейронна мережа на відміну від контрольованого або стимульованого навчання повинна проводити процес розпізнавання без інструкцій у вигляді зразків у ввідних даних: «Подивіться відео з сотнею падаючих яблук. При цьому швидко накопичується кілька гігабайт вихідних даних. Але систематичності не буде: я можу передбачити, як вони впадуть, якщо я сенсю в гравітації «.

Діти схоплюють це швидко. Нейронні мережі навчаються подібним чином, каже Юрген Шмідхубер: «Ви бачите послідовність кадрів і намагаєтеся вгадати, що буде далі. Ви побачили десять картинок, що буде на одинадцятій?

Об’єм, в якому мережа може зробити висновок на підставі минулого, може передбачити, які значення в пікселях можна буде побачити. Тобто вона повинна ще враховувати відхилення від свого передбачення і тому може неймовірно сильно стиснути це відео «.

Неконтрольоване навчання служить, в першу чергу, для того, щоб представляти дані більш компактно. Це виходить тільки тоді, коли є послідовності, наприклад, симетрії, повторення або, як у випадку з яблуками, розпізнавана гравітація.

Таке стиснення даних може бути приєднане до контрольованого або стимульованого навчання, оскільки обидва види можуть використовувати неконтрольовану предикативну модель світу для найкращого вирішення проблем.

Для Шмідхубера вся історія науки — це, перш за все, історія стиснення даних. «Відкриття нових правил в області даних завжди означає наступне: потім ти зможеш стиснути краще, ніж до цього «. Кеплер спостерігав рух планет і вивів таким чином закон еліпсів, який описав спостереження коротко і елегантно. Ньютон 1686 року заявив про те, що сила тяжкості визначає не тільки випадок з яблуками, а й орбіту планет — і це ще більше збільшило стисканість даних.

Приблизно через 200 років Ейнштейну вдалося ще краще стиснути дані за допомогою своєї загальної теорії відносності, яка компактно моделює і помилки, що залишилися в прогнозах Ньютона. Шмідхубер каже: «Кожен раз, коли мої спостереження відхиляються від прогнозів, це коштує мені місця в пам’яті.

Моє уявлення про світ, отримане в результаті неконтрольованого навчання, було б найкрасивішим і елегантним, якби воно відповідало ще невідомій формулі світу — найкоротшому алгоритму, який розраховує і тим самим пояснює весь Всесвіт «.

Стиснення даних означає прогрес

Якщо рекуррентна нейронна мережа розпізнає зразок, виникає розуміння, глибину якого можна виміряти: «Я можу порівняти, скільки ресурсів було потрібно до і після розуміння. Якщо мережі замість п’яти мільйонів синапсів потрібно тільки 4,95 мільйонів, то це вимірюваний прогрес «.

Цей прогрес знаходить відображення у формальній теорії задоволення і цікавості Шмідхубера як такий, що максимізує квантифікований сигнал задоволення, а також внутрішня мотивація людини або машини до подальших досліджень.

«У підсумку формула інтелекту виявиться зовсім простою»

Юрген Шмідхубер, професор, фахівець зі штучного інтелекту

Завдяки постійному прискоренню апаратного забезпечення в навчальних мережах незабаром «спалахнуть» мільярди синапсів. Результати стають все більш вражаючими, однак алгоритми для синапсів залишаються відносно простими. «Як і у людей, алгоритм навчання досить короткий, оскільки мережева архітектура ДНК включає в себе не так вже й багато: близько чотирьох мільярдів біт, однак більшість зовсім не задіюється для процесу мислення. Неокортекс як оплот інтелекту в будь-якому випадку потребує декількох мільйонів біт «.

Код, який машина створює для надлюдського універсального засобу вирішення завдань, за оцінкою Шмідхубера, набагато коротший, ніж думає більшість.

Ідеальна формула інтелекту

У підсумку формула інтелекту виявиться настільки простою, що її зрозуміє будь-яка людина середніх здібностей, і повага перед інтелектом буде втрачена. «Якщо комусь першому, нам або комусь ще, вдасться стиснути основоположні принципи інтелекту, озираючись назад, ми запитаємо себе, чому знадобилося так багато часу, щоб це зрозуміти». Потім не тільки фахівці експериментуватимуть з більш-менш цільовими функціями для своїх роботів: «Ґрунтовно зміниться весь світ».

Така розробка могла б призвести до створення самонавчальних машин, що дозволяють дуже швидко вдосконалювати їх архітектуру та оточення і перевершити людський інтелект. Математик Станіслав Улам у 1958 році першим запровадив поняття технологічної сингулярності: прогрес, прискорений в геометричній прогресії зійдеться в кінцевому часі — очевидно, в недалекому майбутньому.

Письменник Вернор Віндж у вісімдесяті роки доніс це поняття до широкої публіки. А вже в першій половині ХХ століття теолог П’єр Тейяр де Шарден говорив про «точку Омега». Вчений-єзуїт бачив у максимальній складності божественне завершення космічної історії. Сюди підходить їдке зауваження Рея Курцвейла. На питання про те, чи існує Бог, пророк сингулярності відповів лаконічно: «поки немає».

Юрген Шмідхубер намагається не надто

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *