Подумай гарненько

У лабораторії, де вчені з МФТІ створюють інтерфейс «мозок — комп’ютер», незвично виглядає тільки апаратура для зняття ЕКГ: шапочки з електродами і сіра коробка підсилювача на столі. Вся суть роботи Анатолія Бобе і його колег — в нейромережах, тобто в звичайних комп’ютерах, тому показувати тут майже нічого. Це вченим цікаво, що принесли з собою відвідувачі. Більшість людей, що заходять сюди, на час позичають вченим власний мозок, дозволяючи спостерігати за подіями в ньому і вдосконалювати майбутню «приладову панель» нейроінтерфейсу.

Мислена кнопка

Лабораторія нейроробототехніки зараз займається пошуком мислених образів, які можна достовірно класифікувати за даними електроенцефалограми (ЕЕГ). Для цього вчені показують піддослідним добірки коротких відеороликів з YouTube, паралельно знімаючи ЕЕГ. На екрані миготять то котики, то парашутисти, то палаючі будинки, то працюючі механізми. Коли людина знімає шапку з електродами і йде, починає працювати нейромережа, яка вчиться за даними ЕЕГ визначати, на що дивилася людина.

Не всі відео спрацьовують однаково добре. В опублікованій (поки в препринті) статті описано п’ять категорій відео, з яких добре розпізнавалися тільки три. З’ясувалося, наприклад, що відео з фрактальними візерунками абсолютно марні: за енцефалограмою, знятою під час їх перегляду, не можна сказати нічого певного. А ось сюжети з людьми, які займаються екстремальним спортом, відео, де представлені механізми або особи великим планом, визначаються на ура. Кореспондент «ПМ» прийшов через кілька тижнів після публікації, і йому дісталися нові відеоролики.

Зазвичай ми заглядаємо в «історію» тільки потім, щоб з’ясувати що-небудь певне, знайти конкретне посилання. Але сам цей літопис містить куди більше цікавої і, можливо, корисної інформації.

Знайти такі сюжети — значить знайти подумки, якими можна користуватися як командами для майбутнього інтерфейсу «мозок — комп’ютер». Сучасні ігрові інтерфейси і прототипи керованих силою думки протезів розпізнають набір команд, в основному пов’язаних з рухом: «вперед», «назад», «вправо» або «вліво». Але таких команд дуже мало і вже точно недостатньо для майбутнього нейроінтерфейсу, який повинен замінити традиційні пристрої введення на кшталт клавіатури і миші. У МФТІ припустили, що в якості команд можна використовувати подумки, які замінять фізичні та віртуальні кнопки. Думка про котику — одна команда, про поїзд — інша, про сміється людину — третя: «Щоб відправити повідомлення, уявіть стрибок з парашутом». Принаймні, так це можна уявити зараз, поки колектив лабораторії нейроробототехніки тільки починає роботу.

Дуже особисте

З кореспондента «ПМ» зняли електроди і підвели до екрану, на який вивели результати ЕЕГ і їх попередню оцінку. Виявилося, що шанс визначити по електричній активності конкретного мозку хоча б три з семи типів переглянутих відео невеликий. Втім, це непоганий результат: буває і так, що комп’ютер не в змозі класифікувати жодну з категорій. Які саме параметри впливають на розпізнаваність енцефалограм різних людей, сказати складно.

Кореспондент «Популярної механіки» побував у лабораторії нейроробототехніки Московського фізико-технічного інституту

Досвід тут марний. На кожній людині система вчиться заново. Навчившись розуміти по ЕЕГ Михайла, що він дивився відео з палаючими будинками, нейромережа не зможе виконати те ж саме з енцефалограмою Ірини, і навпаки. Ймовірно, ця особливість нейроінтерфейсу збережеться і в більш просунутих версіях системи, в нейроінтерфейсах майбутнього. Навіть якщо вони стануть одного разу так само поширені, як сьогодні інтерфейси віконні, вони залишаться індивідуальними. Керувати за допомогою мислених образів можна тільки попередньо навченим на конкретній людині комп’ютером.

Учень чарівника

Нашого кореспондента запевнили, що здатність нейромережі розібратися в енцефалограмі ніяк не пов’язана з інтелектуальними здібностями людини, з якої цю енцефалограму знімали. Але дещо від піддослідного все-таки залежить. Адже мета всього підприємства — зчитувати подумки, які ми просто уявляємо. Тому дуже важливо не тільки навчити комп’ютер, а й навчити людину правильно уявляти картинку, яка працює як натискання кнопки. Так багато фантастів уявляють собі магію — як особливе ментальне зусилля чарівника. Щоб начаклувати жабу, потрібно уявити собі жабу.

Основа всякого навчання — закріплення хорошого результату. А як зрозуміти, чи хороший результат, якщо ви з усіх сил уявляєте умовну жабу? Для того щоб люди знали, наскільки їх ментальні зусилля зрозумілі комп’ютеру, Анатолій і його колеги виконали дуже складну роботу: вони навчилися реконструювати зображення за даними ЕЕГ.

Відразу зазначимо: ця реконструкція робиться не для того, щоб витягти з голови думку. Тому фантазії про те, щоб за допомогою подібної техніки прочитати думки або сни (що було б, звичайно, здорово), доведеться забути. Реконструйоване зображення тільки відображає те, наскільки вдало нейромережа змогла віднести уявне до однієї з заздалегідь відомих категорій.

Реконструйована картинка виводиться на екран, і людина отримує уявлення про те, наскільки нейромережа розібралася в тому, що відбувається у нього в голові. Реконструкція — продукт серії складних обчислень. Спочатку відео стискають до дуже маленького набору даних. Стискають з великими втратами, тому при відновленні виходить не дуже схожа картинка — точніше, безліч трохи різних картинок, кожна з яких в цілому схожа на оригінал. А потім починається найцікавіше: дані ЕЕГ призводять до такого ж виду, що і стисле відео. Анатолій Бобе пояснює: «Це схоже на пісочний годинник: вгорі у нас великий обсяг даних, у найвужчому місці — найменший «.

Привівши ЕЕГ до вигляду, що відповідає вузькому горлечку пісочного годинника, вчені можуть відновити його за тим же алгоритмом, за яким відновлюють відео. У результаті виходить одна з багатьох можливих для цього набору даних картинок — набагато більш розмита і схематична, ніж оригінал. Все це відбувається паралельно самому процесу класифікації ЕЕГ нейромережею, яка знає тип відео задовго до того, як з’являється реконструйована картинка.

Межа можливостей цієї технології вже майже досягнута, і проривів не передбачається. Удосконалювати можна тільки методи аналізу даних, чим і займаються в МФТІ.

Щоб все це стало можливим, вченим довелося вирішити багато проміжних завдань — зокрема, навчити нейромережу правильно читати ЕЕГ, не звертаючи уваги на перешкоди. А перешкод в ЕЕГ багато, вони з’являються при будь-якому скороченні лицьових м’язів — наприклад, при морганії. Енцефалограма змінюється і коли людина відволікається. Мало хто здатний п’ятнадцять хвилин думати тільки про те, що відбувається на екрані, і Бобе і його колеги дуже пишаються тим, що їх система розуміє, коли людина задумалася про своє і перестала звертати увагу на картинку. Крім того, вченим вдалося довести, що їх система не спирається на електричні сигнали, обумовлені скороченням очних м’язів.

ЕЕГ дає багато перешкод, тому фільтрація шумів — важливий етап розпізнавання

Витрати методики

Поки складно уявити, наскільки зручними зможуть стати системи, подібні до тієї, що розробляють в МФТІ. Те, що відбувається в лабораторії, доводить саму можливість віддавати комп’ютеру подумки за допомогою образів — але поки це виглядає занадто складно. Необхідно сидіти, не ворушуючись, і старанно зосереджуватися. Процес обробки даних нейромережею займає помітний час. Потрібно обладнання для ЕЕГ і спеціальний провідний гель, схожий на той, що використовується для УЗД. Після закінчення процедури гель висихає на голові противними білими пластівцями.

Альтернатив ЕЕГ для нейроінтерфейсів небагато. Томографія дає більше даних, але вона набагато дорожче, а обладнання для неї більш громіздке. Транскраніальні імпланти (як у Neuralink Ілона Маска) дають приголомшливу точність, але мало хто згоден згорлити череп заради того, щоб ділитися думками з комп’ютером. Тому дослідники пов’язують розвиток інтерфейсів «мозок — комп’ютер» все-таки з електроенцефалографією. Межа можливостей цієї технології вже майже досягнута, і проривів не передбачається. Удосконалювати можна тільки методи аналізу даних, чим і займаються в МФТІ. Тому, хоча Анатолій і його колеги дійсно навчилися в деякому сенсі «читати думки», вони однозначно стверджують: ніхто не може читати думки проти бажання мислячого суб’єкта, а ще неможливо читати всі думки поспіль або на відстані. Найближчим часом — а може бути, і завжди — такі технології зможуть тільки реагувати на натискання мислених «кнопок».