Міжрегіональна Академія управління персоналом

Новий експеримент наближає час, коли паралізовані люди зможуть повноцінно спілкуватися за допомогою декодируемой уявної мови. Можливо, що розвивається метод також стане в нагоді для налагодження зв'язку з пацієнтами, які перебувають в комі або стані мінімальної свідомості. Поки, правда, технологія сира і робить перші кроки.

Брайан Пэйсли (Brian Pasley), Роберт Найт (Robert Knight) і їх колеги з Каліфорнійського університету в Берклі скористалися допомогою 15 пацієнтів, яким робили операцію на мозку у зв'язку з пухлиною або епілепсією.

Цим добровольцям вживили 256 електродів у верхню (STG) і середню (MTG) скроневі звивини, де знаходяться зони, які відповідають за сприйняття звуків, у тому числі – розуміння мови.

Вчені вирішили прояснити, як реагують клітини в цих областях, коли людина чує слова. А далі автори роботи склали програму, здатну синтезувати звуки по картині активності кори.

Загальний підхід, застосований каліфорнійської командою, був ідентичний тому, що використовувався в досвіді з читанням з мозку зорових образів.

Спочатку випробувані прослуховували по 5-10 хвилин розмов, а в цей час комп'ютер записував сигнали з електродів. Потім, після напрацювання великої бібліотеки відповідностей, дослідники створили дві пробні моделі, здатні реконструювати звуки, які чує пацієнт, з однієї лише активності нейронів.

При цьому вчені виявили в картині відгуку клітин реакцію на вузькі смуги звукових частот. Тому програма не впізнавала окремі шаблонні слова шляхом простого порівняння, але спускалася на рівень глибше – вона відновлювала спектрограмму слів. І важливо, що це могли бути слова, що раніше не використовувалися в експерименті.

Схема експерименту. Електроди на поверхні кори (червоні точки праворуч) записують сигнал від нейронів у той час, коли людина слухає мову в динаміках (зразок зліва). Зміна потенціалу в часі (внизу праворуч) накладається на модель реконструкції звуку (внизу в центрі).

У результаті комп'ютер видає відновлену спектрограмму (внизу зліва). Вона показує розподіл потужності акустичного сигналу (відображено кольором на діаграмі) в залежності від частоти (шкала по вертикалі, кГц) і часу (по горизонталі, секунди) (ілюстрація Brian N. Pasley et al./ PLoS Biology).

Для перевірки правильності реконструкції синтезована спектрограма порівнювалася з спектрограммой відтворювального через динаміки вихідного слова, а ще – переводилася в реальний звук.

Виявилося, що машина дозволяє відновлювати довільне слово з прийнятною ступенем схожості (що оцінювалася і на слух) після всього одного пред'явлення цього слова випробуваному.

(Подробиці експерименту можна знайти у статті в PLoS Biology.)

«У цієї роботи двосторонній характер. — заявив Найт. – Це фундаментальна наука, розуміння того, як працює мозок. А мета – протези для людей з порушеннями мовлення. Апарат відтворював би те, що вони не можуть вимовити, але можуть уявити, що вони хочуть сказати».

Пэйсли пояснив ідею: «Існує ряд доказів, що при прослуховуванні звуку і уяві звуку активуються аналогічні області головного мозку. Якщо ви можете зрозуміти відносини між мозковою записом і звуками, ви здатні або синтезувати звук, про який людина думає, або просто написати слова».

Брайан порівняв цю техніку зі здібностями професійного піаніста, який може просто дивитися на клавіші під пальцями іншого музиканта, що знаходиться в звуконепроникною кімнаті, і «чути» музику.

А) Шість слів для прикладу. Вгорі — вихідні спектрограми, внизу – реконструйовані. Шкали: килогерцы по вертикалі, секунди по горизонталі. B) Відгук нейронів на один із звукових зразків. C) Розподіл ваги сигналів від різних груп клітин (кольорова шкала) в моделі реконструкції звуку. Пунктирний прямокутник – область з задіяними в досвіді електродами. Масштабна лінійка – 1 см (ілюстрація Brian N. Pasley et al./ PLoS Biology).

Додамо, що дослідники не перший раз експериментують із зіставленням почутих або вимовних слів про себе з малюнком активності нейронів. Раніше вчені вже записували відбитки звуків в корі головного мозку і витягували з голови паралізованого і німого людини окремі форманти.

Розпізнавання декількох слів теж досягнуто. Але словниковий запас тієї програми невелика, та і точність роботи невисока.