Иванов-Петров Александр (ivanov_petrov) wrote,
Иванов-Петров Александр
ivanov_petrov

Видеть языком. Перенос информации на другой анализатор

http://nature-wonder.livejournal.com/189322.html
Цитата
///"...существование прибора, с помощью которого слепые могут видеть языком. Прибор получил название BrainPort. В основе этой технологии лежат идеи Пола Бах-у-Рита (Paul Bach-y-Rita), американского нейрофизиолога, всю жизнь изучавшего феномен пластичности мозга.

...А прибор в том состоянии, что сейчас существует, один из простых. У нас было семь поколений придумано после этого. Но так получилось, что мы сейчас не можем этим заниматься, это уже акулы капитализма сработали. Сейчас военные упорно исследуют это в Англии и Америке для того, чтобы помочь солдатам, которые возвращаются из Ирака и Афганистана. Как раз для слепых. Есть еще более сложные случаи, когда они слепые и еще глухие – для них это просто единственный источник информации. Это еще более сложная вещь. Я могу долго рассказывать про то, что такие люди способны делать с помощью прибора, то, что вы в роликах не увидите. Потому что объяснений этому даже научных нет. Они каким-то образом чувствуют объем. Например, есть такая штука, когда слепой бросает мяч в корзину. Ведь он же чувствует расстояние. У нас для этого два глаза. У него один язык – как он чувствует расстояние?

Тот самый скалолаз, тестируя самый первый прибор, еще Пол был жив, пошел по коридору и почувствовал дверь. Вот так подходит, проводит рукой в дверной проем и говорит: I feel depth in this little tiny nothing. Это его слова – я чувствую глубину в этом маленьком ничто. Вот как он чувствует глубину? Я не знаю. Никто не знает. Но они чувствуют и пользуются. Что это такое? Это вообще вопрос, как человек ощущает трехмерный мир в данной ситуации. То есть там загадки на загадке. Я могу привести с десяток таких ситуаций, где я пас объяснить, как такое возможно. Либо у мозга ресурсов намного больше, чем мы ожидаем, и возможности для анализа информации намного более мощные, чем мы думаем. Либо это что-то неизвестное вообще, в принципе.

...Вот ему пришло в голову так. Он взял простые вещи. Он посмотрел, что спайки всюду одинаковы. Язык мозга универсален. Все сенсорные системы разговаривают с мозгом на одном и том же языке. Проблема, как записать информацию. Через тот же зрительный прибор, если чуть-чуть открыть рамки, например, нормальному человеку можно подключить инфракрасную камеру, или ультразвук, или датчики радиации. То есть BrainPort становится универсальным прибором. Там не просто шестое чувство, можно до 36-го чувства дойти. Например, в компьютерных играх подключить long-range radar, чтобы чувствовать, что у тебя за спиной. У нас есть прибор, когда мы учили подводников плавать с закрытыми глазами, потому что это практически невозможно. А задача такая существует. Аквалангист в воде, в которой он ничего не видит, не может плавать. Мы поставили магнитный компас и глубокомер. Человек языком чувствует направление по компасу, корректирует свое движение. И глубину, и направление влево-вправо.

...Каждый раз, когда мы говорим про зрение, всех интересует, какая матрица. Исходно у нас была матрица 12х12, сейчас она 20х20. То есть сейчас 400 электродов на этой площадке. Народ спрашивает, как же быть с остротой зрения. У человеческого зрения 250 млн. рецепторов, как вы их заменяете четырьмястами электродами? Какое же там разрешение, какая же там острота зрения может быть. Вы что, смеетесь? Тут есть несколько вариантов ответа. Первый ответ чисто физиологический. На самом деле у нас зона максимально острого зрения размером чуть больше пятирублевой монеты. Все остальное – это низкочастотное зрение. Но мы на это не обращаем внимания. У нас подавляющая часть поля зрения – очень грубые, большие рецептивные поля. Другое дело, что мы все время двигаем глазами, и область максимального зрения таким образом расширяется.

...Я хочу сказать, что большинство информации в поле зрения – низкочастотная. То есть высокое разрешение для всего поля зрения не нужно. Это как бы первый комментарий, насколько вообще нужна острота зрения, для того чтобы читать, узнавать лица, что еще… ну наслаждаться природой, может быть. Хотя наслаждаемся мы в основном низкочастотными каналами. Иными словами, ситуации, где нужно действительно высокое разрешение, высокая частота, они достаточно ограничены.
Второй момент, естественный предел. По моим подсчетам, для того чтобы совпасть по разрешению с матрицей языка, на той же площади должно быть 50 на 50. Это мой расчет, собственный, тактильного разрешения языка.

...Что будет, если сделаешь больше, другой вопрос. Технически сейчас в мире нет ни одной компании, доступной, не военной, которая могла бы сделать матрицу лучше, чем 20 на 20. Делали матрицу 25х25, то есть 625 элементов, но при этом уже 20 % электродов были нерабочие. Потому что требуется очень тонкий монтаж. То есть физически сделать стопроцентно работающую матрицу лучше чем 20 на 20 не может никто. Плюс дальше идут ограничения компьютерные. Сейчас там стоит микрочип, микропроцессор, который оперирует матрицей 400 электродов. А если сделать 50х50, то получится 2,5 тысячи электродов! Мощность процессора, который оперирует такой матрицей, должна быть существенно выше.

Физиологический предел, оптимальный по моим расчетам, 50х50, технически пока недостижим. Но даже если такую матрицу сделают, это не будет означать, что предел возможностей достигнут. К примеру, в зрении человека есть такой феномен как сверхострота, hyper acuity. Расстояние между фоторецепторами у человека 30 угловых секунд. Когда мы у оптометриста проверяем зрение, вторая строчка снизу как раз рассчитана на матрицу рецепторов с шагом 30 угловых секунд. Точность, с которой человек, скажем, устанавливает нониус на штангенциркуле, 4 секунды. То есть мы решаем задачу при низкой матрице рецепторов с гораздо более высокой точностью. Это называется верньерная острота зрения. А если взять специальным образом поставленные психофизические задачи, то человек показывает, что он способен определять смещение объекта с точностью до восьми сотых секунды! То есть понятие остроты зрения является не очень жестким, скажем так. Есть целая группа феноменов, когда мы даже с нашим зрением решаем задачи намного более сложные, чем предел Найквиста, так называемый физический предел. Соответственно это значит, что даже при низкой решетке мы можем решать задачи с более высоким разрешением.

В качестве примера приведу ситуацию, которую я не могу объяснить. Первый мой слепой, с которым мы начали работать с новой моделью BrainPort-а, однажды пришел неожиданно попрактиковаться с прибором. У меня ничего не было из предметов для занятий, и я начал с ним работать, используя теннисный мячик. То есть на черном столе я кладу мячик, он должен его найти. Чтобы определиться с полем зрения, ему нужно понять, как выглядит рука, чтобы не путать с объектом. Самые вводные информационные процедуры. На следующий день я купил уже кучу других мячиков, больших, маленьких, с дырками и без дырок. И мы занимались где-то недели две-три. Потом прекратили, а через месяц приехали телевизионщики из Германии, захотели снять эпизод про наших слепых. И я позвал этого пациента. Приходит он, садится. Телевизионщики камеру готовят, а я рядом с ним высыпаю коробку всяких разных мячиков. Теннисный мячик к нему выкатывается и останавливается. Пациент, абсолютно не задумываясь, замечает: ой, вот мой теннисный мячик. Вот как он смог через месяц, работая с большим количеством мячиков того же размера – они все были приблизительно одинаковыми – определить с одного взгляда (если это взглядом можно назвать, он от рождения слепой), что это его теннисный мяч?

...Я не знаю, как. Вот в этом у меня вопрос. Потому что с точки зрения матрицы или как ты говоришь разрешения, весь мячик – это три или четыре электрода возбужденных. Это некое пятно, причем с довольно размытыми границами. Я, глядя на картинку, не могу сказать, что это мячик. Потому что у меня на компьютере видно, что у него на языке и что видеокамера передает, я это контролирую. Если я не вижу разницы, как он увидел разницу, как он ее почувствовал? И вопрос здесь даже не в остроте зрения, а в каких-то других более изощренных механизмах. Масса вещей, которые даже не исследованы. Даже с той информацией, что сейчас прибор передает, например, человек может определить, улыбаюсь я или нет. Это с матрицей 12 на 12! Кроме того, у них есть функция, которой нет у нас. В BrainPort есть зум. Это для них игрушка, с которой они все время балуются.

Там еще целая проблема понять, что он тебе говорит. Когда слепой от рождения говорит «я вижу», он что на самом деле чувствует? Он использует глагол «вижу», а на самом деле что он чувствует, как передать его ощущения? И когда ты начинаешь спрашивать, а как ты это все делаешь, он начинает использовать слова, но понять, что он под этим подразумевает, очень сложно. Это вообще отдельная проблема, пытаться понять, что они тебе говорят. Они все используют слово «вижу», никто не говорит, что чувствует. От рождения слепой взял BrainPort, через пять минут говорит: я вижу. Как, если он не знает, что такое видеть.

...Давай сразу определимся. Это не зрение. На самом деле все гораздо более запутанно. Есть одна статья http://brain.oxfordjournals.org/content/128/3/606.full, опубликованная в журнале Brain 2005 года, автор Maurice Ptito. Он сделал PET scan на нормальных людях и слепых. До стимуляции и после. И показал, что в первый раз стимуляция языка возбуждает моторную кору. Там где это должно быть, вокруг центральной извилины, где находится проекция языка. Задача у испытуемых была в том, чтобы научиться различать ориентацию букв на языке. Через неделю тренировки он повторил скан, и выяснилось, что у нормальных людей проекция языка осталась там же. А у слепых включился зрительный отдел.

- То есть в процессе использования прибора возбуждается зрительная кора?

Да, поэтому есть соблазн сказать, что это зрение. Потому что с одной стороны поведение выглядит как решение зрительных задач, другого лучшего слова не подберешь. С другой стороны активируется зрительная кора. Единственное, что информация прошла не через глаз, а через язык. Поэтому нам надо переосмыслить определение зрения. Хотя – возвращаемся к семантике – что значит у слепого видеть? Он не знает, что это такое от рождения. У него появляются некие ощущения, назовем их так осторожно, с помощью которых он может ориентироваться в пространстве, находить объекты, узнавать эти объекты, может быть, определять расстояние и выполнять определенные зрительные функции, например, найти чашку на столе, найти чайник, налить. Является ли это в полноценном смысле зрением – наверняка нет. Но это некая функция, которая замещает зрение, позволяет выполнять задачи, которые нормальный человек выполняет зрением. Но является ли это само зрением – вопрос философский. Все упирается в определение.

- А проверяли, можно ли вызвать у использующих BrainPort зрительные иллюзии?

Этот вопрос мы долго обсуждали. Есть иллюзии. Так называемый фи-феномен, но нужно долго про него рассказывать. Аналоги зрительных иллюзий в электротактильных ощущениях есть. Вопрос в том, чтобы создать эти иллюзии, нужно подбирать определенные параметры. То есть можно создать иллюзию, она будет, и во многих смыслах.. По моему собственному убеждению эта система превращается если не в непосредственно зрение, то во что-то, может быть, совершенно новое. Передать мои интуитивные ощущения очень сложно… Приведу пример. Для того, чтобы научить людей различать объекты мы повесили липучий экран на стену и стали на черном фоне приклеивать белые объекты.

...Ну да, круги, квадраты, треугольники. Для начала человеку нужно какой-то опыт приобрести. Потому что была такая ситуация – я взял и прилепил бублик. А в словаре пациента не оказалось такого объекта. То есть в этих ощущениях он не мог сказать. Треугольник он приблизительно понял, квадрат понял, а бублик нет, до тех пор, пока рукой не пощупал. Мы обязательно ввели правило, что сначала слепой должен попробовать весь алфавит объектов, которые есть, а потом только он будет их опознавать. И пока он не потрогает, у него не щелкает, что он ощущает и с чем это связано. Это отдельная стадия обучения, сама по себе очень интересная, как человек учится совершенно новые формы узнавать.

Одним словом, затем мы приклеили палку. С моей точки зрения я сделал ее максимально горизонтальной. Дальше я смотрю в видеокамеру и снимаю то, что пациент говорит. А он говорит – она наклонена влево. Я смотрю через видеокамеру, для меня горизонтально. Он говорит: нет, наклонена влево. Мы действительно потом выяснили, что просто я с того угла, с которого смотрел, не видел наклон. Когда я встал на его место, я заметил, что она чуть-чуть наклонена влево. Но наклон там был градуса три, наверное. Он это уловил при условии, что у него на голове была вэб-камера, и она еще криво сидела. Как он, несмотря на эти искажения, неточности, деформации и т.д., каким образом он ухитрился правильно оценить отклонение этой линии от горизонтали, я не понимаю.

Да 12х12, мы еще с первым прибором работали. Я почему и говорю, что аналитическая часть этого процесса даже на один процент не изучена. Они показывают такие феномены, которые в зрении без высокого разрешения не решаются. А они их решают. То ли они воспринимают это каким-то другим способом, то ли используют другой алгоритм анализа информации. Но задачу они решают. Поэтому я говорю, что может, это не зрение как таковое, может это что-то другое, что замещает зрение. То, чему у нас нет ни определений, ни описаний, ни понимания механизмов обработки информации. Ведь человек чем страдает – тем, что он всегда навязывает антропоморфический подход. Когда мы говорим про животных, мы почему-то считаем, что они как человек, и разговариваем с ними как с людьми. Например, с собаками, с кошками. Хотя мы же понимаем, что они не люди. Мы не знаем, что у них в голове крутится, но почему-то нам привычней считать, что они почти как маленькие люди, только более простые. Хотя никто это не доказал и никто этого не знает, что там происходит. Но мы привыкли это решать таким образом. Поэтому когда человек пришел к выводу, что, замещая зрение, он восстанавливает зрение, на самом деле это может быть и не совсем так. Может быть это что-то другое. ...

- А как объяснить, почему мозг начинает интерпретировать тактильный сигнал как визуальную информацию?

Можно задать такой же вопрос слепым, которые ходят с палочкой. Ведь они палочку в руке чувствуют только первые дни. Потом они перестают чувствовать палочку в ладони, они строят картинку в голове, опираясь на точку на конце палочки. Мозг анализирует информацию, а дальше интерпретирует для решения какой-то задачи. То есть то, что у нормального человека решается с помощью зрительной системы, у людей с BrainPort решается мозгом. Задача стоит такая же, что и перед человеком видящим. Найти чашку на столе. Для этого нужно понять ощущение тела в пространстве, понять, где находится рука, где находится объект. Тут же задействуются и слух, и проприорецепция, и вестибулярный аппарат, вектор тяжести и прочее. То есть все участвует в построении ощущения пространства и нашего положения в нем. Зрение говорит, что объект находится в этом угловом положении, на таком-то расстоянии. Тебе нужно протянуть руку именно на это расстояние и здесь его взять, это пространственная геометрия. В ситуации с BrainPort слепой человек удивительным образом, очень быстро определяет, что вот это ощущение дает ему положение объектов в пространстве и свое положение относительно объектов. ...

- Но каким образом мозг вообще решает связать стимуляцию языка с ориентировкой в пространстве? Он же может просто воспринять ее как тактильное раздражение и на этом успокоиться.

Так задача стоит. Если это ощущение несет в себе информацию о внешнем мире, мозг пытается ее использовать. Вот перед тобой стол, я на нем положу кусок белой бумаги, закрою тебе глаза и скажу: найди с помощью прибора кусок белой бумаги. Ты начнешь сканировать пространство, ты поймешь, что он где-то в таком положении камеры, где-то вот там. Без подготовки ты сразу не определишь расстояние. Но определить, где он в пространстве находится, ты сможешь совершенно четко. Если пространство ограничено поверхностью стола, который ты уже пощупал, и дальше в этом пространстве появился объект, то ты найдешь его очень легко. Но у тебя будет стоять задача найти объект. То есть должна присутствовать мотивация.

Когда слепой в крестики-нолики играет, это на самом деле я придумал. Очень этим горжусь, потому что никто не подозревал, что слепой с черным фломастером может работать. Они все время путают руку и объект, особенно в начале. Когда в поле зрения появляется рука, это для них не их рука. Нужно специальные упражнения делать, обратить на это внимание, чтобы не путать руку с объектом. И им нужно научиться тому, как выглядит тело, как лицо другого человека выглядит. Тренировка, обучение и мотивация нужны, безусловно. Потому что есть больные, которым это абсолютно все равно, они очень вяло прогрессируют. А есть энтузиасты. Научить читать трехбуквенные слова кого-то практически невозможно, по крайней мере за короткий срок, а кто-то очень быстро учится. Особенно те, кто потерял зрение, уже умея читать. Кстати, сама по себе хорошая задача – можно ли научить слепого от рождения читать.

- Ну, азбукой Брейля они читают…

Брейлем да, а я говорю про BrainPort. Потому что там немножко другое. Текст, набранный Брейлем, требует определенной ориентации пальца. Я могу перевернуть этот календарь, и с любого расстояния, под любым углом, и даже с любым шрифтом, совершенно четко скажу, что это цифры 1,2,3,8. Называется это инвариантность восприятия. Она у нас встроена в зрительную, слуховую и другие сенсорные системы. А с тактильной, поскольку она контактная, такое не совсем получится. Если поставить символ Брейля под углом, слепой все равно попробует поймать положение, которое для него правильное. Вот как научить слепого языком читать буквы, я не знаю ответа на самом деле.

- Оливер Сакс как-то вспоминал пациента, который признавался, что во время чтения символов Брейля видит точки. То есть какая-то связь тактильной и зрительной системы, видимо, присутствует в мозге.

Уже показано, что все сенсорные системы перекрыты. На самом деле в зрительную кору есть и тактильный вход, и слуховой вход. Они не такие быстрые, но они есть. В последних работах Пол писал об этом, это демаскировка так называемая. Когда возникает необходимость, начинают работать запасные пути. Не что-то новое появляется, а они уже есть, просто не используются. Это одна из гипотез, объясняющая, почему слепой довольно быстро начинает оперировать с этой технологией. Это не что-то необычное, это запасное вдруг начинает работать. Тогда возникает вопрос, для чего мозгу такое количество запасных путей. Это вообще отдельная история, потому что за последние дни перед рождением и первые дни после рождения мы теряем три четверти нейронов. Остаются самые эффективные, неэффективные исчезают. А вот тут выясняется, что что-то на самом деле еще остается. То ли это запасные пути, то ли это запасные системы. Об этом можно только гадать. Потому что за те дни и часы, в течение которых у слепых, например, в экспериментах Ptito, информация перешла из центральной извилины в зрительные области коры – за это время ничего нового вырасти не могло. Но кто и как переключил, правильный вопрос задан. Ответа я не знаю. Поэтому оно и требует исследований академических, чтобы понять, что происходит и как происходит.

- На ваш взгляд, есть тут какое-то отдаленное сходство с синестезией, или это по природе своей разные феномены?

По синестезии очень рекомендую послушать лекции В. Рамачандрана. Он сам по себе человек просто фантастический, энергичный. И мы были даже на одной конференции, правда, обсудить ничего не успели. Он объясняет синестезию анатомически, что есть для этого анатомический субстрат. Но в таком случае это скорее инцидент, чем правило. То, что мы имеем в виду, совершенно из другой оперы. Это некие неиспользуемые механизмы. Это, скажем так, процесс, нечто скорее функциональное, чем анатомическое.

Видео находится здесь (внизу выбрать 06/09/2010 Yuri Danilov)

Shams, L., Kim, R. (2010). Crossmodal influences on visual perception. Physics of Life Reviews -- http://shamslab.psych.ucla.edu/publications/Physics-of-Life-reviews-reprint.pdf


-------------------
Мне было более всего интересно не то, что возможен перенос на иной анализатор - мне-то почему-то казалось это тривиальным обстоятельством и скорее технической сложностью. Меня здесь интересовало то, что обычно бывает только в самом начале, потом никто этого не говорит, хотя ситуация не меняется. А именно - что автор не понимает, что и почему происходит. Он буквально делает некое явление - а что работает, почему работает, отчего именно так - он очень мало понимает. Пройдут годы, понимания останется столько же, но сотни участников процесса будут выговаривать так, что всё будет казаться ясным.
Tags: biology4, books6
Subscribe

  • Специальный язык религии

    Религии возникли тысячи лет назад. Сначала они были высказаны на обыденном языке, но прошли века - язык изменился, и религии теперь говорят на…

  • Без непротивления

    Мне хотелось бы задать вопрос. Для ответа надо иметь образ мировых религий - и, если есть желание, и других "систем ценностей", каких кому угодно. Я…

  • Скучные упражнения

    Я давеча задал вопрос про игры https://ivanov-petrov.livejournal.com/2491480.html Очень многие ответили и рассказали, как они с ними живут -…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 26 comments

  • Специальный язык религии

    Религии возникли тысячи лет назад. Сначала они были высказаны на обыденном языке, но прошли века - язык изменился, и религии теперь говорят на…

  • Без непротивления

    Мне хотелось бы задать вопрос. Для ответа надо иметь образ мировых религий - и, если есть желание, и других "систем ценностей", каких кому угодно. Я…

  • Скучные упражнения

    Я давеча задал вопрос про игры https://ivanov-petrov.livejournal.com/2491480.html Очень многие ответили и рассказали, как они с ними живут -…