Функциональная томографии и реконструкция поля зрения.

[Circiter]

Здравствуйте. У меня возник странный вопрос... Возможно ли по данным функциональной томографии зрительной коры восстановить картинку из поля зрения субъекта? Так сказать, поподглядывать. :) Вроде бы существуют (?) сравнительно достоверные вычислительные модели зрительного тракта и поэтому кажется, что подобные вопросы имеют определенный смысл... В частности, интересует возможность внешнего наблюдения сновидений. :) Вообще, сновидения вызывают соответствующую активность в каких-нибудь первичных слоях, вроде V1?

Даже не пытался искать ответы в интернете -- незнаю как сформулировать поисковый запрос. :) В-принципе, мне известно, что локализацию функций и взаимодействие различных частей мозга вовсю изучают, в том числе и в подробностях, с использованием всевозможных томографов. Но вот что-бы по результатам наблюдения (да ещё и неинвазивного, разумеется) за активностью участка мозга восстановить кусок поступающего туда сенсорного потока... Заманчивая задачка.

Я в этом не разбираюсь, просто стало интересно. Заранее спасибо откликнувшимся за любые комментарии (ссылки приветствуются, но важно чтобы они вели на открытые материалы -- у меня нет нормального доступа ко всем этим медицинским и биологическим журнальчикам :) ).

[2w_ink]

http://www.neurology.ru/ - ведущее наше учреждение по этой тематике. Регулярно проводит семинары, содежание последнего:
1. «Современные подходы к протезированию зрительных функций и особенности кортикального протезирования» Иванова М.Е.
2. «Разработка хронически имплантируемого мозг-компьютерного интерфейса на примере зрительного протеза» Серков А.Н.
3. «Взаимодействие специалистов разного профиля для создания конечного продукта зрительного протеза". Базиян Б. Х.

[Circiter]

Очень интересно, спасибо большое. Правда, не совсем-то. :) Но буду копаться.

[Vladimirkox]

Вам, именно томография нужна, или энцефалография - сгодится?
http://www.membrana.ru/particle/1146

[Circiter]

2Vladimirkox

Цитата:

Вам, именно томография нужна, или энцефалография

Любой метод functional imaging, в том числе ЭЭГ (если это возможно конечно, я вот сомневаюсь). За гиперссылку спасибо, сейчас посмотрю.

-- Пт июн 17, 2011 18:16:58 --

А, ну там предлагают интракраниальную ЭЭГ, т.е. с вживлением электродной матрицы (в данном случае для подслушивания непроизнесенных слов)... Жутковато, на уровне упомянутых 2w_ink'ом имплантов Серкова...

Согласитесь, что такая задача (с подслушиванием слов) несколько более проста. Действительно, прекрасно известно, что реальные моторные проявления сдерживаются механизмами торможения и "подслушивание" воображаемых мышечных (и, вероятно, даже речевых) усилий -- вполне достижимая задача.

Идея же изначального вопроса основана на несколько ином принципе. Она возникла при рассмотрении простой конструкции, в которой реализованная модель зрительного тракта обучается (путем подгонки параметров или как нибудь иначе, например методом обратного распространения ошибки) на основе информации (специального "видеоролика"), поданной на реальную сетчатку, и соотвествующего отклика, полученного методами томографии с живой зрительной коры.

Предполагается, что правильно обученная модель сможет по наблюдаемому отклику на неизвестный стимул реконструировать этот стимул путем обратной симуляции своей работы. Это представляется возможным хотя-бы потому, что, во-первых, работа зрительного тракта обратима (пример -- художники), а во-вторых, описанная абстрактная схема с очевидностью работоспособна при достаточно полном совпадении реальной зрительной системы и обучаемой модели.

Ну как-то так...

[Vladimirkox]

Цитата:

в которой реализованная модель зрительного тракта обучается

Имеется в виду искусственные нейронные сети?

Цитата:

на основе информации (специального "видеоролика"), поданной на реальную сетчатку,

Посмотрите #24 http://www.neuroscience.ru/showthread.p ... 0%BD/page3 А там - про ганглиозные клетки

Цитата:

Молекулярно-генетическая идентификация нейронов сетчатки

Цитата:

и соотвествующего отклика, полученного методами томографии с живой зрительной коры.

Пусть - фрагментарно, ну и - ладно http://www.membrana.ru/particle/14196 Лично я, помятуя интенсивные поиски Бехтеревой, сомневаюсь что точное соответствие - таки будет найдено.

Цитата:

Возможно ли по данным функциональной томографии зрительной коры восстановить картинку из поля зрения субъекта?

Скорее - нет, чем -да. Ну - совпадения, ну - корреляция, ну - фрагменты достаточно грубые, и - всё (вероятно - есть причина неуспехов).

Цитата:

Это представляется возможным хотя-бы потому, что, во-первых, работа зрительного тракта обратима (пример -- художники),

Если говорить о полной обратимости, то - художникам пришлось бы рисовать глазами сверкая фотонами. Вы наверное хотели сказать не об - ОБРАТИМОСТИ, а о - ВОСПРОИЗВОДИМОСТИ и АКТУАЛИЗАЦИИ мыслеобразов?

Цитата:

Предполагается, что правильно обученная модель сможет по наблюдаемому отклику на неизвестный стимул реконструировать этот стимул путем обратной симуляции своей работы.

Vlad7 занимался распознаванием изображений, но - бионическими моделями.

Цитата:

у меня нет нормального доступа ко всем этим медицинским и биологическим журнальчикам :) ).

Почему? Сорри, Вы похожи на ИИшника, рекрутированного из програмистов.

[Circiter]

2Vladimirkox

Цитата:

Имеется в виду искусственные нейронные сети?

Совсем необязательно. Я имел ввиду любую достаточно гибкую модель с параметрами, настройкой которых можно приблизить модель к протитипу, в данном случае к "передающей" части зрительной системы человека. Это может быть и биологически-правдоподобная нейросеть, и скрытая марковская модель, и динамическая система с аттракторами, etc.

Цитата:

Скорее - нет, чем -да. Ну - совпадения, ну - корреляция, ну - фрагменты достаточно грубые, и - всё (вероятно - есть причина неуспехов).
...
Вы наверное хотели сказать не об - ОБРАТИМОСТИ, а о - ВОСПРОИЗВОДИМОСТИ и АКТУАЛИЗАЦИИ мыслеобразов?

В общем-то вы правы. В пример действительно приводилась "воспроизводимость мыслеобразов", но подразумевалась вычислительная обратимость. Грубо говоря, разные нейроны реагируют на различные особенности в различных частях поля зрения, на различных масштабах, и т.д. Т.е. вот эти, скажем так, первичные отделы зрительного тракта производят что-то вроде фильтрации, или лучше сказать, спектрального анализа поступающего на сетчатку сигнала. Приближенно, это похоже на вейвлет-разложение. А оно-то обратимо; правда изучена эта система недостаточно хорошо, чтобы формулы обращения вывести. Вот я и предложил тестированием "видящего мозга" как черного ящика накопить данных и подогнать под них более-менее адекватную модель, которую потом использовать для "подглядывания". Естественно, о восстановлении терапиксельной цветной четкой картинки по сигналам с пары смоченных в физ.растворе электродов, приложенных к затылку, речи не идет. :)

За ссылки опять-же спасибо. Последняя с мембраны очень интересна, попытаюсь найти первоисточники... Возможно, это ответ на мой вопрос. :)

Цитата:

Почему? Сорри, Вы похожи на ИИшника, рекрутированного из програмистов.

Ну "ИИшником" себя не считаю, хотя очень интересуюсь и философией ИИ и практическими вопросами из этой области, всем от распознавания образов (речь, OCR и лица, в основном) до игрового ИИ. Ну а нормального доступа к мед.журналам нет, потому, что для этого нужно все-таки в соответствующих кругах вертеться, хотя-бы на "биофаке" учиться что-ли... А покупать статьи в интернете за полсотни баксов или париться с оформлением подписки на спец.журналы -- это слишком. :) Вот и выискиваю исключительно свободно скачиваемые электронные препринты. :)

[Circiter]

Удалось найти такие вот (предположительно) интересные статейки, курсивом выделены те, копии которых удалось скачать:

• B.W.Zeff, B.R.White, H.Dehghani, B.L.Schlaggar, J.P.Culver, Retinotopic mapping of adult human visual cortex with high-density diffuse optical tomography.
• Y.Kamitani, F.Tong, Decoding the visual and subjective contents of the human brain.
• P.A.Bandettini, What's new in neuroimaging methods?
• J.J.McMurtrey, Thought reading capacity.
• B.A.Wandell, S.O.Dumoulin, A.A.Brewer, Visual field maps in human cortex.
• K.N.Kay, T.Naselaris, R.J.Prenger, J.L.Gallant, Identifying natural images from human brain activity.
• T.Naselaris, R.J.Prenger, K.N.Kay, M.Oliver, J.L.Gallant, Bayesian reconstruction of natural images from human brain activity.
• Y.Miyawaki, H.Uchida, O.Yamashita, M.A.Sato, Y.Morito, H.C.Tanabe, N.Sadato, Y.Kamitani, Visual image reconstruction from human brain activity using a combination of multiscale local image decoders.

Вот сижу, почитываю. Общее положение дел в этой области вырисовывается; оказывается, сделано немало...

[Vladimirkox]

Цитата:

хотя-бы на "биофаке" учиться что-ли..

Если это - серьезно, то на Neuroscience.ru в разделе "литература" Вы можете найти следующие учебники:
"От нейрона к мозгу", "Нейрон" фундаментальное руководство по нейронаукам, "ИНФОРМАЦИОННЫЕ МЕХАНИЗМЫ НЕЙРОНА И НЕЙ-
РОННОЙ ПАМЯТИ" А.Н. Радченко Санкт-Петербургский институт информатики и автоматизации РАН
Недавно было публичное выступление Анохина "Прозрачный мозг", если полный текст найдете - поделитесь, а то все обсуждают, а я - не читал .
Кстати, посмотрите Д.Филдс "Другая часть мозга" на сайнтифике есть, там - про глиальные клетки мозга.

Цитата:

или париться с оформлением подписки на спец.журналы -- это слишком. :)

Подписку оформляют библиотеки и университетские - тоже, нужное можно заказать через межбиблиотечный абонемент, и выпросить у зарубежных коллег
http://molbiol.ru/forums/index.php?act=SF&s=&f=49

[2w_ink]

http://biomolecula.ru/content/313 - Оптическая томография: проблемы и перспективы
Также см. ссылки к этой статье.

[Circiter]

Всем огромное спасибо. Ответы участников этой темы дали мне необходимые зацепки. :)

[Vladimirkox]

Circiter!
Мне тут инфа пришла, возможно ЭТО и для Вас будет интересно.

Цитата:

Приглашаем Вас на лекцию Др. Симо Ванни
(Угиверситет Аалто, Финляндия) 23.06.2011 в 17/00
в ауд 462 Биофака МГУ, посвященную
картированию в коре зрительных образов
при помощи фМРТ. Более подробно о лекции
на странице http://www.neurobiotech.ru/ru/simo_r

Семинар можно также смотреть он-лайн по
ссылке http://neurobiology.ru/

[Circiter]

Абстракт захватывает:

Цитата:

Imaging surround modulation in human visual cortex

Cortical response to a visual stimulus can be modulated by other stimuli presented elsewhere in the visual field. Multidisciplinary research efforts have found such contextual modulation ubiquitously in sensory systems and these findings have redefined the concept of receptive field. We have explored contextual modulation between visual stimuli with brain imaging, and found that when stimuli are far from each other, interaction emerges first in the extrastriate (non-primary) cortices, followed by a spread to the whole system. In the primary visual cortex, psychophysical data correctly predicted functional magnetic resonance imaging (fMRI) area tuning response, but required a model to account for the large number of cells within one fMRI volumetric unit. Recently we quantified the spread of fMRI signal for visual stimuli, and found large spread of signal already in the primary visual cortex. Spread of fMRI signal indicates spread of population response, particularly synaptic activity. Thus, such large spread outside the primary retinotopic representation may be able to account for the modulatory "extra-classical" receptive field where stimulation can modify single neuron response, without being able to drive neurons without stimulation simultaneously in the centre of the receptive field. These and other earlier robust regularities in contextual modulation across functional areas may reflect principles of efficient coding. Visual system provides a good laboratory for studying these principles in human cerebral cortex.

Потоковое видео не смотрел. Эх, почему не в Москве живу, та же на семинар всех желающих пускали (с минимальной предварительной регистрацией)... :)