Разработка технологии

С.А.ПОЛЕВАЯ1,3, С.Б. ПАРИН3,1 , Е.В.ЕРЕМИН1, Н.А.БУЛАНОВ2, М.А. ЧЕРНОВА3

1ЦНИЛ Нижегородской медицинской академии

2НИУ Высшая школа экономики (Нижегородский филиал)

3НИУ Нижегородский государственный университет им. Н.И. Лобачевского

s453383@mail.ru

РАЗРАБОТКА ТЕХНОЛОГИИ СОБЫТИЙНО-СВЯЗАННОЙ ТЕЛЕМЕТРИИ ДЛЯ ИССЛЕДОВАНИЯ КОГНИТИВНЫХ ФУНКЦИЙ *

Представлены возможности новой технологии событийно-связанной телеметрии для исследования когнитивных функций. Выбрана оптимальная архитектура информационно-телекоммуникационной системы, обеспечивающая непрерывный мониторинг функционального состояния человека в контекстах сенсомоторной активности при управлении признаками информационных образов в виртуальной компьютерной среде. Ошибки управления рассматриваются в качестве объективного отображения первичных когнитивных функций и сенсомоторной координации. Обсуждается возможность применения комплексного психофизиологического мониторинга в процессе естественной деятельности

Ключевые слова: когнитивные функции, событийно-связанная телеметрия, информационные технологии, диагностика, реабилитация

Введение

Поиск физиологических коррелятов сознания традиционно сводится к изучению динамики электрических сигналов в структурах мозга. Однако, еще Клод Бернар отмечал, что сознание является интегративным процессом, в котором особую роль играет обмен информацией между мозгом и сердцем [1]. Проблема вегетативного обеспечения когнитивных функций или поиска вегетативных компонентов когнитивных функциональных систем актуальна до настоящего времени. В силу контекстной зависимости сознания, особые требования предъявляются к инструменту для добычи знаний: процесс измерения не должен вносить искажений в работу информационной системы, поскольку человек, обвешанный проводами – это редуцированная форма человека. В нашей работе представлена WEB-платформа для управляемой активации когнитивных модулей физиологической системы и технология событийно-связанной телеметрии, позволяющая получать данные о динамике вегетативной регуляции в контекстах естественной активности без привлечения когнитивных ресурсов к процессу измерения. Суть новшества заключается в применении к известным телеметрическим методикам активностной парадигмы системной психофизиологии [2,3]. Предлагаемое решение проблемы основано на развитии мультидисциплинарных подходов в области функциональной диагностики и новых возможностях для персонифицированного мониторинга, дистанционной диагностики и контролируемого предъявления тестирующих стимулов на базе информационных телеметрических систем.

Технология событийно-связанной телеметрии

На первом этапе осуществлена разработка принципиальной схемы и прототипа информационно-телекоммуникационной технологии, обеспечивающей непрерывный продолжительный сбор, передачу, накопление и предобработку синхронизированных по времени кардиоритмографических записей, траекторий движения глаз (Eye-tracking), данных навигатора о траектории перемещения человека в помещении и открытом пространстве, данных видео-аудио наблюдения и результатов психофизиологических тестов.

Определены критерии оптимизации устройств дистанционной регистрации физиологических параметров. Установлено, что система измерения должна удовлетворять следующим требованиям: безопасность и удобство для использования в обычной повседневной жизнедеятельности человека; мобильность, то есть отсутствие ограничений в подвижности и удалённости источника сигнала от блока приёма сигнала; непрерывность записи сигнала с источника: максимально низкое энергопотребление датчиков; автономный режим измерения сигнала с автоматической обработкой прерываний; набор интегрированных в сенсорной платформе датчиков должен обеспечивать получение информации, достаточной для объективной оценки функционального состояния человека, а также давать возможность для предсказания динамики функционального состояния; датчики измерения физиологических параметров должны быть валидизированы с сертифицированными и общепринятыми методами диагностики, то есть давать качественно истинную информацию; система записи сигнала должна быть максимально устойчивой к внешним помехам: влиянию факторов внешнего контекста, не относящихся к реальному источнику сигнала; платформа должна обеспечивать возможность получения данных в режиме on-line.

На основании этих критериев была разработана принципиальная схема и прототип информационно-телекоммуникационной технологии для событийно-связанной телеметрии физиологических сигналов и поведенческих данных. Выбраны оптимальные по размеру и энергопотреблению датчики физиологических сигналов, микропроцессоры, устройства приема-передачи радиосигналов: Bluetooth Heart Rate / Speed & Distance Monitor (HxM, Zephyr Technology) и ZephyrTM HxMTM Smart - Zephyr BIO PACH BH3-M1, - обеспечивающие возможность непрерывной записи электрокардиосигнала в условиях естественной деятельности человека. Специализированная миниатюрная сенсорная платформа - ZephyrTM HxMTM Smart - Zephyr BIO PACH BH3-M1 (HxM, Zephyr Technology), объединяет микропроцессор, блок приема-передачи радиосигналов и маломощные миниатюрные датчики ЭКГ, ускорения и расстояния. Передача данных на Smart-phone или персональный компьютер организована по каналу Bluetooth SPP -2,4 ГГц. Пакеты необработанных данных передаются с интервалом 1 с. Каждый пакет содержит уникальный идентификатор устройства, 15 последних R-R интервалов, время относительно момента начала записи. Без подзарядки устройство работает 150 часов. Предельное расстояние передачи сигнала до накопителя-ретранслятора – 10 м. Для временного накопления и предобработки данных использовано персональное мобильное устройство связи Smart Phone с операционной системой Android или персональный компьютер с операционной системой Microsoft Windows XP. Далее данные в обработанном виде через каналы GSM передаются в сеть Internet на специализированный сервер системы.

Приложение для смартфонов с ОС Андроид обеспечивает следующие возможности:

¾ Одновременная регистрация сигнала от 7 сенсорных платформ;

¾ Пользователь имеет возможность выбрать типы данных, которые он желает получать с датчика;

¾ Устройство обеспечивает непрерывный сбор и сохранение данных с датчика как минимум в течение 24 часов;

¾ При обрыве соединения, устройство повторяет попытки соединения с датчиком и продолжает сбор данных с сохранением информации о времени сбоя и времени восстановления соединения;

¾ Данные доступны для передачи их внешним программам и пользователь имеет возможность задать адрес сервера;

¾ Обеспечен интерфейс для отметок о начале и конце поименованных событий;

¾ Экран смартфона выполняет функцию монитора физиологических данных и показателей вегетативной регуляции;

¾ Поддерживается обмен данными с Интернет-приложением StressMonitor для хранения, обработки, визуализации и интерпретации данных.

Для сбора данных телеметрии и детектирования стресса создано Интернет – приложение StressMonitor. Для разработки приложения были использованы следующие технологии:

• База данных MySQL 5.5 (http://www.mysql.com/)

• Язык программирования Python 2.7 (https://www.python.org/)

• Фреймворк для разработки сайтов Django 1.8 (https://www.djangoproject.com/)

• Для получения графиков и диаграмм библиотека Flot 8.2 (http://www.flotcharts.org/)

• Фреймворк для создания дизайна сайта BootStrap 3.2 (http://getbootstrap.com/)

• Для математических расчетов использован пакет NumPy (http://www.numpy.org/)

• Библиотека Jquery 2.1 позволяющая создавать интерактивные элементы на сайте на Javascript (https://jquery.com/)

• Для отображение карты местности с нанесенным GPS сигналом - Yandex API Maps (https://tech.yandex.ru/maps/).

Приложение выполняет следующие функции:

• сбор данных измерений (RR интервалов, GPS сигналов) с Android устройств по протоколу HTTP

• Регистрация пользователей в личном кабинете

• Отображение и фильтрация метаданных экспериментов

• Автоматический расчет спектральных характеристик RR сигнала и детектирование стресса

• Отображение для каждого эксперимента графиков RR, HR, спектральных характеристик и стресса, карты с GPS сигналом

• Экспорт данных эксперимента для последующей обработки в формате TXT и CSV

База данных сайта представляет собой реляционную базу данных с языком SQL и работает на программном обеспечении MySQL 5.5.

В режиме псевдореального времени реализуется предобработка и спектральный анализ ритмограмм:

• Полученный RR сигнал нарезается временным окном на 100 секунд с временным сдвигом в 10 секунд;

• Для полученных окон методом дискретного Фурье преобразования для неравномерных сигналов вычисляется спектр;

• Спектр делится на диапазоны, и вычисляется мощность каждого диапазона: VLF (0.003-0.04 Гц), LF (0.04-0.15 Гц), HF (0.15-0.4 Гц);

• Вычисляются производные характеристики: общая мощность TP = VLF+LF+HF и вагусно-симпатический баланс LF_HF=LF/HF;

• В результате мы имеем спектрограмму, по которой автоматически определяются место, время и события, связанные со стрессом у конкретного человека в процессе естественной деятельности.

Web-платформа для управляемой активации когнитивных модулей

Для исследования когнитивных функций принципиальной является возможность экспериментального моделирования контролируемых информационных нагрузок, обеспечивающего управляемую активацию и измерение первичных когнитивных функций и сенсомоторной активности. С этой целью была разработана WEB-платформа Apway.ru, обеспечивающая универсальную инфраструктуру для конструирования и проведения тестов. Ключом для конструкции стало утверждение отца кибернетики Норберта Винера: внутренние свойства информационной системы проявляются в искажениях, которые эта система вносит в исходный сигнал. Мы предлагаем замкнутую систему, в которой компьютер является и источником сигнала, и регистратором. Искажения, ошибки, вносимые человеком в управляемый признак информационного образа, являются характеристикой его когнитивной системы:

- ошибки в обнаружении сигнала являются абсолютным порогом восприятия;

- ошибки в различении уровней сигнала – дифференциальные пороги;

- ошибки в идентификации сигнала, связанные с временными интервалами или пространственными градиентами, соответствуют временным и пространственным порогам.

В общей измерительной схеме реализован цикл: генерация информационного образа – субъективный сенсорный образ – моторное управление значимыми параметрами сигнала – регистрация изменения признаков виртуального объекта в процессе управления. Манипуляции оператора при выполнении инструкции, преобразуемые в изменение признаков виртуального объекта, являются единственным сигналом обратной связи в замкнутой системе компьютер-человек-компьютер. Система включает модуль формирования стимулов в широком диапазоне амплитудно-временных параметров, виртуальную панель управления режимом измерения, модуль регистрации моторных реакций оператора, базу данных и модуль формирования отчета в виде таблиц и графиков. В соответствии с этой архитектурой реализовано три теста, обладающих специфическим инструментарием для измерения порогов когнитивной обработки значимых параметров информационных сигналов: компьютерная цветовая кампиметрия, тесты сенсомоторной активности и тест Струпа. Каждый тест обеспечивает включение пользователя в целенаправленную активность по управлению признаками объектов виртуальной среды и измерение ошибок управления.

Архитектура и функционал WEB-платформы удовлетворяет следующим требованиям:

1. Обеспечивает сбор и накопление результатов измерений.

2. Предоставляет API для подключения любых диагностических систем, в том числе программных диагностических средств на мобильных устройствах.

3. Имеет карточки пациентов, с описанием их данных, результатов анализов и других измерений, позволяющих помочь их реабилитации, работе экспертов и исследователей.

4. Производит предварительную статистическую обработку измерений, для выделения основных базовых количественных показателей по каждому измерению.

5. Предоставляет возможность создания и хранения шаблонов для быстрого запуска тестов, для их объединения в «батареи тестов» и проведения тестирования практически без участия эксперта.

6. Предоставляет обратную связь испытуемому и эксперту как по результатам конкретного измерения, так и динамику изменения базовых показателей за определённый период времени.

Для реализации системы хранения используется СУБД MySQL. Поскольку каждый тест формирует специфический набор результирующих показателей, было решено хранить их в ячейках таблицы в строке JSON-формата. Это обеспечивает, с одной стороны, сохранение структуры, с другой – оперативный доступ к данным по ключу.

Отдельный аналитический модуль производит первичный анализ «сырых» данных тестирования и преобразует их в набор базовых показателей, которые используются для оценки эффективности когнитивных функции и для отображения их динамики при повторении теста.

На платформе создана библиотека шаблонов, обеспечивающая доступ к единому для всех тестов стимульному материалу. Основной функцией библиотеки является хранение и предоставление по запросу векторных изображений в формате SVG для проведения измерений. Выбор такого формата позволил использовать векторную графику также в WEB и мобильных приложениях, и, при необходимости, «на лету» изменять свойства изображений, например, цвета всего стимула или его части. Такая возможность востребована в тестах компьютерной кампиметрии, тесте сенсомоторной реакции и многих других, где используются графические стимулы. Программная логика полностью реализована на JavaScript с использованием дополнительных библиотек jQuery, Raphael.JS.

Все тесты реализованы в качестве WEB-приложений, что позволяет использовать их на любом компьютере, подключённом к сети Интернет. К настоящему времени на платформе размещены три теста: тест сенсомоторной активности, компьютерная кампиметрия и тест Струпа.

В основу теста сенсомоторной активности положен классический метод измерения сенсомоторной реакции. Однако, анализ связи между сенсорными и моторными событиями реализован в рамках парадигмы активности, допускающей действия, связанные не только с прошедшими, но и с предсказанными будущими событиями. Возможности модуля позволяют задавать различные параметры испытания, такие как: выбирать вид стимула (картинки, текст, векторные изображения); определять целевые стимулы, место расположения стимулов на экране, время экспозиции для каждого стимула, межстимульный интервал, фон рабочей области, задержку перед началом испытания.

Для данного теста также разработан аналитический модуль, который автоматически по завершении теста определяет:

1. Среднее время сенсомоторной реакции.

2. Ошибку среднего для сенсомоторной реакции.

3. Среднее время моторной реакции.

4. Ошибку среднего моторной реакции.

5. Количество реакций на нецелевой стимул.

6. Повторные реакции на целевой стимул.

7. Отсутствие реакции на целевой стимул.

В совокупности данные показатели позволяют определить степень сохранности отделов головного мозга, особенности распознавания цвета, уровень сенсомоторной интеграции, ресурсы пространственного и селективного внимания, способность к обучению и прогнозированию.

Компьютерная цветовая кампиметрия обеспечивает измерение функции цветоразличения и оценку эмоционального состояния. Суть метода заключается в изначальном предъявлении стимула на фоне того же цвета, затем испытуемый нажатием кнопок изменяет цвет стимула до тех, пор пока не сможет различить, какой предмет или текст был спрятан. В случае успешного определения решается обратная задача.

При реализации была усовершенствована технология, реализованная в программно-аппаратном комплексе “HandTracker”[4]. Реализованы новые возможности: выбирать стимулы из библиотеки векторных стимулов; создавать текстовые стимулы; выбирать положение стимула на экране; задавать диапазон размеров стимулов (как в относительных, так и в абсолютных величинах) и цветовые координаты; устанавливать шаг изменения оттенка; быстро создавать множество предъявлений, при этом сочетая во всех возможных вариациях выбранные оттенки, стимулы, положения и размеры.

По результатам испытания система фиксирует пороговые значения оттенков для каждого предъявления стимула, а затем передаёт собранный данные в аналитическую систему для первичной статистической обработки, после которой определяются следующие параметры:

1. Пиковые значения цвета в базовых оттенках (красном, синем, зелёном).

2. Среднее количество оттенков, на которое был изменён изначальный цвет стимула.

3. Среднее время решения задачи.

4. Количество ошибок в определении стимула.

5. Количество попыток изменить цвет скрытого стимула при решении обратной задачи.

В совокупности эти данные позволяют дать заключение об особенностях восприятия цвета и формы объектов, об уровне оперативной памяти и внимания, об уровне эмоционального напряжения, а также позволяет обнаружить изменение в работе мозга, вызванное применением психотропных препаратов.

Классический тест Струпа позволяет спровоцировать ситуацию когнитивного конфликта. Отличительной особенностью теста, реализованного на WEB-платформе Apway, является возможность задавать названия цветов на различных языках или добавлять собственные варианты цвета для проведения экспериментов. По результатам измерений фиксируются ошибки и время реакции при решении каждой задачи, после первичного анализа данных система выдаёт информацию о количестве ошибок в каждом контексте и среднем времени решения задачи в каждом контексте. На основании этих показателей делается вывод об уровне когнитивного контроля, эффективности обработки вербальной и цветовой информации, а также об уровне стрессоустойчивости при ментальном стрессе.

Заключение

Таким образом, созданы основные модули автоматизированной экспертной системы нового типа – Интернет-сервиса для событийно-связанной телеметрии, обладающего аппаратными, алгоритмическими и программными ресурсами для обнаружения ранних биомаркеров экстремальных состояний в режиме реального времени, без ограничений подвижности, без привлечения внимания человека - источника сигнала к процессу измерения. Для сбора данных телеметрии и детектирования стресса создан Интернет-ресурс – StressMonitor.ru на базе cogni-nn.ru. Для управляемой активации первичных когнитивных функций в контекстах сенсомоторной активности создана WEB-платформа platform.apway.ru – прототип Internet-приложения «Когнитом», в котором будут полностью интегрированы WEB-платформа и событийно-связанная телеметрия.

Предложенные технологии проявили эффективность в разнообразных естественных, клинических и экспериментальных контекстах:

- при картировании стрессогенных зон дорожной инфраструктуры Нижнего Новгорода по пространственной динамике стрессов у водителей автобусов и личных автомобилей [5];

- при исследовании режимов вегетативной регуляции в контекстах естественной деятельности у пациентов с хронической головной болью [6];

- при мониторинге стрессовых нагрузок у студентов-лингвистов, изучающих английский язык [7];

- при изучении роли эндогенной опиоидной системы в управлении вариабельностью сердечного ритма [8].

Дальнейшее развитие технологии должно быть направлено на совершенствования экспертного модуля и усиление возможностей системы для исследования, диагностики и прогноза в отношении физиологического обеспечения когнитивных функций в контекстах естественной деятельности.

Список литературы

1.Thayer J.F., Ahs F., Fredrikson M., Sollers III J.J., Wager T.D. A meta-analysis of heart rate variability and neuroimaging studies. Implications for heart rate variability as a marker of stress and health. Neuroscience and Biobehavioral Reviews, 2012, 36, 747-756/

2.Крылов А. К., Александров Ю. И. Методы экспериментального исследования в парадигмах активности и реактивности. Современная экспериментальная психология: В 2 т. / Под ред. В. А. Барабанщикова. – М.: Изд-во «Институт психологии РАН», 2011. – Т. 1. 463-479/

3.Анохин К.В. Когнитом: в поисках единой теории для когнитивной науки / Материалы Шестой международной конференции по когнитивной науке. – Калининград. – 2014. – С. 26-27.

4.Антонец В. А., Полевая С.А., Казаков В. В. Hand-tracking: исследование первичных когнитивных функций человека по их моторным проявлениям. - Современная экспериментальная психология: В 2 т. / Под ред. В. А. Барабанщикова. – М.: Изд-во «Институт психологии РАН», 2011. – Т. 2. – Глава 33. - С. 39-53.

5.Некрасова М.М., Парин С.Б., Федотова И.В., Еремин Е.В., Полевая С.А. Исследование влияния факторов дорожной среды на функциональное состояние сердечнососудистой системы водителей с применением телеметрии сердечного ритма. - Здоровье населения и среда обитания. - 2015. - №1(262). - С. 28-30/

6.Григорьева В.Н., Полевая С.А., Григорьева К.А., Бахчина А.В. Дневная динамика показателей вариабельности сердечного ритма у больных с головной болью напряжения. - Российский журнал боли. – 2014. -№ 3-4. – С. 13-19.

7. Демарева В.А., Бахчина А.В., Синеокова Т.Н. Особенности вегетативных реакций студентов в подготовленной монологической и неподготовленной диалогической речи на иностранном языке (постановка задачи). - Теоретические и прикладные аспекты изучения речевой деятельности. - 2015. - Т. 10. - № 3. - С. 143-156.

8. Парин С.Б., Ветюгов В.В., Бахчина А.В., Полевая С.А. Роль эндогенной опиоидной системы в управлении вариабельностью сердечного ритма в контексте когнитивных нагрузок разного уровня. - Современные технологии в медицине. - 2014. – Т. 6. - № 4. – С. 116-126.

* Данная работа выполнена при частичной поддержке РГНФ, грант № 15-06-10894_а.