Статьи

Границы | Отслеживание глаз на основе веб-камеры для оценки визуальной памяти в задаче визуального парного сравнения | неврология

  1. Вступление Веб-камеры все чаще становятся частью стандартного оборудования большинства интеллектуальных...
  2. Системные компоненты
  3. Камера слежения за глазами
  4. Веб-камера
  5. Тестовая конструкция
  6. Калибровка Валидация
  7. Камера слежения за глазами
  8. Веб-камера
  9. Получение данных
  10. Фиксация фильтра.
  11. Веб-камера
  12. счет
  13. Камера слежения за глазами
  14. Подсчет очков с помощью веб-камеры
  15. Предметы
  16. Предметные характеристики
  17. процедуры
  18. Анализ данных
  19. Результаты
  20. Отношения между обучающими наборами FPS веб-камеры
  21. Отношения между камерой Eye Tracker и веб-камерой
  22. Отношения пробного уровня между камерой Eye Tracker и веб-камерой
  23. Частота проблем с качеством данных
  24. Технические неполадки по типу камеры
  25. обсуждение
  26. Ограничения и будущие направления
  27. Вклад автора
  28. Заявление о конфликте интересов

Вступление

Веб-камеры все чаще становятся частью стандартного оборудования большинства интеллектуальных устройств. Качество и стоимость этих устройств позволили расширить их использование во всем мире и теперь являются стандартной функцией для большинства интеллектуальных устройств, включая настольные и портативные компьютеры, планшеты и смартфоны. Поскольку движения глаз часто могут обеспечить неинвазивное «окно в мозг», регистрация движений глаз с помощью веб-камер является развивающейся областью исследований, включая разработку как в режиме онлайн, так и в автономном режиме ( Ван и Сунг, 2001 ; Хансен и Пеце, 2005 ; Виверо и др., 2010 ; Андерсон и др., 2011 ; Лин и др., 2013 ; Петридис и др., 2013 ).

Парадигмы задачи визуального парного сравнения (VPC) оценивают память распознавания путем сравнения доли времени, которое отдельный человек тратит на просмотр новой картинки, по сравнению с картиной, которую он ранее видел, то есть предпочтением новизны ( Fantz, 1964 ; Фаган, 1970 ). Предпочтение новизны, или больше времени, потраченного на просмотр новой картины, ожидается у людей с нормальной функцией памяти. Напротив, люди с проблемами памяти характеризуются более равномерно распределенным временем просмотра между романом и знакомыми картинами. Отсутствие предпочтения новизны предполагает нарушение декларативной памяти о том, что уже рассматривалось. Показано, что задачи VPC надежно обнаруживают дисфункцию памяти как у приматов, так и у людей - как у младенцев, так и у взрослых ( Gunderson and Sackett, 1984 ; Gunderson and Swartz, 1985 ; Бачевалье и др., 1993 ; Паскалис и др., 1998 ; Маннс и др., 2000 ; Zola et al., 2000 , 2013 ; Крутчер и др., 2009 ).

Традиционно данные о задачах VPC собираются с помощью средства отслеживания движения глаз промышленного класса, использующего камеру с высокой частотой кадров, способную захватывать ряд визуальных функций. Эти данные анализируются с использованием программного обеспечения, предоставленного производителем, или проверяются вручную исследователями, имеющими опыт в оценке метрик отслеживания глаза (например, фиксации взгляда, саккад, морганий и т. Д.). предотвращение включения отслеживания глаз в рутинную клиническую оценку; напротив, они остались в значительной степени особенностью клинических исследований. Достижения в области аппаратного и программного обеспечения сделали слежение за глазами веб-камеры более доступным и доступным. В дополнение к значительно более низкой цене по сравнению с исследовательскими камерами слежения за глазами, которые могут стоить более 50 000 долларов, встроенные веб-камеры не требуют того же объема настройки и обслуживания, которые необходимы для удовлетворительного сбора данных с исследовательских камер слежения за глазами. , Кроме того, точность и целостность данных, полученных с помощью исследовательских камер слежения за глазами, сильно различаются (17). Возможно, наиболее значительным преимуществом встроенных веб-камер является отсутствие географических ограничений для сбора данных о характеристиках глаза при больших размерах выборок. Например, программное обеспечение для отслеживания глаз с открытым исходным кодом, такое как WebGazer.js [ https://webgazer.cs.brown.edu/ ] могут быть развернуты в большинстве основных веб-браузеров. В то же время проверка конкретных парадигм слежения за глазами на основе веб-камеры для оценки конкретных когнитивных функций по-прежнему отсутствует.

Цель этого исследования состояла в том, чтобы сравнить точность положения взгляда, закодированного человеком, при выполнении задачи VPC у здоровых пожилых людей с помощью веб-камеры на ноутбуке и имеющейся в продаже высокоскоростной камеры слежения за глазами. Используя встроенную веб-камеру, можно расширить доступ к определенным задачам по отслеживанию глаз любому, имеющему такое устройство. Точно так же использование веб-камеры повышает удобство сбора данных. В этом исследовании мы сообщаем об использовании этого метода для отслеживания движений человеческого глаза при решении задачи VPC и демонстрируем эквивалентность точности между этим методом и коммерческой камерой для отслеживания глаз с высокой частотой кадров.

Материалы и методы

После подробного описания компонентов системы как для стандартной системы камер слежения за глазами, так и для веб-камеры, мы подробно рассмотрим структуру теста задачи VPC, включая визуальную калибровку, сбор данных и методы оценки, связанные с каждой системой слежения за глазами. Описания предметной выборки, процедур и анализа данных завершат этот раздел.

Системные компоненты

Движения субъекта регистрировались с использованием системы камеры слежения за глазами Tobii X2-60 (Tobii AB, Стокгольм) и с использованием встроенной веб-камеры на 13-дюймовом ноутбуке Apple Macbook Air (Apple, Купертино, Калифорния).

Камера слежения за глазами

Отбор проб системы производился при 60 Гц, а угол взгляда определялся относительными положениями центров роговицы и зрачка. Участники сидели на расстоянии ~ 27 дюймов от 19-дюймового плоского монитора, на котором отображались стимулы. Данные глаза были записаны с использованием Tobii SDK и API.

Веб-камера

Процессор ноутбука представлял собой процессор Intel Core i5 с тактовой частотой 1,4 ГГц, 4 ГБ оперативной памяти DDR3 1600 МГц и графическую карту Intel HD Graphics 5000 на 1536 МБ. Разрешение видео ноутбука при тестовой записи составило 640 × 480.

Тестовая конструкция

Визуальные задачи парного сравнения используют знакомые и новые визуальные стимулы. Типичная процедура VPC включает в себя этап ознакомления и этап тестирования. На начальном этапе ознакомления субъектам были представлены пары идентичных зрительных стимулов в течение определенного периода времени. Во время фазы тестирования, которая следует за задержкой или фиксированных или переменных периодов времени, субъектам были представлены дополнительные пары визуальных стимулов, которые включают один стимул из фазы знакомства (знакомый стимул) и новый, или новый, стимул. Отношение времени, затраченного субъектами на просмотр нового стимула, к общему времени просмотра во время теста дает оценку предпочтения новизны.

Построение задачи VPC, использованной в этом исследовании, представляло собой адаптированную 5-минутную версию 30-минутной задачи VPC, разработанной Zola et al. (2013) , Тест состоял из 20 испытаний, каждое из которых содержало этап ознакомления и этап тестирования. Подобно парадигме задачи Zola и коллег, этапы ознакомления и тестирования не были последовательными (см. Рисунок 1 ).

Рисунок 1 Схема ознакомления и тестирования фазы стимулов представления (вверху) и VPC решающей задачи фазы ознакомления (p) и тестирования фазы (t) порядок испытаний.

На этапе ознакомления участнику была показана последовательность пар идентичных изображений. Позже в тесте наступает этап тестирования, когда участнику была показана другая последовательность пар изображений, каждая пара состояла из изображения из фазы ознакомления и нового изображения. Этапы испытаний были показаны после всех этапов ознакомления и в обратном порядке. Стимулы состояли из черно-белых высококонтрастных изображений размером 4,4 дюйма в ширину и 6,5 дюйма в высоту. Уникальные изображения были использованы для каждого испытания (рисунок 2 ).

Рисунок 2 Пример стимулов VPC (А) именуемый, (Б) неуязвимый.

Калибровка Валидация

Перед началом экзамена испытуемым было поручено наблюдать за движением синей точки по экрану. Поскольку экран компьютера интерпретируется как система координат, где верхний левый угол экрана (0, 0), а нижний правый угол экрана (1, 1), движение шара для калибровки было:

(0,5, 0,5) -> (0,1, 0,1) -> (0,1, 0,9) -> (0,9, 0,9) -> (0,5, 0,5) -> (0,9, 0,1) -> (0,5, 0,1) -> ( 0,1, 0,5) -> (0,5, 0,9),

В каждой из вышеуказанных точек шар останавливался и пульсировал в течение ~ 2 с.

Камера слежения за глазами

По завершении фазы калибровки два значения были рассчитаны для использования в качестве мер точности. Они были:

1. Среднеквадратичная ошибка (RMSE), где ошибка для каждой точки взгляда вычисляется как евклидово расстояние между точкой и положением калибровочного шара.

2. Качество - значение, рассчитанное по кодам достоверности, указанным в Tobii X2-60 SDK / API.

Если какое-либо значение было ниже определенного порога (0,10 для первой калибровки и 0,15 для второй калибровки для RMSE и 0,8 для первой калибровки и 0,7 для второй калибровки по качеству), калибровку повторяли до двух дополнительных раз, чтобы обеспечить точную оценку положения взгляда. Данные калибровки не были включены в экспериментальную процедуру.

Веб-камера

Три человека-кодировщика вручную оценили отдельные кадры видео фазы калибровки. Все калибровочные кадры (30 / с) были оценены. Валидация отдельных калибровочных кадров осуществлялась путем подсчета и сравнения частоты кадров, закодированных с той же стороны, что и соответствующее положение калибровочной точки. Только «левый» или «правый» сравнивались с тем, когда мяч был левым или правым. Если индивидуальная точность правильно закодированных калибровочных кадров не достигала 90% и более, кодирование видео фазы калибровки повторяли. Кадры, когда шар пульсировал в центре (вертикально, сверху и снизу) экрана, были исключены (рисунок 3 ). Данные калибровки не были включены в экспериментальную процедуру.

Данные калибровки не были включены в экспериментальную процедуру

Рисунок 3 Калибровка фазы стимулов и местоположения (A) вверху по центру, (B) движется к середине слева.

Получение данных

Камера слежения за глазами

Субъекты регистрировали во время фазы калибровки и испытания с помощью устройства слежения за глазами Tobii X2-60, которое записывало данные о взгляде с частотой 60 Гц (60 / с). Мы программно получили доступ к необработанным данным Tobii с помощью Tobii Pro Analytics SDK. Каждая точка данных, записанная с помощью Tobii, содержала данные о взгляде в двух отдельных «системах координат», активной системе координат дисплея (ADCS) и пользовательской системе координат (UCS). ADCS - это двухмерная система координат, настроенная так, чтобы она была выровнена по экрану ноутбука. В верхнем левом углу экрана находится координата ADCS (0, 0); нижний правый угол (1, 1). ПСК - это трехмерная система координат, которая предоставляет дополнительные данные о реальном положении глаз участника, позволяя, например, точно оценить расстояние от глаза до экрана и, таким образом, степень угла обзора (DVA) для каждый участник. Каждая точка данных состояла из оценочной точки обзора для левого и правого глаза. Для каждой такой исходной точки мы взяли среднюю точку двух точек взгляда в качестве окончательной оценки взгляда. Это была также настройка по умолчанию в Tobii Pro Studio.

В дополнение к координатным данным каждая точка данных Tobii содержала «код достоверности», который использовался для оценки того, «насколько достоверно отслеживание движения глаз, что данные, представленные для глаза, действительно происходят из этого глаза». Код может варьироваться от 0 ( глаз определенно найден) до 4 (глаз не найден). Если оба глаза получили код достоверности 4, точка данных была выброшена. Тестовые испытания автоматически исключались, если из-за плохих кодов достоверности было исключено более 4 с данных.

Фиксация фильтра.

Мы разработали фильтр фиксации для обработки необработанных данных Tobii. Этот фильтр копировал алгоритм на основе кластера, используемый Zola et al. (2013) , Исходный алгоритм состоял из следующих двух этапов:

1. Найдите последовательность точек с минимальной продолжительностью 100 мс, чтобы стандартное отклонение в горизонтальном и вертикальном направлениях составляло не более 0,5 * 1 DVA. Это начало фиксации.

2. Продолжайте добавлять последовательные точки в этот кластер фиксации до тех пор, пока 3 такие точки не будут находиться на расстоянии не менее 1 МДВ от первоначальной фиксации в горизонтальном или вертикальном направлении.

Реализация и обработка необработанных данных взгляда из исследования Zola воспроизвели ту же классификацию фиксации / саккады, которая была вычислена и использовалась ранее. На этапе 2 фиксация закончилась после того, как 3 точки были удалены от фиксации в попытке отфильтровать шум в данных взгляда, игнорируя аномалии. Например, если одна точка взгляда была оценена неправильно, так что она была значительно удалена от соседних точек взгляда, это не обязательно заканчивает фиксацию.

В исследовании Zola использовался трекер глаз Applied Science Laboratories, который записывал данные взгляда при 120 Гц (120 / с). Поскольку Tobii X2-60 записывает с половиной этой скорости, необходимо было отрегулировать константы, используемые в исходном алгоритме. Мы экспериментировали с рядом различных констант и исследовали отдельные пути сканирования калибровки и тестов, чтобы определить, какие из них остались точными. Окончательный алгоритм состоял из следующих правил:

1. Начало фиксации: найдите последовательность минимум с 4 точками (~ 66 мсек), чтобы стандартное отклонение в горизонтальном и вертикальном направлениях составляло не более 1 DVA.

2. Конец фиксации: продолжайте добавлять последовательные точки в этот кластер фиксации, пока 3 такие точки не будут по крайней мере на расстоянии 1 DVA от начальной фиксации.

Значение по умолчанию для минимальной продолжительности фиксации в фильтре фиксации Tobii I-VT составляет 60 мс, что эквивалентно разработанному нами алгоритму (~ 66 мс). Три исследователя, обладающие знаниями в области отслеживания движения глаз и системы отслеживания движения глаз Tobii X2-60, независимо друг от друга провели инспекцию всех испытаний, чтобы гарантировать качество данных испытаний. Тестовые испытания, помеченные для аберрантных путей взгляда (например, кластеризация взгляда, ошибочные саккады и т. Д.), Обсуждались на корпоративном уровне, и было принято консенсусное решение о сохранении или отмене данного испытания. Если 10 или более испытаний были отброшены, данные для этого субъекта были исключены из анализа.

Веб-камера

Объекты были записаны во время калибровки и тестирования через веб-камеру ноутбука. Мы использовали Flash-рекордер высокой четкости (HDFVR) для записи на объекте, и полученное видео Flash-видео (FLV) было передано в наш собственный экземпляр Wowza Amazon Web Services (AWS). Во время калибровки и тестирования метаданные вводились в видео FLV для обеспечения соответствия между кадрами видео и событиями теста. Кроме того, отдельные данные испытаний были сохранены в защищенной базе данных. Примеры метаданных включают в себя время, когда калибровочный шарик перемещается от одной координаты к другой, и когда изображения исследования отображаются и скрываются.

счет

Основной показатель производительности для задач VPC - это предпочтение новизны, которое в настоящем исследовании представляло собой процент времени, которое участник тратит, глядя на новое изображение по сравнению со знакомым изображением. Таким образом, показатель предпочтения новизны для каждого испытания был рассчитан как (время просмотра нового изображения) / (общее время просмотра любого изображения). Окончательный показатель предпочтения новизны полного теста был средним показателем предпочтения новизны во всех 20 испытаниях.

Камера слежения за глазами

Для каждого испытания мы устанавливали прямоугольный периметр интересующей области вокруг каждого из парных изображений. Этот прямоугольник имел фиксированный размер и немного больше, чем изображение, которое он охватывает, чтобы допустить некоторую ошибку в данных взгляда. Предпочтение новизны каждого испытания рассчитывалось как:

(Время зафиксировано на новом изображении) / (Общее время зафиксировано на любом изображении),

Время, затраченное на просмотр изображений, рассчитывали на основе общего времени фиксации взгляда, записанного с помощью программного обеспечения Tobii X2-60.

Подсчет очков с помощью веб-камеры

Записанные данные веб-камеры были разделены на отдельные кадры. Кадры были отсортированы и классифицированы в ходе пробных испытаний с использованием введенных метаданных FLV-файла во время захвата видео. Данные веб-камеры были проанализированы с использованием трех различных частот кадров: 10 кадров в секунду (5 кадров в секунду), 5 кадров в секунду и 3 кадра в секунду. Обработанные данные затем оценивались по кадрам 3 независимыми программистами-людьми, чтобы определить, смотрел ли объект на левую или правую сторону экрана или ни в каком направлении. Кодирование опции «ни один» предназначалось для кадров, когда участник мигал, или изображение было достаточно низкого качества, чтобы радужная оболочка была неотличима от остальной части глаза (рис. 4 ).

4   )

Рисунок 4 Интерфейс подсчета очков с 2 примерами пристального взгляда правого глаза (левые точки калибровки 1 и 2 с точки зрения оценщика), 2 примера пристального взгляда левого глаза (правые калибровочные точки 1 и 2 с точки зрения секретаря), пример того, как субъект смотрит в центр экрана (вверху по центру) и отдельное предметное пробное изображение для оценки (внизу по центру).

Другими словами, человеческие кодеры получили указание выбирать влево или вправо, даже когда казалось, что участник больше смотрит в центр экрана (потому что они, скорее всего, не смотрят в центр).

Для каждого изображения решение большинства принималось индивидуальными рейтингами. Например, если один кодер оценил изображение как «левое», а два других оценили изображение как «правое», окончательный рейтинг будет «правым». Затем для каждого испытания объединяются «левый» и «правый» рейтинги. были переведены на «новые» и «знакомые» рейтинги, основанные на том, какой образ пары является новым. Показатель предпочтения новизны для каждого испытания представлял собой процент фреймов, который участник оценил как смотрящий на сторону романа.

Предпочтение новизны = (количество «новых» кадров) / (общее количество «новых» кадров + количество «знакомых» кадров).

Предметы

Пятьдесят четыре клинически нормальных пожилых людей, проживающих в сообществе, были набраны от добровольцев, заинтересованных в научных исследованиях, в Центре исследований и лечения болезни Альцгеймера при Бригаме и женской больнице, а также в Массачусетском центре исследований болезни Альцгеймера в Массачусетской больнице общего профиля. Исследование было одобрено Партнерским комитетом по исследованиям человека, Институциональным наблюдательным советом (IRB) Бригама и Женской больницы, а также Массачусетской больницы общего профиля. Субъекты прошли процедуру информированного согласия, одобренную IRB, и все субъекты дали письменное и информированное согласие на участие в исследовании. Критерии исключения включали в себя историю алкоголизма, наркомании, травмы головы или текущих серьезных медицинских или психических заболеваний. Все субъекты соответствовали критериям включения по возрасту (старше 50 лет) и когнитивного статуса по баллам в пределах установленных возрастом норм в телефонном интервью о когнитивном статусе (TICS) ( Кнопман и др., 2010 ). Предварительные знания компьютера не требовались.

Предметные характеристики

Все субъекты были когнитивно нормальными людьми, живущими в сообществе. Средний возраст составлял 68,7 ± 7,6 года (диапазон: 54–97). Выборка составила 58,5% женщин (31 человек). Среднее количество законченных лет обучения составило 15,6 ± 2,8 (диапазон: 12–20). Выборка составила 57,4% европейцев-американцев (31 человек) и 42,6% афроамериканцев (23 человека). Смотрите таблицу 1 , Из-за истощения субъекта и технических проблем в момент времени 1 были доступны данные по 44 субъектам, в момент времени 2 - данные по 36 субъектам, а в момент времени 3 - данные по 38 субъектам.

Смотрите таблицу   1   ,  Из-за истощения субъекта и технических проблем в момент времени 1 были доступны данные по 44 субъектам, в момент времени 2 - данные по 36 субъектам, а в момент времени 3 - данные по 38 субъектам

Таблица 1 Тематические характеристики.

процедуры

Субъектам было предложено принять участие в трех визитах в клинику в рамках более широкого протокола исследований, посвященных продольным результатам на бумаге-карандаше и цифровым когнитивным тестам. Второе посещение произошло через 1 неделю после первого посещения, а третье посещение произошло через 6 недель после первого посещения. При первом посещении испытуемым вводили исходное 30-минутное задание VPC с использованием стандартной камеры слежения за глазами и адаптированной 5-минутной версии с одновременным захватом с использованием как стандартной камеры слежения за глазами, так и встроенной веб-камеры. При последующих посещениях применялась только 5-минутная версия. В начале каждого администрирования задачи VPC испытуемым говорили, что на экране будут появляться изображения и что они должны смотреть на изображения «как будто они смотрят телевизор».

Анализ данных

Анализы проводились с использованием IBM SPSS версии 21.0. Межрассовое согласие о балльной оценке веб-камеры в каждый момент времени оценивалось с использованием расчетов Капеля Зигеля и Кастеллана ( Халлгрен, 2012 ). Надежность в веб-камере была оценена с использованием соотношения продукта и момента Пирсона. Учебные наборы с использованием данных 10, 5 и 3 FPS были проанализированы с использованием подвыборки участников ( n = 25). Надежность между камерой слежения за глазами Tobii X2-60 и веб-камерой, использующей 3 FPS, была оценена с использованием соотношения продукта и момента Пирсона. Стандарт Коэна использовался для определения силы этих взаимосвязей с коэффициентами корреляции около 0,10, малыми, 0,30 как средними и 0,50 и выше как большими ( Коэн, 1992 ). Анализ хи-квадрат оценивал частоту проблем с качеством данных, присутствующих в каждой из трех временных точек, и частоту проблем с качеством данных, связанных с камерой для отслеживания движения глаз и встроенной веб-камерой.

Результаты

Соглашение о подсчете кодировщиков данных веб-камеры

Анализ межкритериального соглашения о балльной оценке веб-камеры в каждый момент времени с использованием формулы Каппа Зигеля и Кастеллана выявил очень хорошее среднее согласие по каждому из трех человек-оценщиков для каждого из 20 испытаний в моменты времени 1-3 (κ = 0,85, 0,88, 0,81 соответственно).

Отношения между обучающими наборами FPS веб-камеры

Анализ взаимосвязей между 10, 5 и 3 тренировочными наборами FPS выявил устойчивые, позитивные ассоциации между каждым тренировочным набором FPS. Соотношение «продукт-момент» Пирсона между 5 и 10 тренировочными наборами FPS составило 0,91 ( n = 25; р <0,001). Соотношение «продукт-момент» Пирсона между 3 и 10 тренировочными наборами FPS составило 0,94 ( n = 25; p <0,001). Соотношение «продукт-момент» Пирсона между 3 и 5 тренировочными наборами FPS составило 0,88 ( n = 25; р <0,001).

Отношения между камерой Eye Tracker и веб-камерой

Учитывая силу корреляции между обучающим набором веб-камеры 3 FPS и обучающими наборами 5 и 10 FPS, данные 3 FPS использовались для исследования взаимосвязи между данными отслеживания движения глаз и данными веб-камеры. Анализ взаимосвязи между отслеживанием глаза и данными встроенной веб-камеры выявил устойчивые положительные ассоциации между каждым типом камеры в каждый момент времени. Соотношение произведения и момента Пирсона в момент времени 1 составляло 0,92 ( n = 44; р <0,001). Соотношение «произведение-момент» Пирсона в момент времени 2 составляло 0,91 ( n = 36; р <0,001). Соотношение произведение-момент Пирсона в момент времени 3 составляло 0,88 ( n = 38; p <0,001; рисунок 5 ).

Соотношение произведение-момент Пирсона в момент времени 3 составляло 0,88 ( n = 38; p <0,001; рисунок   5   )

Рисунок 5 Диаграммы рассеяния взаимосвязей между (A) средним предпочтением новизны камеры слежения за глазами 60 FPS и средним предпочтением новизны встроенной веб-камеры 3 FPS в момент времени 1, (B) средним предпочтением новизны камеры слежения за глазами 60 FPS и средним предпочтением новизны 3 Встроенная веб-камера FPS в момент времени 2 и (C) Среднее предпочтение новизны камеры слежения за глазами 60 кадров в секунду и среднее значение новизны встроенной веб-камеры 3 кадров в секунду в момент времени 3.

Отношения пробного уровня между камерой Eye Tracker и веб-камерой

Для дальнейшего изучения взаимосвязи между камерой отслеживания глаз и веб-камерой сравнивалось каждое из 20 испытательных испытаний для каждой временной точки. Анализ выявил хорошие ассоциации между каждым типом камеры в каждый момент времени. Соотношение произведение-момент Пирсона в момент времени 1 составляло 0,76 ( n = 841; р <0,001). Соотношение произведение-момент Пирсона в момент времени 2 составляло 0,79 ( n = 700; р <0,001). Соотношение произведение-момент Пирсона в момент времени 3 составляло 0,74 ( n = 709; р <0,001). Сила взаимосвязи сохранялась, когда данные были свернуты в каждый момент времени ( r = 0,76; n = 2247; p <0,001).

Частота проблем с качеством данных

Технические проблемы по времени

Частота технических проблем (например, отключение потокового соединения во время потоковой передачи видео или не распознавание Tobii ноутбуком) присутствовали в последовательные моменты времени независимо от типа камеры: 2,9, 5,5 и 3,9% соответственно. Никаких существенных различий в частоте технических проблем не наблюдалось в трех временных точках ( р > 0,1).

Технические неполадки по типу камеры

Анализ технических проблем, связанных с каждым типом камеры в трех временных точках, выявил, что из 154 администраций задач на основе веб-камер 7 (2,3%) имели технические проблемы, которые исключили их из анализа. Напротив, у 31 из 156 администраций задач на основе отслеживания движений глаз (10%) были технические проблемы, которые исключали их из анализа. Анализ хи-квадрат частоты технических проблем был значительным (χ2 = 16,93; р <0,001) с большей частотой технических проблем с использованием коммерческого администрирования задач на основе отслеживания движений глаз.

обсуждение

Насколько нам известно, это первое исследование, в котором одновременно регистрировались движения человеческого глаза с использованием как камеры слежения за глазами с высокой частотой кадров, так и встроенной веб-камеры, чтобы оценить точность последнего при решении задачи VPC у клинически нормальных пожилых людей. Мы обнаружили, что средние оценки предпочтения новизны, рассчитанные с использованием кодирования человеком данных в 3 FPS со встроенной веб-камеры, могут заменить данные о движении глаз, снятые при скорости 60 FPS с использованием стандартной камеры для отслеживания движения глаз. Точность средних оценок предпочтений новизны, полученных с помощью веб-камеры, была достигнута в результате строгого взаимного согласования предметных данных на уровне испытаний. В подмножестве из 25 субъектов мы нашли эквивалентность средних баллов предпочтения новизны, используя человеческое кодирование данных 10 FPS, 5 FPS и 3 FPS. Наконец, при анализе проблем качества данных, связанных с каждой камерой, встроенная веб-камера оказалась более надежной в каждой из трех контрольных точек.

Преимущества, связанные с использованием встроенной веб-камеры, включают в себя повсеместное распространение такой технологии, низкую стоимость приобретения и включения веб-камер в проекты задач и относительную легкость, связанную с их эксплуатацией и обслуживанием ( Андерсон и др., 2011 ). Что касается последнего, современные камеры слежения за глазами с высокой частотой кадров требуют обширной настройки и калибровки для оптимального качества данных, и эти процедуры требуют обучения и последовательной реализации ( Нихорстер и др., 2017 ). Результаты этого исследования подтверждают эти соображения, наблюдая более высокую частоту проблем с качеством данных, связанных с коммерческой камерой слежения за глазами с высокой частотой кадров, чем со встроенной веб-камерой. Технические возможности людей, использующих глазные трекеры коммерческого уровня, также, вероятно, играют роль в частоте технических проблем. Несмотря на то, что встроенные веб-камеры более эффективны и экономичны, важно отметить, что обучение людей вручную оценивать данные с веб-камеры также сопряжено с расходами, включая время обучения. Одним из преимуществ использования веб-камеры является возможность ненавязчивого захвата данных о движениях глаз. Петридис и его коллеги продемонстрировали способ онлайн-определения размера зрачка с помощью веб-камеры ( Петридис и др., 2013 ). Хотя такие применения отслеживания глаз могут обеспечить большую экологическую достоверность, клиническая ценность установленных конструкций отслеживания глаз, оценивающих аспекты познания в формальной среде тестирования, остается высокой.

Одной из трудностей отслеживания глаз веб-камеры является отсутствие ясности в отношении ее полезности для различных задач. Многие исследовательские задачи по отслеживанию глаз включают измерение многочисленных функций отслеживания глаз, таких как расположение взгляда, фиксация и повторная фиксация взгляда, вертикальные и горизонтальные саккадические движения, а также измерение зрачка (например, диаметр, расширение). Минимальная частота кадров, необходимая для точного анализа данных и оценки, вероятно, весьма различна и зависит от конкретной парадигмы задачи и конкретных интересующих функций отслеживания глаз. В то время как текущее исследование продемонстрировало способность надежно фиксировать определенные особенности, такие как расположение взгляда и диаметр зрачка ( Андерсон и др., 2011 ; Петридис и др., 2013 ), количество функций ограничено, и одновременный сбор нескольких функций остается явным преимуществом глазных трекеров коммерческого уровня. В принципе, те же алгоритмы, которые используются программным обеспечением для исследования глаз, могут применяться для извлечения количественных данных визуальных характеристик с веб-камер. Например, идентификация градиента пикселя между аспектами глаза (например, зрачком, радужной оболочкой, склерой) позволяет оценивать и извлекать зрачок и центроид зрачка в качестве конкретных основанных на форме признаков. Применение таких алгоритмов может увеличить количество функций, которые могут быть одновременно собраны веб-камерой.

Это исследование предоставляет доказательства эквивалентности точности оценки для парадигмы принятия решений VPC в диапазоне от 3 до 60 FPS и для человека и автоматизированных систем оценки. Подобные исследования, в которых исследуется эквивалентность оценок по парадигмам задач, имеют решающее значение для установления порогов, которые могут использоваться при включении веб-камер в задачи, исторически использующие коммерческие камеры слежения за глазами. Кроме того, показатели производительности для задач отслеживания движения глаз могут включать в себя комплексную оценку нескольких функций. Например, Лагун и соавт. (2011) использовали комбинацию предпочтения новизны, фиксации взгляда, саккад и повторных фиксаций для повышения чувствительности и специфичности задачи VPC при выявлении пожилых людей с легкими когнитивными нарушениями ( Коэн, 1992 ). Минимальная частота кадров, необходимая для точного анализа данных и оценки нескольких визуальных функций, также, вероятно, зависит от конкретных особенностей, представляющих интерес.

Возможность удаленного сбора данных задач VPC предоставляет уникальные преимущества для оценки оперативной памяти. Большинство мер декларативной памяти требуют наличия существенных инструкций перед началом администрирования. Кроме того, задачи словесной декларативной памяти (например, задачи обучения декларации) требуют значительного моторного выхода. Напротив, задачи VPC практически не требуют инструкций. Задачи VPC также требуют минимального понимания языка или производства и минимальной производительности двигателя. Эти факторы способствуют масштабируемости задач VPC для оценки функций памяти у пожилых людей. И его коллеги предложили включить меры скрининга на основе глаз в первичную медицинскую помощь для более ранних заболеваний Альцгеймера, и использование веб-камеры могло бы облегчить оценку различных функций глаза (например, скорости зрачки, реакции зрачка), а также памяти на основе глаз функция с использованием задачи VPC ( Ласке и др., 2015 ).

Ограничения и будущие направления

Это пилотное исследование включало небольшую выборку клинически нормальных пожилых людей. Хотя выборка включала широкий диапазон пожилых людей и была этнически разнообразной, когорта была преимущественно хорошо образованной. Основным ограничением, связанным с текущим методом оценки, является автономный характер системы. Этот метод оценки, основанный на человеке, не позволяет отслеживать движения глаз в режиме онлайн, что может быть включено в задачи с помощью условных схем взгляда или немедленной обратной связи на уровне испытания.

Кроме того, в текущем исследовании оценивалась задача принятия решения VPC, требующая, чтобы человек-бомбардировщик выбирал между тремя точками обзора (слева, справа или ни одним). Та же степень точности может быть недостижима для задач, которые требуют более четкого распознавания движений глаз. С другой стороны, Андерсон и его коллеги обнаружили, что автономные бомбардиры могут определять и различать движения глаз на 3 ° с точностью> 90% ( Андерсон и др., 2011 ). Вообще говоря, ценность оценки человеком данных веб-камеры, отслеживающих глаза, будет уменьшаться по мере возрастания требований к сложности и тонкости движений глаз. Одним из важных ограничений текущей решающей задачи VPC является то, что она препятствует анализу более мелкозернистых метрик отслеживания глаза, таких как точки фиксации взгляда, и текущий метод не подходит для парадигм отслеживания глаза, требующих сбора и анализа таких метрик. В связи с этим важно подчеркнуть, что мы не предполагаем, что оценка человеком данных, полученных с помощью веб-камеры, может или должна заменить коммерчески доступные датчики глаза с высокой частотой кадров; напротив, результаты этого исследования показывают, что конкретные парадигмы отслеживания продолжительности взгляда в автономном режиме могут быть более надежными и экономически эффективными с использованием подхода, который мы подробно описали. Важно отметить, что в то время как в этом исследовании изучалась конкретная парадигма длительности взгляда для оценки декларативной памяти, одна и та же базовая парадигма использовалась для ряда состояний развития и психоневрологических состояний, включая СДВГ, депрессию и ПТСР ( Армстронг и др., 2013 ; Исаак и др., 2014 ; Тюркан и др., 2016 ). Другим, несколько очевидным, ограничением этого метода является требование оценки человеком кодирующих движений глаз субъекта. Автоматизация слежения за глазами с использованием данных веб-камеры является растущей областью исследований, и существуют программы с открытым исходным кодом для автоматизации онлайн слежения за глазами в режиме реального времени ( Ван и Сунг, 2001 ; Хансен и Пеце, 2005 ; Ли и Пархерст, 2006 ; Педерсен и Спайви, 2006 ; Виверо и др., 2010 ; Крафка и др., 2016 ). Однако точность современных автоматизированных систем ниже точности стандартных камер слежения за глазами с высокой частотой кадров.

Это исследование закладывает основу для дальнейшего развития в области автоматизации анализа и оценки слежения за глазами на основе веб-камеры. Мы предоставили доказательства того, что для конкретных проектов задач данные веб-камеры, оцененные человеком, с частотой 3 FPS, столь же точны, как и данные, полученные с помощью коммерческого глазного трекера 60 FPS. Таким образом, ценность автоматической оценки данных веб-камеры зависит от конкретной задачи. В будущем мы планируем сравнить точность автоматического метода оценки с использованием данных отслеживания глаз с веб-камеры и данных о человеке.

Вклад автора

NB внес существенный вклад в приобретение, анализ и интерпретацию работы, составил проект работы, утвердил окончательный вариант для публикации и согласился нести ответственность за все аспекты работы. AL и DR внесли существенный вклад в концептуализацию, приобретение, анализ и интерпретацию работы, критически пересмотрели работу для важного интеллектуального содержания, утвердили окончательный вариант и согласились нести ответственность за все аспекты работы. EB, PC и SZ внесли существенный вклад в анализ и интерпретацию работы, критически пересмотрели работу для важного интеллектуального контента, утвердили окончательный вариант и согласились нести ответственность за все аспекты работы.

Заявление о конфликте интересов

NB выступает в качестве платного научного консультанта для Neurotrack Technologies, Inc. PC выступает в качестве платного научного консультанта для Neurotrack Technologies, Inc. DR работал в качестве платного консультанта для Eli Lilly, Lundbeck Pharmaceuticals и Biogen Idec. Она также работает в Научно-консультативном совете Neurotrack Technologies, Inc. EB и SZ являются соучредителями Neurotrack Technologies, Inc. Neurotrack Technologies, Inc. оказала помощь в финансировании этого исследования.

Другой автор заявляет, что исследование проводилось в отсутствие каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.

Рекомендации

Новости

Где купить гибкий штатив для фотоаппарата

Знаю, что многие увлекаются фотографированием природных пейзажей. Мне и самому не чуждо такое увлечение. Однако, некоторые снимки довольно тяжело даются, так как иногда очень сложно поймать нужный

Походы пешком по Украине

Осуществление пеших походов по своей родной стране является одним из видов познания её достопримечательностей и прекрасных мест. При пеших походах все детали красоты и яркости природы своей страны

Значение имени артем
Уже известно и доказано, что значение имени артем влияет на судьбу его обладателя. Попытки понять и объяснить влияние имени на судьбу и характер человека начались в прошлом, продолжаются и в настоящее

Ржачные поздравления с днем рождения
Желаю во всем всегда успевать И все делать лишь на 5. Желаю быть счастливой на свете этом, И чтоб жизнь казалась только летом. Пускай все всегда выходит И все твои мечты реализуются. *** Открыв конверт,

Славянские фамилии и их значения
Фамилии славянских народов порой бывает трудно разделить по «национальным квартирам», хотя последнее время это пытаются сделать в Украине. На протяжении многих веков так называемые пишущие люди стремились

Сонник толкование снов к чему
Интересные и серые, пропитанные отголосками прошедшего дня или, напротив, несущие в себе некие знамения, переносящие нас в далекое прошлое или рисующие в сознании картины будущего,

Популярное видео youtube
Давно решила себе купить зонт, при величайшем выборе расцветок, марок, брендов, очень тяжело определиться с моделью. Хотелось, что бы зонт был не только красивым, но и качественным, и прослужил не один

Поздравление парня с др
«Денек рождения- печальный праздничек…», - так гласит каждый, хотя где то в глубине души так ожидает сей день. Но самое, пожалуй, приятное – сделать это событие запоминающимся конкретно для возлюбленного

Значение фамилии порошенко
В 1956 году Алексей Вальцман женился на Евгении Сергеевне Порошенко и при этом изменил фамилию с Вальцман на Порошенко. В 1974 году - занял должность директора Бендерского исследовательского экспериментально-ремонтного

Само популярное видео
Предложили мне высокооплачиваемую и интересную работу в Киеве. Согласился сразу, грех такими предложениями в наше время разбрасываться. Работа работой, а образовалась проблема - жильё. По своему опыту