Исследователи из Дартмута сообщают, что они разработали первое приложение для смартфонов, которое использует искусственный интеллект в сочетании с программным обеспечением для обработки изображений лица, чтобы надежно обнаружить начало депрессии еще до того, как пользователь поймет, что что-то не так.
Приложение под названием MoodCapture использует переднюю камеру телефона для захвата выражения лица человека и окружения во время регулярного использования, а затем оценивает изображения на наличие клинических признаков, связанных с депрессией. В исследовании 177 человек с диагнозом « большое депрессивное расстройство» приложение правильно определило ранние симптомы депрессии с точностью 75%.
Эти результаты предполагают, что технология может стать общедоступной в течение следующих пяти лет при дальнейшем развитии, говорят исследователи, базирующиеся на факультете компьютерных наук Дартмута и медицинской школе Гейзеля.
Команда опубликовала свою статью о базе данных препринтов arXiv перед ее представлением на конференции Ассоциации вычислительной техники CHI 2024 в мае. Доклады, представленные на CHI, проходят рецензирование перед принятием и будут опубликованы в материалах конференции.
«Это первый случай, когда естественные изображения «в дикой природе» используются для прогнозирования депрессии», — сказал Эндрю Кэмпбелл, автор-корреспондент статьи и профессор компьютерных наук Альберта Брэдли из Дартмута в 1915 году.
«Существует движение за цифровые технологии психического здоровья, которые в конечном итоге позволят создать инструмент, который сможет прогнозировать настроение у людей с диагнозом большая депрессия надежным и ненавязчивым способом».
«Люди используют программное обеспечение для распознавания лиц, чтобы разблокировать свои телефоны сотни раз в день», — сказал Кэмпбелл, чей телефон недавно показал, что он делал это более 800 раз за неделю.
«MoodCapture использует аналогичный технологический конвейер технологии распознавания лиц с аппаратным обеспечением глубокого обучения и искусственного интеллекта, поэтому существует огромный потенциал для масштабирования этой технологии без каких-либо дополнительных затрат или нагрузки на пользователя», — сказал он. «Человек просто разблокирует свой телефон, а MoodCapture знает динамику его депрессии и может предложить ему обратиться за помощью».
Для исследования приложение сделало 125 000 изображений участников в течение 90 дней. Участники исследования согласились на то, чтобы их фотографии были сделаны на переднюю камеру телефона, но не знали, когда это произошло.
Первую группу участников запрограммировали MoodCapture для распознавания депрессии. Их сфотографировали случайными сериями с помощью фронтальной камеры телефона, когда они отвечали на вопрос: «Я чувствовал себя подавленным, подавленным или безнадежным». Вопрос взят из опросника о состоянии здоровья пациента, состоящего из восьми пунктов, или PHQ-8, который используется врачами для выявления и мониторинга большой депрессии.
Исследователи использовали ИИ для анализа изображений на этих фотографиях, чтобы прогнозирующая модель MoodCapture могла научиться соотносить самоотчеты о чувстве депрессии с конкретными выражениями лица, такими как взгляд, движение глаз, положение головы и ригидность мышц, а также особенностями окружающей среды, такими как как доминирующие цвета, освещение, места съемки и количество людей на изображении.
Идея заключается в том, что каждый раз, когда пользователь разблокирует свой телефон, MoodCapture анализирует последовательность изображений в режиме реального времени. Модель искусственного интеллекта устанавливает связи между выражениями лиц и деталями фона, которые, как выяснилось, важны для прогнозирования тяжести депрессии, такими как взгляд в глаза, изменения в выражении лица и окружение человека.
Со временем MoodCapture определяет особенности изображения, характерные для пользователя. Например, если кто-то постоянно появляется с унылым выражением лица в тускло освещенной комнате в течение длительного периода времени, модель ИИ может сделать вывод, что у этого человека наступает депрессия.
Исследователи протестировали прогностическую модель, предложив отдельной группе участников ответить на один и тот же вопрос PHQ-8, в то время как MoodCapture фотографировала их и анализировала их фотографии на наличие показателей депрессии на основе данных, собранных от первой группы. Именно во второй группе ИИ MoodCapture правильно определил, были ли они в депрессии или нет с точностью 75%.
«Это демонстрирует путь к мощному инструменту для пассивной оценки настроения человека и использования данных в качестве основы для терапевтического вмешательства», — сказал Кэмпбелл, отметив, что точность в 90% будет порогом работоспособности датчика. «Я считаю, что такая технология может стать доступной для общественности в течение пяти лет. Мы показали, что это выполнимо».
MoodCapture справляется с серьезной депрессией в нерегулярные временные рамки, в которых она возникает, сказал Николас Джейкобсон, соавтор исследования и доцент кафедры биомедицинских данных и психиатрии в Дартмутском центре технологий и поведенческого здоровья.
«Многие из наших терапевтических вмешательств при депрессии сосредоточены на более длительных промежутках времени, но эти люди испытывают приливы и отливы в своем состоянии. Традиционные оценки упускают большую часть того, что такое депрессия», — сказал Джейкобсон, который руководит направлением «ИИ и психическое здоровье: инновации в медицине». Лаборатория технологического ориентированного здравоохранения (AIM HIGH).
«Наша цель — уловить изменения в симптомах, которые люди с депрессией испытывают в своей повседневной жизни», — сказал Джейкобсон. «Если мы сможем использовать это, чтобы предсказать и понять быстрые изменения симптомов депрессии, мы сможем в конечном итоге предотвратить их и лечить. Чем больше мы можем сделать в данный момент, тем менее глубоким будет воздействие депрессии».
Джейкобсон ожидает, что такие технологии, как MoodCapture, могут помочь сократить значительный разрыв между тем, когда людям с депрессией требуется вмешательство, и доступом, который они имеют к ресурсам психического здоровья. По его словам, в среднем менее 1% жизни человек проводит с врачом, например, психиатром. «Цель этих технологий — обеспечить большую поддержку в режиме реального времени, не создавая дополнительной нагрузки на систему ухода», — сказал Джейкобсон.
По словам Джейкобсона, приложение искусственного интеллекта, такое как MoodCapture, в идеале предлагало бы превентивные меры, такие как выход на улицу или встречу с другом, вместо того, чтобы явно информировать человека о том, что он, возможно, впадает в состояние депрессии.
«Если вы расскажете кому-то о том, что с ним происходит что-то плохое, это может усугубить ситуацию», - сказал он. «Мы считаем, что MoodCapture открывает двери для инструментов оценки, которые помогут выявить депрессию за тот момент, пока она не ухудшилась. Эти приложения должны сочетаться с вмешательствами, которые активно пытаются разрушить депрессию до того, как она расширится и разовьется. Чуть более десяти лет назад такой вид работы был бы невообразим».
Исследование основано на гранте Национального института психического здоровья, который возглавляет Джейкобсон, который изучает использование глубокого обучения и пассивного сбора данных для выявления симптомов депрессии в режиме реального времени. Оно также основано на исследовании 2012 года, проведенном лабораторией Кэмпбелла, в ходе которого были собраны пассивные и автоматические данные с телефонов участников Дартмута для оценки их психического здоровья.
Но с тех пор развитие камер смартфонов позволило исследователям четко снимать те «пассивные» фотографии, которые делаются при обычном использовании телефона, сказал Кэмпбелл. Кэмпбелл — директор по новейшим технологиям и анализу данных в Центре технологий и поведенческого здоровья, где он возглавляет команду по разработке мобильных датчиков, которые могут отслеживать такие показатели, как эмоциональное состояние и производительность труда, на основе пассивных данных.
Новое исследование показывает, что пассивные фотографии являются ключом к успешным мобильным терапевтическим инструментам, сказал Кэмпбелл. Они улавливают настроение точнее и чаще, чем фотографии или селфи, созданные пользователями, и не отпугивают пользователей, требуя активного участия.
«Эти нейтральные фотографии очень похожи на то, как будто вы видите кого-то в данный момент, когда он не надевает винир, что повысило эффективность нашей модели прогнозирования выражения лица», — сказал Кэмпбелл.
Субигья Непал, Школа аспирантуры и повышения квалификации Гуарини, доктор философии. кандидат исследовательской группы Кэмпбелла, который вместе с доктором философии. Студент Арвинд Пиллаи, Гуарини, является соавтором исследования, сказал, что следующие шаги MoodCapture включают обучение ИИ на большем разнообразии участников, улучшение его диагностических способностей и усиление мер конфиденциальности.
По словам Непала, исследователи предполагают создание версии MoodCapture, в которой фотографии никогда не покидают телефон человека. Вместо этого изображения будут обрабатываться на устройстве пользователя для извлечения выражений лица, связанных с депрессией, и преобразования их в код для модели ИИ. «Даже если данные когда-нибудь покинут устройство, не будет возможности собрать их обратно в изображение, которое идентифицирует пользователя», — сказал он.
Между тем, точность приложения со стороны потребителя может быть повышена, если ИИ будет расширять свои знания на основе выражений лица конкретного человека, использующего его, заявил Непал.
«Вам не придется начинать с нуля — мы знаем, что общая модель имеет точность на 75 %, поэтому для точной настройки модели можно использовать данные конкретного человека. Устройства в ближайшие несколько лет должны легко справиться с этой задачей». ", - сказал Непал.
«Мы знаем, что выражения лица являются показателем эмоционального состояния. Наше исследование является доказательством концепции, согласно которой, когда дело доходит до использования технологий для оценки психического здоровья, они являются одним из самых важных сигналов, которые мы можем получить».
