Распознать COVID-19, онкологию и катаракту: что может ИИ в вашем смартфоне 🤖📱

Изучает родинки

Мобильное приложение «ПроРодинки» выявляет злокачественные опухоли, маскирующиеся под родинки. Это российское приложение, использующее искусственный интеллект для диагностики здоровья. Оно умеет находить базально-клеточный рак кожи и меланому.

Решения нейросети под контролем врачей

Тёмные точки на коже — невусы, которые мы привыкли называть родинками, иногда оказываются злокачественными опухолями. Периодически невусы должен осматривать специалист, особенно те, которые меняют свою форму или цвет.

Отечественные программисты и учёные совместными усилиями создали мобильное приложение, которое способно оценивать потенциальную опасность той или иной родинки просто по её фото.

Анализом занимается нейросеть. Её обучили на пяти тысячах снимков невусов, исследованных врачами.

Каждое обучающее изображение было оценено минимум двумя экспертами. Они разметили тренировочный набор данных, указав нейросети, на каких фотографиях запечатлены опасные новообразования, а на каких ― обычные родинки. В результате нейронная сеть научилась распознавать онкологию с точностью до 90%. Такие результаты соответствуют уровню хорошего врача-дерматолога (да, медики тоже ошибаются).

Система «ПроРодинки» состоит из нескольких ключевых элементов. Мобильные приложения ― это только видимая её часть. Основную работу выполняет нейронная сеть, размещённая на сервере проекта. Обмен информацией между клиентским приложением и сервером происходит через интернет, поэтому программа не может функционировать в офлайн-режиме.

Практически каждый снимок проверяется дважды ― не только нейросетью, но и специалистом. В сомнительных случаях, когда компьютерные алгоритмы не могут поставить точный диагноз, оценку изображения проводят специалисты-люди. Результаты их решений также попадают в нейросеть и улучшают ее работу, происходит дообучение.

Приложение разрабатывали три года, его долго и внимательно тестировали. Во время испытаний система помогла врачам диагностировать более 1000 случаев подозрений на опасные кожные заболевания.

Разработчики подчеркивают, что программу нельзя использовать для самостоятельного лечения, а её рекомендации носят вероятностный характер. «ПроРодинки» не может заменить консультацию настоящего врача. Приложение ― это лишь повод задуматься о себе и о своём здоровье.

Вскоре разработчики собираются дополнить программу новыми функциями. Вместе с рекомендацией посетить врача система будет выдавать адреса ближайших поликлиник и специализированных медцентров. Также приложение окажет помощь с записью к нужному доктору через интернет.

И смотрит в глаза

Мобильное приложение CRADLE White Eye Detector диагностирует глазные заболевания по фотографиям. Встроенный в него искусственный интеллект способен обнаруживать на снимках опасный симптом ― белое свечение зрачка, лейкокорию, которую называют синдромом белого или кошачьего глаза. Лейкокория может свидетельствовать о начале развития ретинобластомы, катаракты и других опасных болезней.

Программа разработана специалистами Бэйлорского университета (США). Она предназначена прежде всего для проверки детских глаз. Причина в том, что взрослые обычно сами замечают, что с их зрением что-то не так, а дети не понимают, что происходит, и не жалуются. Глазные болезни у детей лечатся, но, если вовремя не принять меры, последствия будут самыми плачевными.

Как это работает

При съемке со вспышкой в темных помещениях часто проявляется эффект красных глаз. На фото эффект выглядит не особо эстетично, но тут можно и порадоваться: он говорит о том, что у вас нет серьёзных проблем со зрением. Возникает он из-за того, что свет вспышки отражается от наполненных кровью кровеносных сосудов сетчатки. А вот если на фотографиях видны «белые» или «жёлтые» глаза, то это уже повод забить тревогу ― что-то внутри глазного яблока мешает свободному прохождению лучей света. Это может быть опухоль или другое серьёзное заболевание.

Сын профессора Бэйлорского университета Брайана Шоу заболел ретинобластомой. К сожалению, болезнь выявили поздно, и ребёнок ослеп на один глаз.

Просматривая в смартфоне старые фотографии сына, Шоу обнаружил на них лейкокорию. Ранние признаки заболевания — «белые» глаза — можно было увидеть на снимках ребёнка, за несколько месяцев до постановки страшного диагноза. Но, к сожалению, он их вовремя не заметил.

После этого случая профессор предложил коллегам создать приложение, которое бы автоматически сканировало фотографии детей в смартфонах родителей и немедленно сообщало бы о первых признаках белого свечения глаз.

Учёные назвали алгоритм CRADLE (Computer-Assisted Detector of Leukocoria). Первая версия появилась в 2014 году, и с тех пор разработка несколько раз совершенствовалась. На базе алгоритма было создано мобильное приложение CRADLE White Eye Detector. О результатах работы учёные рассказали в научной статье.

В основе приложения десять нейронных сетей. Алгоритм распознаёт глаза на фотографиях детских лиц и передаёт эти фрагменты изображений в каждую из десяти нейросетей. Все они обучены распознавать лейкокорию, но делают это по разным алгоритмам и с переменным успехом. Поэтому итоговый результат вычисляется путем «голосования» среди участвующих в оценке сетей ― простым большинством.

Для обучения были использованы 53 тысячи снимков 40 детей. Как абсолютно здоровых, так и тех, у кого были выявлены проблемы со зрением. Родители отозвались на призыв учёных, опубликованный в СМИ, и добровольно пожертвовали науке все фотографии своих детей, которые хранились в их смартфонах.

Специалисты просмотрели этот огромный массив изображений и разметили вручную снимки, указав, на каких есть признаки лейкокории, а на каких ― нет. Также они удалили из набора повторяющиеся изображения и те, на которых не были видны детские глаза.

После обучения нейронная сеть приложения смогла верно обнаружить лейкокорию у 80% больных детей. Причём признаки заболеваний глаз алгоритм находил на фотографиях, сделанных за полтора-два года до проявления явных симптомов болезни.

Для уверенного обнаружения «белых» глаз алгоритму требуется просмотреть несколько снимков одного и того же ребёнка. Программа может пропустить тревожный симптом на одном-двух фото. Но если она проверит десятки изображений, то уже с высокой вероятностью сможет выдать точный вердикт.

Поэтому приложение сканирует все фотографии в смартфоне. Их обычно много ― ведь мы любим фотографировать своих детей. И чем больше снимков, тем выше вероятность, что нейросеть вовремя обнаружит признаки лейкокории и посоветует обратиться к врачу.

Программа работает в офлайн-режиме, не отправляет фотографии детей на сервер компании без ведома владельца. Этот факт может порадовать всех, кто опасается утечки персональных данных.

Разработчики предупреждают, что их творение не может заменить визит к специалисту.