Технологии виртуальной и дополненной реальности в нашем сознании тесно связаны с досугом. Одно упоминание компьютерного мира — и в мыслях возникает образ геймера, погружающегося в искусственную вселенную при помощи массивных очков. Однако цифровые инновации способны приносить большую пользу и в реальной жизни, облегчая труд человека в экстремальных условиях: во время хирургических операций, спасательных работ и даже в открытом космосе!
Увидеть пациента насквозь и подготовить молодого врача
В 2021 г. впервые в России в Первом Санкт-Петербургском государственном медицинском университете им. акад. И.П. Павлова состоялась операция с применением технологий дополненной реальности. Специальное приложение для «умных» очков, созданное экспертами университета совместно с коллегами из Института прикладной математики и механики Санкт-Петербургского политехнического университета Петра Великого, помогло врачам успешно удалить пациенту рецидив срединной кисты шеи. Примечательно, что событие состоялось спустя всего полгода после того, как первую операцию с использованием дополненной реальности провели в США.
В 2021 г. в России впервые состоялась операция с использованием технологий дополненной реальности.
Источник: скриншот видео «Первая в России операция с использованием технологии дополненной реальности» на канале «Политех Петра» на YouTube
Как работает новая технология? Сначала на основе данных магнитно-резонансной и компьютерной томографии создается 3D-модель внутреннего строения области тела, которую предстоит оперировать: шейного отдела, черепа и т.п. Получаемая голограмма отображает расположение не только костей, но и мягких тканей, кровеносных сосудов и опухолей. Далее изображение передается на очки дополненной реальности и при помощи специальной программы привязывается к месту операции. Для точности создания голографической модели и дальнейшего наложения виртуальной картинки на тело пациента во время томографии и операции голова и шея пациента фиксируются при помощи индивидуально изготовленной маски-каркаса.
В результате во время планирования и проведения операции врач получает возможность видеть «сквозь кожу» оперируемого, что облегчает процесс хирургического вмешательства и делает его менее инвазивным.
Перед хирургическим вмешательством создается трехмерная модель области организма, которую предстоит оперировать.
Источник: скриншот видео «Первая в России операция с использованием технологии дополненной реальности» на канале «Политех Петра» на YouTube
«Новая технология позволяет во время операции четко визуализировать всю зону хирургического вмешательства, видеть образования и сосуды, что в значительной степени уменьшает травматичность вмешательств и снижает риск развития осложнений во время операции и после ее выполнения, — поделился впечатлениями профессор ПСПбГМУ Николай Викторович Калакуцкий, руководивший операцией. — Введение новой технологии в клиническую практику непременно улучшит диагностику заболеваний и планирование операций».
Систему уже применили специалисты Национального исследовательского медицинского центра им. В.А. Алмазова, задействовав технологию в операции по повторному удалению злокачественной опухоли головного мозга. В этом случае для фиксации головы оперируемого создавался каркас со специальным маркером — меткой, на которую ориентировалась программа очков, чтобы правильно наложить на тело компьютерное изображение. Создатели надеются, что в ближайшем будущем разработка получит широкое распространение в клиниках страны.
Виртуальная и дополненная реальность активно применяется не только в лечении больных, но и в подготовке и переподготовке врачей. Об этом корреспонденту «Научной России» рассказал председатель совета директоров НПО «Национальное телемедицинское агентство», член совета Российского телемедицинского консорциума, старший научный сотрудник РАН Михаил Яковлевич Натензон.
«В медицинских учебных заведениях в последнее время стали очень активно внедряться так называемые симуляционные центры, имитирующие различные ситуации, с которыми столкнется будущий врач. Такой симуляционный центр позволяет студенту-медику получить практические навыки оказания медицинской помощи в очень широком спектре различных ситуаций», — отметил М.Я. Натензон. Обсуждая тему хирургических операций, специалист добавил, что большое значение для развития этой области также имеют технологии прямых трансляций.
Виртуальная реальность — ценное подспорье в подготовке и переподготовке врачей.
Фото: freepik / фотобанк Freepik
«Для того чтобы стать хорошим хирургом, нужно минимум семь лет стоять “за спиной” оперирующего хирурга и ассистировать ему прежде, чем начать самостоятельно оперировать. Это довольно расточительно с точки зрения затрат времени на подготовку специалистов, но вполне объяснимо. Операционное поле видит склонившийся над ним хирург, а остальные члены операционной бригады почти ничего не видят, кроме спин в белых халатах. А если, условно говоря, укрепить на шапочке оперирующего хирурга камеру, дать ему микрофон и выводить ход операции на экраны мониторов, тогда обучающийся хирург фактически будет сам участвовать в операции, — пояснил М.Я. Натензон. — Более того, оперирующий хирург может дистанционно запросить какую-то консультацию, потому что в ходе долгих серьезных операций порой возникают неожиданности, которые просто невозможно учесть даже при самом тщательном планировании».
Эксперт отметил большие перспективы технологий виртуальной реальности в подготовке будущих медиков к взаимодействию с пациентами, которая очень важна для установления доверительных отношений между врачом и больным.
«Виртуальная реальность для обучения молодого врача общению с пациентами — это идеальное решение. Сейчас для обучения будущих врачей умению общения с пациентами вынуждены привлекать других студентов-артистов, которые играют роль пациентов и имитируют общение “врач — пациент” по заученному сценарию. Но человеческий фактор настолько велик, что качество такой постановки не всегда идеально: вряд ли девушка хорошо сыграет роль очень больной старушки со злобным характером, чтобы молодой студент-медик правильно понял, как обращаться с таким пациентом. Виртуальная реальность, напротив, легко контролируется через мониторы преподавателями, в ней можно придумать миллион сценариев и неоднократно их повторить, — подчеркнул М.Я. Натензон. — Это поможет создать новую систему оказания медицинской помощи — совершенно другого уровня и качества».
«Шпаргалка» для космонавта
Космонавт И.В. Вагнер испытывает очки дополненной реальности для работы в космосе.
Фото: Андрей Шелепин / пресс-служба Центра подготовки космонавтов им. Ю.А. Гагарина
В сентябре 2022 г. «Роскосмос» приступил к испытаниям системы дополненной реальности для космонавтов. Тестированием проекта, названного «Интеллектуальная технология контроля ручных операций по видеоизображению», занимается Центр подготовки космонавтов. Технология облегчит людям работу в открытом космосе.
Система представляет собой специальные очки со встроенным искусственным интеллектом. Когда космонавт смотрит на какую-либо деталь, «умная» программа выводит на очки информацию о ней и рекомендации по дальнейшему порядку действий. Достижение амбициозной цели стало возможным благодаря сочетанию в одной разработке технологий машинного зрения, дополненной реальности и цифрового проектирования.
В первых испытаниях системы принял участие российский космонавт Иван Викторович Вагнер. Руководствуясь показаниями устройства, он успешно собрал научный прибор «Баббл-дозиметр». В процессе работы очки показывали космонавту текстовые и графические подсказки, а также распознающие рамки вокруг определяемых искусственным интеллектом деталей. Для наблюдения за испытаниями информация из очков дополнительно выводилась на внешний монитор.
«Умные руки» для спасателя
Не меньшее значение технологии дополненной реальности имеют для спасателей. Летом 2022 г. корпорация «Ростех» представила интерактивные шлемы «Умные руки», способные облегчить труд работников экстренных служб во время ликвидации последствий чрезвычайных ситуаций.
Новые шлемы получают информацию с квадрокоптеров и позволяют спасателям постоянно поддерживать связь с центром управления и друг с другом. Разработка позволяет одновременно организовывать работу спасательских бригад численностью до 20 человек. Радиус действия системы не ограничен.
Система «Умные руки» призвана облегчить труд спасателей.
Источник: скриншот видео «Шлем для спасателей с технологией дополненной реальности» на канале «Ростех» на RuTube
Система «Умные руки» призвана облегчить труд спасателей.
Источник: скриншот видео «Шлем для спасателей с технологией дополненной реальности» на канале «Ростех» на RuTube
Система «Умные руки» призвана облегчить труд спасателей.
Источник: скриншот видео «Шлем для спасателей с технологией дополненной реальности» на канале «Ростех» на RuTube
В процессе работы шлем демонстрирует спасателю видеоподсказки из встроенной базы данных, а также предупреждает об опасностях, показывая горячие поверхности, объекты под напряжением и т.п. В этом устройству в числе прочего помогает встроенный тепловизор, который сотрудник может использовать и для поиска пострадавших под завалами. Сотрудники в шлемах непрерывно находятся под дистанционным контролем операторов, отдающих им команды, и могут передавать друг другу аудио- и видеоинформацию, тепловизионные показатели, изображения, схемы и техническую документацию.
«Мы представляем решение, способное повысить уровень защиты спасателей, увеличить эффективность их действий, а также скорость коммуникации с ситуационным центром. Шлем “Умные руки” будет очень полезен во время аварийно-спасательных или монтажных работ, при ликвидации последствий чрезвычайных ситуаций, выявлении или устранении любого рода техногенных повреждений», — сообщил исполнительный директор «Ростеха» Олег Николаевич Евтушенко.
* * *
Отечественные разработки в области дополненной и виртуальной реальности поистине впечатляют. Замечательно, что технологии цифрового мира обретают применение в сферах особенно напряженного человеческого труда, помогая достигать новых вершин и спасать людей не только в компьютерном мире, но и в реальной жизни.
Источники
Беседа с М.Я. Натензоном
Политех. Наука и инновации (сайт Санкт-Петербургского политехнического университета Петра Великого). Проведена первая в России операция с использованием технологии дополненной реальности
Центр подготовки космонавтов им. Ю.А. Гагарина. Официальная страница в социальной сети «ВКонтакте». Публикация от 16.09.2022 в 17:40 («Началось тестирование системы дополненной реальности для помощи космонавтам»)
Госкорпорация «Ростех». «Ростех» создал шлем для спасателей с технологией дополненной реальности
Источник изображения на превью: freepik / фотобанк Freepik
Фото на главной странице: DCStudio / фотобанк Freepik
Источники изображений в тексте: скриншоты видео «Первая в России операция с использованием технологии дополненной реальности» на канале «Политех Петра» на YouTube, freepik / фотобанк Freepik, Андрей Шелепин / пресс-служба Центра подготовки космонавтов им. Ю.А. Гагарина, скриншоты видео «Шлем для спасателей с технологией дополненной реальности» на канале «Ростех» на RuTube.