Создана возможность удалять объекты из прямых записей трехмерных сред
01:00, Апрель 24, 2025
Исследователи из Института визуальных вычислений создали возможность удалять объекты из прямых записей трехмерных сред без задержки по времени, пока камера остается в движении. Размещение цифровых объектов на реальной сцене теперь знакомо многим как дополненная реальность (AR). Ее аналог, уменьшенная реальность (DR), менее известен: DR позволяет удалять объекты со сцены и заполнять образовавшуюся пустоту правдоподобным образом. Чтобы добиться этого в трехмерном пространстве, предыдущие методы требовали большой вычислительной мощности и могли генерировать адаптированную сцену только с задержкой по времени , а иногда и с неверными представлениями. Команда под руководством Дитера Шмальштига, Шохея Мори и Дениса Калькофена из Института визуальных вычислений в Технологическом университете Граца (TU Graz) совместно с командой Хидео Сайто из Университета Кейо в Японии теперь преуспели в том, чтобы заставить 3D-объекты исчезнуть в реальном времени, используя уменьшенную реальность, комбинируя различные технологии. Это позволяет просматривать комнату в реальном времени через камеру в ее измененном виде. Photoshop для перемещения 3D-изображений «Проще говоря, можно представить себе уменьшенную реальность как своего рода Photoshop для 3D-сцен», — говорит Мори. «Некоторые люди могут сначала подумать о том, как можно использовать его для удаления неприятных вещей из праздничных видеороликов. Это сложно, но возможно. Есть и другие области, где приложения DR чрезвычайно полезны». Это открывает новые перспективы в отрасли для моделирования неисправностей в обучающих наборах данных для автономных транспортных средств или для эффективной предварительной визуализации (превизуализации) сцен из фильмов на реальных съемочных площадках, которые выглядят совершенно иначе, чем хотелось бы во время разведки локаций. DR также может внести свой вклад в медицинскую сферу , например, путем удаления отвлекающих элементов из поля зрения записывающих камер во время хирургических процедур, чтобы обеспечить студентам беспрепятственный учебный материал. Новая технология, называемая InpaintFusion, использует 2D-закрашивание в качестве отправной точки, а затем объекты в конечном итоге удаляются из 3D-сцены. Пользовательские вводы на 2D-экране проецируются на 3D-сцену, чтобы можно было определить области, которые нужно удалить. Ключевой кадр служит отправной точкой, а правдоподобный фон создается путем сбора и слияния соответствующих пикселей из окружения объекта, который нужно удалить. Чтобы достичь этого в 3D, цветовая информация и данные глубины сканируемой сцены оптимизируются одновременно, чтобы результат выглядел убедительно, даже если перспектива камеры изменена. Проекту удалось применить 3D inpainting к объемным данным 3D-изображения (многослойным изображениям), что приводит к более высокому качеству восприятия расстояния до объекта. Инструментарии для более широкой аудитории Самой большой проблемой было сделать возможными этапы обработки в реальном времени. Для этого исследователи использовали две разные технологии: быстрое сопоставление патчей и многопоточность. При сопоставлении патчей наиболее визуально очевидные окружающие пиксели для заполняемой области ищутся случайным образом, чтобы собрать и объединить соответствующие пиксели. Они не всегда должны быть самыми лучшими, но в целом они предоставляют достоверный материал-заполнитель без необходимости расчета миллионов пикселей. Многопоточность использует способность процессоров компьютеров выполнять несколько процессов одновременно на каждом ядре процессора. В решении исследовательской группы по уменьшению реальности вычислительно-интенсивный расчет 3D-вставки выполняется в фоновом режиме, в то время как основной поток управляет визуализацией. Это позволяет пользователям видеть конечный результат без задержки и перемещаться по комнате без повторного появления удаленного объекта на изображении. «Визуализация уменьшенной реальности в реальном времени — важный шаг для этой технологии», — говорит Мори. «Теперь задача — разработать соответствующие наборы инструментов, чтобы эти возможности стали доступны более широкой аудитории. Другая цель — быстрое и эффективное создание 3D-моделей из небольшого количества отдельных изображений. Это придало бы уменьшенной реальности дополнительное измерение»....
