Применение платформы Nvidia Omniverse для создания виртуального университета

Разработка виртуального двойника университета с помощью игровых технологий и платформы NVIDIA Omniverse.

В ходе выполнения проекта была смоделирована виртуальная модель Университета. Почему именно виртуальная модель? Созданная таким образом модель Университета позволит использовать его для разработки цифрового или виртуального двойника университета. Цифровой двойник — это цифровая копия физического объекта или процесса, помогающая оптимизировать эффективность его управления. Проект был реализован в несколько этапов:

• по чертежу планировки Университета были смоделированы все помещения в программе Autodesk 3ds Max. После моделирование готовую трехмерную модель экспортировали в игровой движок Unreal Engine с помощью официального плагина Datasmith Importer. Главная особенность данного метода экспорта в том, что все величины, система координат и даже примененные материалы экспортируются в Unreal Engine без искажения или изменений;
• при моделировании внутренних объектов были привлечены 9 студентов первого и второго курсов специальности «Медиа технологии»;
• для объединения всех смоделированных объектов использова­лась платформа Nvidia Omniverse. Была закуплена рабочая станция повышенной мощности для совместной работы студентов над проектом.

NVIDIA Omniverse – это открытая облачная платформа, которая позволяет ускорять рабочие процессы проектирования и моделирования и совместно работать в реальном времени над проектами фотореалистичного качества. Omniverse дает возможность дизайнерам, инженерам и исследователям сотрудничать в виртуальных мирах, в котором они связаны между собой. Платформа предоставляет дизайнерам и разработчикам «порталы», связывающие между собой в live-режиме их рабочие среды, например, Autodesk Maya, Adobe Photoshop и Unreal Engine. Используя Omniverse, каждый член команды может без ощутимых задержек видеть все изменения, внесённые другими. Платформа повышает эффективность, продуктивность и гибкость, поскольку команды из одной комнаты и из любой точки мира могут войти в Omniverse и вместе работать над проектами с фотореалистичным рендерингом в реальном времени.

Ключевая особенность Omniverse – это возможность легко работать одновременно в разных программных обеспечениях. Создателям контента, дизайнерам и инженерам через Omniverse Connectors доступны ведущие отраслевые приложения, такие как Autodesk Maya и Revit, Adobe Photoshop, Substance Designer, Substance Painter, McNeel Rhino, Trimble SketchUp и Epic Unreal Engine, Autodesk 3ds Max. Многие другие находятся в разработке, в том числе для Blender, SideFX Houdini, и AutoDesk MotionBuilder.

Для обмена информацией о моделях, анимации, визуальных эффектах и рендеринге платформа использует открытую технологию Pixar Universal Scene Description (USD). Кроме того, она поддерживает Material Definition Language (MDL) — язык для передачи данных о материалах объектов, разработанный в NVIDIA.

Для получения реалистичных картинок все смоделированные объекты были размещены по аудиториям согласно полученной планировке. В виртуальной копии Университета есть возможность подключения сенсоров и датчиков для отображения различной информации. Все датчики были созданы совместно с директором НИЦ Индустрия 4.0 Нефтисовым А., и в них реализована возможность отправки данных на локальный сервер Университета. Для размещения данных с датчиков и сенсоров был задействован хостинг, который физически находится на территории Университета. Это упрощает локальное подключение к ним запись данных, в то же время защищает от взлома и обеспечивает безопасность данных.

Результаты проекта оформлены в виде статьи «Leveraging Real-Time Simulation and Collaboration Platform for Project-Based Learning: Case Study of Astana IT University» в трудах научной конференции TALE 2021 — IEEE International Conference on Engineering, Technology and Education, Proceedings, 2021, с. 1130–1134. (проиндексирован в Scopus), а также продемонстрированы несколько раз перед гостями Университета и должностными лицами МОН РК и МЦРИАП в 2021 и 2022 годах. Для наглядности демонстрационное видео загружено в видеохостинг Youtube и доступно по ссылке:

После получения виртуальной копии университета было выполнено тестовое подключение модуля определения движущихся объектов с камер видеонаблюдения. Для определения расположения людей использовались библиотеки машинного обучения.

Как продолжение проекта, данный подход создания виртуальной копии здания был применен для школы №89 г. Астана. Создана виртуальная копия первого этажа школы с расположением мебели и других внутренних объектов. Было проведено тестовое подключение модуля определения движущихся объектов для мониторинга поведения людей и безопасности в реальном времени.