OpenAI представила систему Shap-E, которая может генерировать 3D-модели из текстового описания или создавать их на основе загруженных картинок.
Еще в декабре прошлого года OpenAI выпустила систему Point-E, способную использовать текстовые инструкции для построения элементарных 3D-моделей. Новая система Shap-E стала развитием этой идеи.
Shap-E работает намного быстрее предшественницы. Кроме того, она способна строить свои модели как «неявные функции» - математические формулы, которые могут быть либо визуализированы как текстурированные сети, либо как нейронные поля (NeRF) - 3D-модели, построенные из 2D изображений с помощью машинного обучения.
Зачем это нужно?
Технология открывает много интересных возможностей. Если вы можете говорить с компьютером и создавать 3D-модели, просто описывая их естественным языком, это означает, что вы можете создавать целые проекты изделий, деталей, зданий или скульптур, вообще не трогая мышь и внося правки устно.
Технология может применяться даже в видеоиграх. Представьте, например, игру в фентезийном сеттинге, где вы можете буквально заказать себе оружие желаемой конфигурации, описав его местному персонажу-кузнецу.
Также система может ощутимо повлиять на рынок 3D-печати, сделав моделирование более доступным и интуитивным.
