Runway представила Solaris — первую модель для покадровой генерации интерактивных интерфейсов в реальном времени

Runway представила Solaris — первую модель для покадровой генерации интерактивных интерфейсов в реальном времени. Фото: из архива компании

В традиционной модели разработки существует разрыв между ИИ, способным генерировать статический контент, и программным обеспечением реального времени, отвечающим за рендеринг динамических эффектов, и каждое взаимодействие между ними приходится явно определять через промежуточный код, что неизбежно ограничивает визуальную выразительность и сужает пространство возможных действий.

Главный прорыв Solaris заключается в устранении этого промежуточного слоя — модель генерирует каждый кадр непосредственно как единую модель мира, обеспечивая мгновенные и согласованные динамические отклики на любые действия пользователя, будь то перетаскивание одежды в виртуальном магазине с использованием собственной фотографии в качестве образца или голосовое изменение расположения мебели с учётом освещения в реальном времени.

Технология стала возможной благодаря инновациям в базовой архитектуре на основе модели генерации видео Gen-4.5: механизмы саморегрессивной генерации и многоступенчатой дистилляции позволили сжать процесс, занимавший секунды, до ритма реального времени, а координация больших языковых моделей с моделями окружающего мира обеспечивает интерпретацию намерений пользователя и визуальный рендеринг с сохранением согласованности длительных сессий.

В объективных тестах Solaris продемонстрировал превосходство над традиционными методами, которые при восстановлении интерфейсов по скриншотам неизбежно теряют детали с ростом визуальной сложности, тогда как Solaris сохраняет полное состояние интерфейса от первого кадра, а в парных сравнениях с более чем 7,5 тыс. участниками модель получила предпочтение в точном следовании инструкциям и естественности поведения с показателями 61 и 71 процента соответственно.

Однако у технологии остаются вызовы: высокоточная генерация текста в реальном времени остаётся сложной задачей в области видео, сохранение визуальной и семантической согласованности в длительных открытых взаимодействиях требует дальнейшей оптимизации, а также необходимы решения для интеграции с существующими программами чтения с экрана и API для обеспечения доступности.

Тем не менее, появление Solaris определяет начальную форму вычислительной платформы следующего поколения, где границы между приложениями стираются, а программное обеспечение динамически перестраивается в соответствии с непосредственными намерениями пользователя, и Runway уже открыла ранний доступ к модели для ключевых партнёров, чтобы ускорить исследование этого нового направления.