Прототип ИИ Make It Real превращает чертежи в работающее программное обеспечение

В среду совместный разработчик приложений для досок под названием Tldraw выпустиk прототип функции под названием Make it Real. Она позволяет пользователям рисовать изображение программного обеспечения и воплощать его в жизнь с помощью искусственного интеллекта.

Прототип ИИ Make It Real превращает чертежи в работающее программное обеспечение. Фото: СС0

Эта функция использует API GPT-4V OpenAI для визуальной интерпретации векторного рисунка в функционирующий веб-код Tailwind CSS и ЯваСкрипт, который может копировать пользовательские интерфейсы или даже создавать простые реализации таких игр, как Breakout.

Tldraw, разработанный Стивом Руисом в Лондоне, представляет собой инструмент для совместной работы с доской с открытым исходным кодом. Он предлагает базовый бесконечный холст для рисования, текста и мультимедиа без необходимости входа в систему.

Проект, запущенный в 2021 году, получил стартовое финансирование в размере 2,7 млн $ и поддерживается спонсорами GitHub. Когда недавно был запущен API GPT-4V, Руис интегрировал прототип дизайна под названием «draw-a-ui», созданный Сойером Худом, чтобы привнести в tldraw функциональность на основе искусственного интеллекта.

GPT-4V — это версия большой языковой модели OpenAI, которая может интерпретировать визуальные изображения и использовать их в качестве подсказок. Как объясняет на X эксперт по искусственному интеллекту Саймон Уиллисон, Make it Real работает путем «генерации PNG из нарисованных компонентов в кодировке Base64, а затем передачи его в GPT-4 Vision» с системным приглашением и инструкциями по превращению изображения в файл с помощью Tailwind.

Пользователи могут поэкспериментировать с онлайн-демоверсией Make It Real. Однако для его запуска требуется предоставить ключ API от OpenAI, что представляет собой угрозу безопасности. Если другие перехватят ключ API, они могут использовать его, а владельцу поступит большой счет. OpenAI взимает плату за объем данных, поступающих в его API и исходящих из него. Те, кто технически подкован, могут запускать код локально, но для этого все равно потребуется доступ к OpenAI API.

Startpack подготовил список систем искусственного интеллекта. Искусственный интеллект (ИИ) широко используется в бизнесе — начиная от повышения качества обслуживания клиентов до автоматизации бизнес-процессов. Один из видов искусственного интеллекта — нейронные сети. Нейросети с помощью алгоритмов способны распознавать закономерности в данных и генерировать новые. Это лишь часть сфер, где может применяться искусственный интеллект. Внедрение искусственного интеллекта в работу компании сократит расходы и время.

Статьи по теме