Хакеры научились создавать ложные воспоминания в ChatGPT для кражи данных

Исследователи безопасности выявили уязвимость, которая может позволить злоумышленникам сохранять вредоносные инструкции в настройках памяти пользователя в приложении ChatGPT для MacOS.

Хакеры научились создавать ложные воспоминания в ChatGPT для кражи данных. Фото: из архива OpenAI

В отчете Иоганна Ребергера из Embrace The Red отмечено, как злоумышленник может запустить инъекцию подсказки, чтобы получить контроль над ChatGPT, а затем вставить память в его долгосрочное хранилище и механизм сохранения. Это приводит к эксфильтрации разговора с обеих сторон прямо на сервер злоумышленника.

С этого момента запрос сохраняется как «постоянный в памяти», поэтому любые будущие разговоры с чат-ботом будут иметь ту же уязвимость. Поскольку ChatGPT помнит такие вещи о своих пользователях, как имена, возраст, местоположение, симпатии и антипатии, а также предыдущие поиски, этот эксплойт представляет серьезный риск для пользователей.

В ответ команда OpenAI представила API, которые сделали невозможным применение эксплойта через веб-интерфейс ChatGPT, а также запустила исправление, чтобы предотвратить использование воспоминаний в качестве вектора эксфильтрации. Однако исследователи говорят, что ненадежный сторонний контент все еще может внедрять подсказки, которые могут эксплуатировать инструмент памяти.

Инструмент памяти автоматически включен по умолчанию в ChatGPT, но может быть отключен пользователем.

Чтобы снизить риски, связанные с этим, пользователи должны быть бдительны при использовании чат-бота и особенно обращать внимание на сообщения «добавлено новое воспоминание». Регулярно просматривая сохраненные воспоминания, пользователи могут проверять наличие потенциально опасных добавленных воспоминаний, предупреждают исследователи.

Startpack подготовил список систем искусственного интеллекта. Искусственный интеллект (ИИ) широко используется в бизнесе — начиная от повышения качества обслуживания клиентов до автоматизации бизнес-процессов. Один из видов искусственного интеллекта — нейронные сети. Нейросети с помощью алгоритмов способны распознавать закономерности в данных и генерировать новые. Это лишь часть сфер, где может применяться искусственный интеллект. Внедрение искусственного интеллекта в работу компании сократит расходы и время.

Статьи по теме