В ходе теста Тьюринга респонденты не смогли отличить искусственный интеллект от человека

Популярные инструменты искусственного интеллекта, такие как GPT-4, генерируют беглый текст и настолько хорошо справляются с различными языковыми задачами, что определить, является ли собеседник человеком или машиной, все труднее.
В ходе теста Тьюринга респонденты не смогли отличить искусственный интеллект от человека

В ходе теста Тьюринга респонденты не смогли отличить искусственный интеллект от человека. Фото: из архива исследователей

Сценарий, который использовали исследователи, частично повторяет знаменитый мысленный эксперимент Алана Тьюринга, в котором он предложил тест, позволяющий оценить, может ли машина демонстрировать человеческое поведение до такой степени, что человек-судья больше не сможет надежно различать человека и машину, основываясь исключительно на их реакциях.

Исследователи из департамента когнитивных наук Калифорнийского университета в Сан-Диего решили посмотреть, как работают современные системы искусственного интеллекта, и оценили ELIZA (простой основанный на правилах чат-бот 1960-х годов, включенный в качестве базового в эксперимент), GPT-3.5 и GPT-4 в контролируемом эксперименте.  

Участники в течение пяти минут разговаривали либо с человеком, либо с искусственным интеллектом, а затем должны были решить, был ли их собеседник человеком.

GPT-4 и GPT-3.5 научили, как реагировать на сообщения. Исследователи поручили модели «принять образ молодого человека, который был очень краток, не относился к диалогу очень серьезно, использовал сленг и время от времени допускал орфографические ошибки».

Кроме того, подсказка содержала «общую информацию о настройке диалога и информацию о недавних новостях, произошедших после прекращения обучения модели».

Доступ к двум моделям осуществлялся через API OpenAI. Чтобы предотвратить слишком быстрый ответ ИИ, сообщения отправлялись с задержкой в ​​зависимости от количества символов в сообщении.

В исследовании 500 участников были разделены на пять групп. Они вели разговор либо с человеком, либо с одной из трех систем искусственного интеллекта. Интерфейс диалога напоминал типичное приложение для обмена сообщениями. Через пять минут участники решали, считают ли они, что их собеседником был человек или искусственный интеллект, и обосновывали свои решения.

Результаты были интересными. GPT-4 был идентифицирован как человеческий в 54% случаев, опережая GPT-3,5 (50%), причем оба значительно превосходили ELIZA (22%), но отставали от реальных людей (67%). Участники не более чем случайно идентифицировали GPT-4 как ИИ, что указывает на то, что современные системы ИИ могут обмануть собеседника, заставив их поверить в то, что они люди.

Анализ результатов показал, что участники часто полагались на лингвистический стиль, социально-эмоциональные факторы и вопросы, основанные на знаниях, чтобы решить, разговаривают ли они с человеком или с машиной, сообщают исследователи.

Startpack подготовил список систем искусственного интеллекта. Искусственный интеллект (ИИ) широко используется в бизнесе — начиная от повышения качества обслуживания клиентов до автоматизации бизнес-процессов. Один из видов искусственного интеллекта — нейронные сети. Нейросети с помощью алгоритмов способны распознавать закономерности в данных и генерировать новые. Это лишь часть сфер, где может применяться искусственный интеллект. Внедрение искусственного интеллекта в работу компании сократит расходы и время.

Статьи по теме

Упомянутый сервис

ChatGPT Нейросеть для общения и генерации идей.
Нейросеть для общения и генерации идей.

6 комментариев

Добавить комментарий

Больше интересного

Актуальное

Разработчики улучшили синхронизацию между Календарем Google и сторонними календарями
Возможность добавлять и удалять группы Google в качестве участников пространства с помощью API Google Chat теперь общедоступна
Комментарии и действия в зашифрованных на стороне клиента документах Google теперь общедоступны
Ещё…