ChatGPT не способен генерировать тексты, которые неотличимы от тех, что созданы человеком. К такому мнению пришли ученые Калифорнийского университета.

Специалисты проверили лучшую на данный момент языковую модель в рамках теста Алана Тьюринга, разработанного 70 лет назад. Этот способ позволял определить, способна ли машина достичь уровня разговорной речи и интеллекта.

В исследовании приняли участие более 600 человек, которые беседовали друг с другом или с GPT. В завершении испытуемые должны были определить, с кем именно они разговаривали.

В итоге модели GPT-4 ввели в заблуждение в 41% случаев, а модели GPT-3.5 – в 14% случаев. У людей были зафиксированы более высокие показатели: в 63% испытаний они смогли убедить собеседников, что перед ними не машины.

Ученые пришли к выводу, что GPT-4 пока не может пройти указанный тест. При этом во многих случаях чат-боты способны общаться настолько убедительно, чтобы обманывать пользователей.