Группа исследователей обнаружила серьёзную уязвимость безопасности в ChatGPT. Из-за ошибки чат-бот может раскрыть личные данные, включая номера телефонов и адреса электронной почты, в ответ на, казалось бы, безобидный запрос.
В статье, опубликованной на прошлой неделе, исследователи заявили, что вынудили ChatGPT бесконечно повторять случайные слова. К их удивлению, чат-бот подчинился, но непреднамеренно раскрыл конфиденциальные данные из своего обучающего набора, включая личные контактные данные, фрагменты исследовательских работ, новостные статьи, страницы Википедии и многое другое.
В одном из примеров чат-бот выдала реальный адрес электронной почты и номер телефона после того, как ему предложили бесконечно повторять слово «стихотворение». Аналогичная утечка обучающих данных была достигнута и тогда, когда модель попросили много раз повторять слово «компания».
Чат-боты, такие как ChatGPT, и генераторы изображений на основе подсказок, такие как DALL-E, основаны на больших языковых моделях и алгоритмах глубокого обучения, которые обучаются на огромных объемах данных. Но до сих пор не было ясно, на каких данных обучался чат-бот OpenAI, поскольку большие языковые модели, лежащие в его основе, имеют закрытый исходный код.
По словам исследователей, OpenAI исправила уязвимость 30 августа. Но в собственных тестах Engadget смог повторить некоторые выводы статьи. Например, попросив ChatGPT бесконечно повторять слово «ответить», чат-бот сделал это, и в конечном итоге раскрыл чье-то имя и идентификатор Skype.
