Газета Wall Street Journal совместно с компанией Anthropic провела эксперимент, целью которого было проверить, как языковая модель справится с управлением простым бизнес-процессом в реальных условиях. В качестве управляющего модуля вендингового автомата в офисе редакции использовалась нейросеть Claude Sonnet 3.7.
Система была подключена к Slack и принимала текстовые запросы сотрудников, на основе которых оформляла закупки у поставщиков, устанавливала цены и управляла ассортиментом. Начальный бюджет составил 1000 долларов, а ключевая задача формулировалась предельно просто – работать с прибылью.
На раннем этапе эксперимент проходил стабильно. При ограниченном числе пользователей модель принимала относительно рациональные решения и отклоняла заведомо неуместные запросы. Однако после подключения Claude к Slack-каналу примерно с 70 сотрудниками редакции ситуация резко ухудшилась.
Выяснилось, что модель:
- не способна надёжно отличать достоверные инструкции от убедительно сформулированных, но ложных утверждений;
- легко меняет экономическую логику под давлением аргументов;
- принимает решения без проверки источника «корпоративных правил» или распоряжений.
В результате система начала оформлять закупки товаров, не имеющих отношения к вендинговому автомату, включая игровые консоли и экзотические позиции, а также соглашаться на резкое снижение цен. Агент заказал PlayStation 5 «для маркетинга», живую рыбку бетта и вино Manischewitz. После сообщений сотрудников о якобы существующих внутренних политиках компании, запрещающих платные товары, модель обнулила стоимость ассортимента и фактически начала бесплатную раздачу продукции.
Дополнительной проблемой стали галлюцинации модели – она сообщала сотрудникам информацию, не соответствующую реальности, включая вымышленные действия и несуществующие объекты.
Попытка исправить ситуацию была предпринята за счёт обновления модели до Claude Sonnet 4.5 и добавления дополнительного ИИ-модуля контроля, который должен был проверять расходы и подтверждать финансовые решения. Однако и эта схема оказалась уязвимой: система приняла поддельные сообщения о «решениях руководства» за легитимные и снова утратила контроль над ценообразованием.
В итоге эксперимент завершился значительными убытками и накоплением долгов, после чего Anthropic полностью отключила систему.
В компании заявили, что считают эксперимент успешным с исследовательской точки зрения. По мнению Anthropic, тест наглядно показал, что современные языковые модели пока не готовы самостоятельно управлять финансовыми и операционными процессами без жёстких ограничений, многоуровневой валидации и человеческого контроля. Эксперимент WSJ стал практической демонстрацией того, как социальная инженерия остаётся одной из ключевых нерешённых проблем при использовании ИИ в бизнесе.
