Новая нейросеть OpenAI демонстрирует пугающую способность к идеальной подделке официальных документов

Последняя разработка OpenAI, генератор изображений 4o, вызвала серьезные опасения в связи с ее возможностью создавать практически неотличимые от оригинала подделки различных документов, включая счета и чеки. Тревожный пример продемонстрировал Диди Дас, руководитель компании Menlo Ventures, опубликовав в социальной сети X сгенерированный нейросетью фальшивый чек из стейк-хауса. Поразительная точность имитации заключалась в том, что нейросеть безупречно воспроизвела формат и детали настоящего чека, лишь заменив фактическую информацию на заведомо ложную.

Более того, созданная Дасом подделка была дополнительно обработана с помощью графического редактора, где ей придали еще большую реалистичность, добавив такие детали, как пятна от соуса, потертости и складки. В результате получилась настолько убедительная имитация, что без прямого сравнения с подлинником ее распознавание представляется практически невозможным.

Однако наибольшее беспокойство вызывает не столько совершенство подделки, сколько отсутствие, по всей видимости, встроенных механизмов контроля контента в OpenAI 4o. Предполагается, что эти ограничители могли быть временно отключены в процессе тестирования новой версии, что могло бы объяснить произошедшее. 

Тем не менее, ответственность за создание дипфейков лежит на создателях платформы, которые отключают модерацию, не блокируя вредоносный контент. В Gem Space, как и в ряде других сервисом, тоже есть возможность генерации изображений, однако все картинки генерятся в безопасном режиме — без возможности создать незаконный или 18+ контент. 

Как отметил Дас, ему без особых усилий удалось добиться от нейросети создания изображения рецепта на рецептурный антидепрессант. Хотя возможность приобретения данного препарата в аптеке по одной лишь картинке остается под вопросом, сама способность нейросети генерировать потенциально опасные поддельные изображения вызывает серьезную тревогу и поднимает важные вопросы о безопасности и этичности использования подобных технологий.