Журналисты WIRED вскрыли пугающий тренд. Пользователи TikTok начали массово публиковать видео, созданные в Sora 2, которые балансируют на грани фола. В них фотореалистичные (но сгенерированные) дети играют с игрушками, подозрительно напоминающими секс-девайсы, или участвуют в фейковых рекламах с тематикой Джеффри Эпштейна.
Формально это не порнография (CSAM), поэтому фильтры OpenAI и TikTok часто пропускают такой контент. Однако контекст и комментарии под видео не оставляют сомнений: ролики создаются для привлечения педофилов. Британская организация IWF сообщает, что количество сообщений о сгенерированном насилии над детьми удвоилось за последний год.
OpenAI заявляет, что банит нарушителей, но проблема в нюансах. ИИ пока не умеет отличать невинную игру с водой от фетиш-контента, созданного с определенным умыслом. Это ставит перед платформами сложнейшую задачу модерации в эпоху, когда грань между реальностью и вымыслом стерта.