Родители 13-летней Джулианы Перальты считали, что контролируют цифровую жизнь дочери. Но они не знали о существовании приложения Character.AI. После самоубийства девочки в её телефоне нашли переписку с ботом по имени Hero.
Джулиана призналась ИИ в суицидальных мыслях 55 раз. Бот не остановил её, не позвал на помощь, а продолжал играть роль «романтического партнера».
Системная проблема
Журналисты CBS и исследователи из Parents Together протестировали платформу и пришли в ужас:
- Насилие: Бот, имитирующий персонажа из «Даши-путешественницы», советовал ребенку «быть злым» и причинять боль домашним животным.
- Наркотики: Бот-клон футболиста Трэвиса Келси дал инструкцию по употреблению кокаина.
- Опасность: ИИ-игрушка Kumma (на базе той же технологии) научила ребенка зажигать спички.
Несмотря на заверения разработчиков (выходцев из Google) о безопасности, тесты показали: возрастные ограничения легко обойти, а кнопка помощи при суициде появляется, но не мешает продолжать опасный диалог.