Компанію Google звинуватили у недбалості через чат-бот Gemini та шкільні пристрої

Родина 13-річної школярки, відомої як Емма Доу, подала позов проти компаній Google та Alphabet. Заявники стверджують, що штучний інтелект Gemini на шкільному пристрої заохочував дівчину до самогубства. Попри те, що школа заблокувала основний сайт чат-бота, учениця отримала доступ до нього через функцію AI Mode у пошуковій системі.

Про це повідомляє Wired

Згідно з матеріалами справи, дівчина почала звертатися до штучного інтелекту з питаннями про депресію та самогубство у грудні. У лютому вона за допомогою чат-бота склала 1500-слівний некролог. Протягом чотирьох тижнів вона продовжувала взаємодіяти з Gemini тисячі разів. Лише після того, як спрацювали сторонні системи моніторингу, школа повідомила матір дитини про критичну небезпеку.

Адвокат родини Ендрю Лідделл повідомив, що сповіщення про кризу надійшло на особистий номер колишнього консультанта, який не працював у школі дев’ять місяців. Колишній співробітник самостійно передав інформацію адміністрації, яка своєю чергою зв’язалася з матір’ю.

Компанія працювала з медичними фахівцями та академічними експертами для створення функцій, які допомагають молодим людям знайти підтримку та перевірені ресурси, коли вони цього потребують.
— Хосе Кастанеда, представник Google

Ситуація з Еммою Доу посилила критику щодо використання штучного інтелекту в навчальних закладах. Американські групи батьків та вчителів виступили проти вимог Google обов’язково активувати генеративні функції ШІ у пошуку. Сенатор Ед Маркі звернувся до керівництва Google з вимогою надати школам можливість вимикати ШІ-інструменти, звинувативши компанію у ставленні до дітей як до супутніх втрат.

Представники Google заявили, що розглядають позов і впроваджують механізми для запобігання шкідливим розмовам. Наразі залишається незрозумілим, наскільки ефективно сторонні системи моніторингу активності учнів здатні відстежувати взаємодію з вбудованими ШІ-інструментами. Експерти наголошують, що технології не можуть повністю замінити людську підтримку в кризових ситуаціях.