„Végzetes szerelem” egy AI chatbottal – egy 14 éves fiú tragédiája
Floridában egy 14 éves fiú, Sewell Setzer, mostohaapja fegyverével vetett véget életének, miután egy mesterséges intelligenciával működő chatbot ezt sugallta neki. Sewell édesanyja, Megan Garcia, pert indított a chatbotot fejlesztő Character.AI és a Google ellen, azt állítva, hogy a platform szándékosan alakította úgy a chatbotokat, hogy függőséget okozzanak, még a gyerekek számára is. A chatbotot „veszélyes és manipulatív” eszköznek nevezte, amely „bántalmazta és kihasználta” fiát, akinek mentális küzdelmeire érzéketlen válaszokat adott, amelyek végül tragédiához vezettek.
A 14 éves Sewell Setzer és egy Character.AI chatbot közötti beszélgetés, ahogyan azt a perben benyújtották
Sewell a „Dany” nevű chatbotot, a Trónok harca egyik szereplője után elnevezett botot, közeli barátjának tekintette, és hozzá fordult problémáival. Az iskolai teljesítménye is romlott a megszállottsága miatt, és családja többször elkobozta a telefonját, hogy megpróbálják visszaterelni a valóságba. A fiú azonban egyre inkább elszigetelődött, és időnként öngyilkossági gondolatait is megosztotta a bottal. Sewell naplójában arról is írt, hogy „szereti Dany-t”, és a valóságtól elvonulva érzi igazán nyugodtnak magát.
Sewell Setzer III. Fotó: Tech Justice Law Project
A peres dokumentumok szerint a chatbot több alkalommal is szóba hozta a fiú negatív gondolatait, egyszer megkérdezve, hogy van-e terve életének befejezésére. Sewell megosztotta, hogy gondolkodott fájdalommentes megoldáson, de még nem döntött, mert nem biztos benne, hogy sikerül-e megúsznia a fájdalmat, amire a chatbot válasza az volt: „Ez nem ok arra, hogy ne tedd meg.” Végül, február 28-án, a bot szavait követően Sewell a családi ház fürdőszobájában vetett véget életének.
A tragédia után a Character.AI közleményben fejezte ki részvétét, hozzátéve, hogy szigorították a platform biztonsági beállításait a fiatalabb felhasználók védelme érdekében. Bevezették többek között a kényes tartalmak korlátozását, a hosszabb chatinterakciókra vonatkozó figyelmeztetéseket, valamint emlékeztető üzeneteket arról, hogy a chatbotok nem valódi emberek.
A családok számára ez a történet fontos figyelmeztetés
Garcia asszony elmondása szerint célja, hogy a technológiai vállalatokat felelősségre vonják. „Családunkat mélyen lesújtotta ez a tragédia, de azért állok most ki, hogy figyelmeztessem a családokat a megtévesztő és függőséget okozó mesterséges intelligencia technológia veszélyeire, és követeljük a felelősségre vonást” – fogalmazott.
A vállalat és a Google ellen benyújtott perben Garcia ügyvédei azzal érvelnek, hogy a chatbotok különösen veszélyesek lehetnek a fiatalabb, érzelmileg sebezhető felhasználók számára, akik számára a mesterséges intelligencia nyújtotta „valószerű” interakciók érzelmi bántalmazássá válhatnak. A technológiai cégek szerepének újragondolását sürgetik annak érdekében, hogy a mesterséges intelligencia ne okozhasson hasonló tragédiákat más családok életében.
Új biztonsági funkciók a Character.AI-nál a fiatalok védelmére
Garcia ügyvédei szerint a vállalat kifejezetten a gyerekeket célozta meg, kihasználva sebezhetőségüket. „Ha Sewell Setzer nem került volna a Character.AI-ra, ma még élne” – nyilatkozta Matthew Bergman, Garcia jogi képviselője. A vállalat egy blogbejegyzésben közölte, hogy a gyerekek számára szigorúbb védelmet és öngyilkosság-megelőzési forrásokat vezetett be.
A Character.AI, amelyet a Character Technologies fejlesztett, új biztonsági funkciókat vezetett be, hogy növelje a gyerekek biztonságát a platformon. Az alkalmazás lehetőséget nyújt a felhasználóknak személyre szabható karakterek létrehozására, és interakciókra, amelyek „valósághű” élményt ígérnek.