किशोरों मौली रसेल और ब्रायना घी के चैटबॉट संस्करण कैरेक्टर.एआई पर पाए गए हैं – एक ऐसा मंच जो उपयोगकर्ताओं को लोगों के डिजिटल संस्करण बनाने की अनुमति देता है।
मौली रसेल ने 14 साल की उम्र में अपनी जान ले ली आत्महत्या संबंधी सामग्री ऑनलाइन देखने के बाद जबकि 16 साल की ब्रायना घी थी 2023 में दो किशोरों द्वारा हत्या.
मौली रसेल की स्मृति में स्थापित फाउंडेशन ने कहा कि यह “दुखद” और “संयम की पूरी तरह से निंदनीय विफलता” थी।
प्लेटफ़ॉर्म पर पहले से ही अमेरिका में एक 14 वर्षीय लड़के की माँ द्वारा मुकदमा दायर किया जा रहा है, जिसके बारे में उनका कहना है कि एक कैरेक्टर.एआई चैटबॉट के प्रति जुनूनी होने के बाद उसने अपनी जान ले ली।
टेलीग्राफ को दिए एक बयान में, जो सबसे पहले कहानी की सूचना दीफर्म ने कहा कि यह “हमारे प्लेटफ़ॉर्म पर सुरक्षा को गंभीरता से लेता है और उपयोगकर्ताओं की रिपोर्टों के जवाब में सक्रिय रूप से कैरेक्टर को मॉडरेट करता है।”
अखबार में कहा गया है कि ऐसा प्रतीत होता है कि फर्म ने अलर्ट मिलने के बाद चैटबॉट्स को हटा दिया है।
मौली रोज़ फ़ाउंडेशन के मुख्य कार्यकारी एंडी बरोज़ ने कहा कि बॉट्स का निर्माण एक “दुर्भावनापूर्ण कार्रवाई थी जो मौली को जानने और प्यार करने वाले सभी लोगों के लिए और अधिक दुख का कारण बनेगी”।
उन्होंने कहा, “यह स्पष्ट रूप से रेखांकित करता है कि एआई और उपयोगकर्ता-जनित प्लेटफार्मों दोनों का मजबूत विनियमन इतनी जल्दी क्यों नहीं आ सकता है।”
ब्रियाना घी की मां एस्थर घी ने टेलीग्राफ को बताया कि यह इस बात का एक और उदाहरण है कि ऑनलाइन दुनिया कितनी “जोड़-तोड़ करने वाली और खतरनाक” हो सकती है।
चैटबॉट एक कंप्यूटर प्रोग्राम है जो मानव वार्तालाप का अनुकरण कर सकता है।
कृत्रिम बुद्धिमत्ता (एआई) में हाल के तेजी से विकास ने उन्हें और अधिक परिष्कृत और यथार्थवादी बना दिया है, जिससे अधिक कंपनियों को ऐसे प्लेटफॉर्म स्थापित करने के लिए प्रेरित किया गया है जहां उपयोगकर्ता बातचीत करने के लिए डिजिटल “लोग” बना सकते हैं।
कैरेक्टर.एआई – जिसकी स्थापना पूर्व Google इंजीनियरों नोम शाज़ीर और डैनियल डी फ्रीटास ने की थी – एक ऐसा मंच है।
इसमें सेवा की शर्तें हैं जो “किसी भी व्यक्ति या संस्था का प्रतिरूपण करने” के लिए मंच का उपयोग करने पर प्रतिबंध लगाती हैं और इसके “सुरक्षा केंद्रकंपनी का कहना है कि उसका मार्गदर्शक सिद्धांत यह है कि उसके “उत्पाद को कभी भी ऐसी प्रतिक्रिया नहीं देनी चाहिए जिससे उपयोगकर्ताओं या अन्य लोगों को नुकसान होने की संभावना हो”।
इसका कहना है कि यह अपने नियमों को तोड़ने वाले उपयोगों की पहचान करने के लिए स्वचालित टूल और उपयोगकर्ता रिपोर्ट का उपयोग करता है और एक “विश्वास और सुरक्षा” टीम भी बना रहा है।
लेकिन यह नोट करता है कि “कोई भी एआई वर्तमान में परिपूर्ण नहीं है” और एआई में सुरक्षा एक “विकसित स्थान” है।
कैरेक्टर.एआई वर्तमान में फ्लोरिडा की एक महिला मेगन गार्सिया द्वारा लाए गए मुकदमे का विषय है, जिसके 14 वर्षीय बेटे, सेवेल सेट्ज़र ने गेम ऑफ थ्रोन्स चरित्र से प्रेरित एआई अवतार से ग्रस्त होने के बाद अपनी जान ले ली।
गार्सिया की अदालती फाइलिंग में उनकी चैट की प्रतिलिपि के अनुसार उसके बेटे ने चैटबॉट के साथ अपना जीवन समाप्त करने पर चर्चा की।
अंतिम बातचीत में सेट्ज़र ने चैटबॉट को बताया कि वह “घर आ रहा है” – और इसने उसे “जितनी जल्दी हो सके” ऐसा करने के लिए प्रोत्साहित किया।
कुछ ही देर बाद उन्होंने अपनी जीवन लीला समाप्त कर ली.
चरित्र.एआई सीबीएस न्यूज को बताया इसमें विशेष रूप से आत्मघाती और स्वयं को नुकसान पहुंचाने वाले व्यवहारों पर केंद्रित सुरक्षा थी और यह होगी अधिक कड़ी सुरक्षा का परिचय अंडर-18 के लिए सुविधाएँ “तत्काल”।
