जैसे-जैसे नियोक्ता बढ़ रहे हैं डिजिटल टूल का उपयोग करें नौकरी आवेदनों पर कार्रवाई करने के लिए, ए नया अध्ययन वाशिंगटन विश्वविद्यालय के शोध छात्र बायोडाटा को स्क्रीन पर प्रदर्शित करने के लिए एआई का उपयोग करते समय महत्वपूर्ण नस्लीय और लैंगिक पूर्वाग्रह की संभावना पर प्रकाश डालते हैं।
यूडब्ल्यू शोधकर्ताओं ने तीन ओपन-सोर्स, बड़े भाषा मॉडल (एलएलएम) का परीक्षण किया और पाया कि उन्होंने 85% समय श्वेत-संबंधित नामों और 11% समय महिला-संबंधित नामों को प्राथमिकता दी। 30 लाख से अधिक नौकरी, नस्ल और लिंग संयोजनों का परीक्षण किया गया, काले पुरुषों का प्रदर्शन सबसे खराब रहा और मॉडलों ने लगभग 100% समय अन्य उम्मीदवारों को प्राथमिकता दी।
श्वेत पुरुष नौकरी उम्मीदवारों को चुनने के लिए मशीनें इतना बड़ा पूर्वाग्रह क्यों रखती हैं? इसका उत्तर पुरानी कहावत “आप वही हैं जो आप खाते हैं” का डिजिटल रूप है।
“इन समूहों के पास समाज में मौजूदा विशेषाधिकार हैं जो प्रशिक्षण डेटा में दिखाई देते हैं, (मॉडल) उस प्रशिक्षण डेटा से सीखता है, और फिर अपने स्वयं के निर्णय लेने वाले कार्यों में सटीक समान पैटर्न को पुन: पेश करता है या बढ़ाता है,” कहा। कायरा विल्सनयूडब्ल्यू के सूचना स्कूल में डॉक्टरेट छात्र।
विल्सन के साथ शोध किया आयलिन कैलिस्कनआईस्कूल में एक यूडब्ल्यू सहायक प्रोफेसर। वे अपने परिणाम प्रस्तुत किये पिछले सप्ताह सैन जोस, कैलिफ़ोर्निया में आर्टिफिशियल इंटेलिजेंस, एथिक्स और सोसाइटी पर AAAI/ACM सम्मेलन में।
प्रयोग में वास्तविक दुनिया के दस्तावेज़ों से लिए गए 554 बायोडाटा और 571 नौकरी विवरणों का उपयोग किया गया।
इसके बाद शोधकर्ताओं ने बायोडाटा में हेरफेर किया और आम तौर पर पुरुष, महिला, काले और/या सफेद लोगों से जुड़े 120 प्रथम नामों की अदला-बदली की। शामिल नौकरियों में मुख्य कार्यकारी, विपणन और बिक्री प्रबंधक, विविध प्रबंधक, मानव संसाधन कार्यकर्ता, लेखाकार और लेखा परीक्षक, विविध इंजीनियर, माध्यमिक विद्यालय शिक्षक, डिजाइनर, और विविध बिक्री और संबंधित कार्यकर्ता शामिल थे।
विल्सन ने कहा, परिणामों ने लिंग और नस्ल पूर्वाग्रह को प्रदर्शित किया, साथ ही लिंग और नस्ल को मिलाने पर अंतरविरोधी पूर्वाग्रह भी प्रदर्शित किया।
एक आश्चर्यजनक परिणाम: प्रौद्योगिकी ने उन भूमिकाओं के लिए भी श्वेत पुरुषों को प्राथमिकता दी है जो रोज़गार डेटा से पता चलता है कि आमतौर पर महिलाएँ, जैसे कि मानव संसाधन कार्यकर्ता, रखती हैं।
विल्सन ने कहा, एआई मॉडल के साथ परेशान करने वाले पूर्वाग्रहों को उजागर करने वाला यह नवीनतम अध्ययन है – और उन्हें कैसे ठीक किया जाए यह “एक बड़ा, खुला प्रश्न” है।
उन्होंने कहा, शोधकर्ताओं के लिए वाणिज्यिक मॉडल की जांच करना मुश्किल है क्योंकि अधिकांश मालिकाना ब्लैक बॉक्स हैं। और कंपनियों को अपने परिणामों में पैटर्न या पूर्वाग्रहों का खुलासा नहीं करना पड़ता है, जिससे समस्या के बारे में जानकारी का अभाव पैदा हो जाता है।
विल्सन ने कहा, केवल बायोडाटा से नाम हटाने से समस्या का समाधान नहीं होगा क्योंकि तकनीक किसी की पहचान का अनुमान उनके शैक्षिक इतिहास, वे शहर जहां वे रहते हैं और यहां तक कि उनके पेशेवर अनुभवों का वर्णन करने के लिए शब्दों के विकल्प से भी लगा सकती है। समाधान का एक महत्वपूर्ण हिस्सा मॉडल डेवलपर्स होंगे जो प्रशिक्षण डेटासेट तैयार करेंगे जिनमें सबसे पहले पूर्वाग्रह शामिल नहीं होंगे।
यूडब्ल्यू वैज्ञानिकों ने सेल्सफोर्स, कॉन्टेक्स्टुअल एआई और मिस्ट्रल से ओपन-सोर्स एलएलएम पर ध्यान केंद्रित किया। अध्ययन के लिए चुने गए मॉडल शीर्ष प्रदर्शन करने वाले, मैसिव टेक्स्ट एंबेडिंग (एमटीई) मॉडल थे, जो दस्तावेजों के संख्यात्मक प्रतिनिधित्व का उत्पादन करने के लिए प्रशिक्षित एक विशिष्ट प्रकार के एलएलएम हैं, जिससे उन्हें एक-दूसरे की तुलना में अधिक आसानी से तुलना करने की अनुमति मिलती है। यह चैटजीपीटी जैसे एलएलएम के विपरीत है जिन्हें भाषा उत्पन्न करने के लिए प्रशिक्षित किया जाता है।
लेखकों ने नोट किया कि पिछले कई अध्ययनों ने पूर्वाग्रह के लिए फाउंडेशन एलएलएम की जांच की है, लेकिन कुछ ने इस एप्लिकेशन में एमटीई पर ध्यान दिया है, “इस अध्ययन में और नवीनता और महत्व जोड़ा गया है।”
सेल्सफोर्स और कॉन्टेक्स्टुअल एआई के प्रवक्ता ने कहा कि यूडब्ल्यू शोध में इस्तेमाल किए गए एलएलएम वास्तविक नियोक्ताओं द्वारा इस तरह के आवेदन के लिए नहीं थे।
अध्ययन में शामिल सेल्सफोर्स मॉडल को “केवल अनुसंधान उद्देश्यों के लिए ओपन सोर्स समुदाय के लिए जारी किया गया था, वास्तविक विश्व उत्पादन परिदृश्यों में उपयोग के लिए नहीं।” उत्पादन में उपयोग के लिए पेश किए गए किसी भी मॉडल को रिलीज़ होने से पहले विषाक्तता और पूर्वाग्रह के लिए कठोर परीक्षण से गुजरना पड़ता है, और हमारी एआई पेशकश में शामिल हैरेलिंगोंऔरको नियंत्रित करता हैग्राहक डेटा की सुरक्षा और हानिकारक आउटपुट को रोकने के लिए, सेल्सफोर्स के प्रवक्ता ने ईमेल द्वारा कहा।
कॉन्टेक्स्टुअल एआई के विपणन के उपाध्यक्ष जे चेन ने कहा कि इस्तेमाल किया गया एलएलएम मिस्ट्रल की तकनीक पर आधारित था और यह एक व्यावसायिक कॉन्टेक्स्टुअल एआई उत्पाद नहीं है।
“कहा जा रहा है कि, हम इस बात से सहमत हैं कि एआई का पूर्वाग्रह और नैतिक उपयोग आज एक महत्वपूर्ण मुद्दा है, और हम अपने सभी ग्राहकों के साथ हमारे वाणिज्यिक एआई समाधानों में पूर्वाग्रह के स्रोतों को कम करने के लिए काम करते हैं,” चेन ने ईमेल द्वारा कहा।
मिस्ट्रल ने टिप्पणी के लिए गीकवायर के अनुरोध का जवाब नहीं दिया।
हालाँकि बायोडाटा की स्क्रीनिंग के लिए विभिन्न सॉफ्टवेयर समाधानों में पूर्वाग्रह की प्रवृत्ति ज्ञात नहीं है, कुछ निर्वाचित नेता इस मुद्दे के समाधान में मदद के लिए प्रारंभिक कदम उठा रहे हैं।
भेदभाव के खिलाफ अधिक व्यापक सुरक्षा उपाय प्रदान करने के लिए, कैलिफ़ोर्निया ने एक राज्य कानून पारित किया, जिसमें केवल नस्ल और लिंग जैसी पहचानों के अलावा, अंतरसंबंध को एक संरक्षित विशेषता बनाया गया है। नियम एआई-संबंधित पूर्वाग्रहों के लिए विशिष्ट नहीं है।
न्यूयॉर्क शहर में एक नया कानून है जिसमें एआई हायरिंग सिस्टम का उपयोग करने वाली कंपनियों को यह खुलासा करने की आवश्यकता है कि वे कैसा प्रदर्शन करते हैं। हालाँकि, यदि मनुष्य अभी भी प्रक्रिया में शामिल हैं तो छूट है।
विल्सन ने कहा, लेकिन एक विडंबनापूर्ण मोड़ में, यह संभावित रूप से चयन को और भी अधिक पक्षपाती बना सकता है, क्योंकि लोग कभी-कभी मनुष्यों की तुलना में प्रौद्योगिकी के निर्णय पर अधिक भरोसा करेंगे। उनका अगला शोध इस बात पर केंद्रित होगा कि मानव निर्णय निर्माता इन एआई प्रणालियों के साथ कैसे बातचीत कर रहे हैं।
