चैटजीपीटी की त्रुटियां भी एक योगदान कारक हो सकती हैं। चैटबॉट ने गणित की समस्याओं का केवल आधे समय में ही सही उत्तर दिया। इसकी अंकगणितीय गणनाएँ 8% बार गलत थीं, लेकिन बड़ी समस्या यह थी कि किसी समस्या को हल करने के लिए इसका चरण-दर-चरण दृष्टिकोण 42% बार गलत था। चैटजीपीटी के ट्यूटरिंग संस्करण को सीधे सही समाधान दिए गए और इन त्रुटियों को कम किया गया।
ए प्रयोग के बारे में मसौदा पत्र जुलाई 2024 में SSRN की वेबसाइट पर पोस्ट किया गया था, जिसे पहले सोशल साइंस रिसर्च नेटवर्क के नाम से जाना जाता था। यह पेपर अभी तक किसी सहकर्मी-समीक्षित जर्नल में प्रकाशित नहीं हुआ है और इसे अभी भी संशोधित किया जा सकता है।
यह किसी दूसरे देश में किया गया एक प्रयोग मात्र है, तथा इसके निष्कर्षों की पुष्टि के लिए और अधिक अध्ययनों की आवश्यकता होगी। लेकिन यह प्रयोग बहुत बड़ा था, जिसमें 2023 की शरद ऋतु के दौरान नौवीं से 11वीं कक्षा के लगभग एक हजार छात्र शामिल थे। शिक्षकों ने पहले पूरी कक्षा के साथ पहले से पढ़ाए गए पाठ की समीक्षा की, और फिर उनकी कक्षाओं को तीन तरीकों में से एक में गणित का अभ्यास करने के लिए यादृच्छिक रूप से सौंपा गया: ChatGPT तक पहुँच के साथ, ChatGPT द्वारा संचालित AI ट्यूटर तक पहुँच के साथ या बिना किसी उच्च तकनीक सहायता के। प्रत्येक कक्षा के छात्रों को AI के साथ या उसके बिना समान अभ्यास समस्याएँ दी गईं। इसके बाद, उन्होंने यह देखने के लिए एक परीक्षा दी कि उन्होंने अवधारणा को कितनी अच्छी तरह से सीखा है। शोधकर्ताओं ने इसके चार चक्र आयोजित किए, जिसमें छात्रों को चार अलग-अलग गणित विषयों में अभ्यास के चार 90-मिनट के सत्र दिए गए ताकि यह समझा जा सके कि AI मदद करता है, नुकसान पहुँचाता है या कुछ नहीं करता है।
चैटजीपीटी भी अति आत्मविश्वास पैदा करता है। प्रयोग के साथ हुए सर्वेक्षणों में, छात्रों ने कहा कि उन्हें नहीं लगता कि चैटजीपीटी के कारण उन्हें कम सीखने को मिला, भले ही उन्होंने सीखा हो। एआई ट्यूटर वाले छात्रों ने सोचा कि उन्होंने परीक्षा में काफी बेहतर प्रदर्शन किया है, भले ही उन्होंने ऐसा नहीं किया हो। (यह हम सभी के लिए एक और अच्छा अनुस्मारक है कि हमारा हमने कितना सीखा है, इसकी धारणाएं अक्सर गलत होती हैं.)
लेखकों ने चैटजीपीटी से सीखने की समस्या की तुलना ऑटोपायलट से की। उन्होंने बताया कि ऑटोपायलट पर अत्यधिक निर्भरता के कारण संघीय विमानन प्रशासन ने पायलटों को इस तकनीक का कम से कम उपयोग करने की सलाह दी। विनियामक यह सुनिश्चित करना चाहते थे कि जब ऑटोपायलट सही तरीके से काम नहीं करता है, तब भी पायलट उड़ान भरना जानते हों।
चैटजीपीटी शिक्षा में बदलाव लाने वाली पहली तकनीक नहीं है। टाइपराइटर और कंप्यूटर हस्तलेखन की आवश्यकता को कम करते हैं। कैलकुलेटर अंकगणित की आवश्यकता को कम करते हैं। जब छात्रों के पास चैटजीपीटी तक पहुंच होती है, तो वे अधिक समस्याओं का सही उत्तर दे सकते हैं, लेकिन कम सीख सकते हैं। एक समस्या का सही परिणाम प्राप्त करने से उन्हें अगली समस्या में मदद नहीं मिलेगी।
यह कहानी उपयोग के बारे में है गणित का अभ्यास करने के लिए चैटजीपीटी जिल बार्शे द्वारा लिखित और द्वारा निर्मित हेचिंगर रिपोर्टएक गैर-लाभकारी, स्वतंत्र समाचार संगठन जो शिक्षा में असमानता और नवाचार पर केंद्रित है। प्रमाण बिंदु और अन्य हेचिंगर न्यूज़लेटर.
