बर्कले के शोधकर्ताओं ने इस तथ्य का लाभ उठाया कि चैटजीपीटी, मनुष्यों की तरह, अनिश्चित है। उन्होंने चैटजीपीटी से लगातार 10 बार एक ही गणित समस्या का उत्तर देने को कहा। मुझे आश्चर्य हुआ कि एक मशीन एक ही प्रश्न का अलग-अलग उत्तर दे सकती है, लेकिन ये बड़े भाषा मॉडल यही करते हैं। अक्सर चरण-दर-चरण प्रक्रिया और उत्तर एक जैसे होते थे, लेकिन सटीक शब्द अलग-अलग होते थे। कभी-कभी विधियाँ विचित्र होती थीं और परिणाम बिल्कुल गलत होते थे। (नीचे दिए गए चित्रण में एक उदाहरण देखें।)
शोधकर्ताओं ने समान उत्तरों को एक साथ समूहीकृत किया। जब उन्होंने 10 समाधानों में से सबसे आम उत्तर की सटीकता का आकलन किया, तो ChatGPT आश्चर्यजनक रूप से अच्छा था। बुनियादी हाई-स्कूल बीजगणित के लिए, AI की त्रुटि दर 25% से शून्य हो गई। इंटरमीडिएट बीजगणित के लिए, त्रुटि दर 47% से 2% तक गिर गई। कॉलेज बीजगणित के लिए, यह 27% से 2% तक गिर गई।
चैटजीपीटी ने एक ही बीजगणित प्रश्न का उत्तर तीन अलग-अलग तरीकों से दिया, लेकिन इस उदाहरण में 10 में से सात बार यह सही उत्तर पर पहुंचा
हालाँकि, जब वैज्ञानिकों ने इस पद्धति को, जिसे वे “स्व-संगति” कहते हैं, सांख्यिकी पर लागू किया, तो यह उतना कारगर नहीं रहा। ChatGPT की त्रुटि दर 29% से गिरकर 13% हो गई, लेकिन फिर भी 10 में से एक से अधिक उत्तर गलत थे। मुझे लगता है कि गणित सीखने वाले छात्रों के लिए यह बहुत अधिक त्रुटियाँ हैं।
बेशक, बड़ा सवाल यह है कि क्या ChatGPT के ये समाधान छात्रों को पारंपरिक शिक्षण से बेहतर गणित सीखने में मदद करते हैं। इस अध्ययन के दूसरे भाग में, शोधकर्ताओं ने गणित की समस्याओं को हल करने के लिए 274 वयस्कों को ऑनलाइन भर्ती किया और उनमें से एक तिहाई को यादृच्छिक रूप से इन ChatGPT के समाधानों को “संकेत” के रूप में देखने के लिए सौंपा, यदि उन्हें इसकी आवश्यकता हो। (ChatGPT के गलत उत्तरों को पहले हटा दिया गया था।) इसके बाद एक छोटी परीक्षा में, इन वयस्कों में 17% सुधार हुआ, जबकि स्नातक गणित ट्यूटर्स द्वारा लिखे गए संकेतों के एक अलग समूह को देखने वाले वयस्कों के लिए 12% से कम सीखने का लाभ हुआ। जिन लोगों को कोई संकेत नहीं दिया गया था, उन्होंने पोस्ट-टेस्ट में लगभग उतना ही स्कोर किया जितना उन्होंने प्री-टेस्ट में किया था।
चैटजीपीटी के लिए उन प्रभावशाली सीखने के परिणामों ने अध्ययन लेखकों को साहसपूर्वक यह भविष्यवाणी करने के लिए प्रेरित किया कि एक प्रभावी कम्प्यूटरीकृत शिक्षण प्रणाली की “पूरी तरह से स्वायत्त पीढ़ी” “आसपास ही है।” सिद्धांत रूप में, चैटजीपीटी तुरंत एक पुस्तक अध्याय या एक वीडियो व्याख्यान को पचा सकता है और फिर तुरंत उस पर एक छात्र को ट्यूशन दे सकता है।
इससे पहले कि मैं उस आशावाद को अपनाऊँ, मैं देखना चाहूँगा कि वास्तविक छात्र – न कि केवल ऑनलाइन भर्ती किए गए वयस्क – इन स्वचालित शिक्षण प्रणालियों का कितना उपयोग करते हैं। इस अध्ययन में भी, जहाँ वयस्कों को गणित की समस्याएँ हल करने के लिए भुगतान किया गया था, लगभग 400 प्रतिभागियों में से 120 ने काम पूरा नहीं किया और इसलिए उनके परिणामों को खारिज करना पड़ा। कई बच्चों और विशेष रूप से उन छात्रों के लिए जो किसी विषय में संघर्ष कर रहे हैं, कंप्यूटर से सीखना दिलचस्प नहीं है.
यह कहानी एआई मतिभ्रम जिल बार्शे द्वारा लिखित और द्वारा निर्मित हेचिंगर रिपोर्टएक गैर-लाभकारी, स्वतंत्र समाचार संगठन जो शिक्षा में असमानता और नवाचार पर केंद्रित है। प्रमाण बिंदु और अन्य हेचिंगर न्यूज़लेटर.
