इस धारणा के साथ कि छात्र आर्टिफिशियल इंटेलिजेंस और बड़े भाषा के मॉडल जैसे कि चैट को अपना होमवर्क करने के लिए उपयोग करने जा रहे हैं, ग्रिंजर कॉलेज ऑफ इंजीनियरिंग में एयरोस्पेस इंजीनियरिंग विभाग में शोधकर्ता, इलिनोइस विश्वविद्यालय के उरबाना-शैंपेन विश्वविद्यालय में यह जानने के लिए निर्धारित किया गया है कि CHATGPT का मुक्त संस्करण A सेमेस्टर-लोंग अंडरग्रेजुएट कंट्रोल सिस्टम कोर्स में मानव छात्रों के साथ कितनी अच्छी तरह से तुलना करेगा।
परिणाम: सीधे गणित के होमवर्क पर, चैटगिप्ट को ए मिला, लेकिन कुछ विचित्र उत्तरों के साथ। हालांकि, उच्च-स्तरीय समस्याओं पर, जिन्हें तर्क की आवश्यकता होती है, इसे डी मिला।
“हमने पाया कि CHATGPT तकनीक को संरचित, सीधे प्रश्नों पर A मिल सकता है। खुले-समाप्त प्रश्नों पर इसे 62 मिला, चैटगिप्ट के सेमेस्टर ग्रेड को 82 से नीचे कर दिया, एक कम B. मानव छात्रों के लिए कक्षा का औसत 84.85 प्रतिशत था क्योंकि वे उन समस्याओं को संभाल सकते थे जो उच्च-स्तरीय तर्क की आवश्यकता थी,” Ph.D. छात्र गोकुल पुथुमानिलम।
अध्ययन का निष्कर्ष है कि एक छात्र जो कम से कम प्रयास करता है, सामग्री सीखने के लिए कोई प्रयास नहीं दिखाता है, विशेष रूप से CHATGPT का उपयोग कर सकता है, एक बी प्राप्त कर सकता है और पाठ्यक्रम पास कर सकता है। समस्या यह है कि पासिंग ग्रेड सरल गणित में A+ का संयोजन हो सकता है और विश्लेषण में d-। उन्होंने ज्यादा नहीं सीखा है।
पुथुमानिलम के सलाहकार मेल्कोर ऑर्निक ने कहा, “गणित की कक्षाओं में कैलकुलेटर की तरह, चैट एक उपकरण है जो यहां रहने के लिए है और छात्र उपयोग करेंगे। इस अध्ययन के परिणामों ने मुझे बताया कि मुझे एक शिक्षक के रूप में समायोजित करने की आवश्यकता है।” “मैं इस बात पर विचार करने की योजना बना रहा हूं कि मैं अपने पाठ्यक्रमों को कैसे डिजाइन करता हूं, ताकि, समय के साथ, मैं अधिक उच्च-स्तरीय प्रश्नों को शामिल करता हूं, शायद परियोजना-आधारित असाइनमेंट सहित। छात्र अभी भी सरल गणित की समस्याओं को करने के लिए चटप्ट जैसे कार्यक्रमों का उपयोग करेंगे, लेकिन अधिक खुले-समाप्त प्रश्नों को जोड़कर, वे उच्च स्तर की महत्वपूर्ण सोच तक पहुंचेंगे और सही मायने में सामग्री सीखेंगे।”
पुथुमानिलम ने कहा कि हालांकि चैटगेट तेज है और ज्यादातर संरचित प्रश्नों पर सही है, लेकिन सावधानी के साथ इसका उपयोग करना बुद्धिमानी है।
“एक छात्र को एक प्रश्न का उत्तर देने के लिए 20 मिनट लग सकते हैं। CHATGPT इसे 20 सेकंड से भी कम समय में हल करता है, लेकिन शुद्धता कभी -कभी संदिग्ध होती है।”
उन्होंने चटप्ट के होमवर्क से अजीब व्यवहार के उदाहरणों का भी वर्णन किया जैसे कि अनुचित तकनीकी शब्दजाल का उपयोग करना और उन चीजों को कहना जो केवल सच नहीं थे।
“इस तथ्य के बावजूद कि हमने चैट करने के लिए आवश्यक पाठ्यक्रम सामग्री के सभी प्रदान किए, यह अभी भी मतिभ्रम करता है, क्वैसी आवधिक दोलनों जैसे शब्दों का उपयोग करते हुए जो कक्षा में कभी भी उपयोग नहीं किए गए थे, व्याख्यान या पाठ्यक्रम सामग्री में।”
अध्ययन ने उस छात्र के प्रकार पर विचार किया जो न्यूनतम प्रयास करने का विकल्प चुनता है। पुथुमानिलम ने कहा कि CHATGPT का प्रीमियम संस्करण विश्लेषणात्मक प्रश्नों को हल करने में थोड़ा अधिक सक्षम हो सकता है और अधिक मेमोरी को लंबे समय तक, अधिक जटिल समस्याओं को हल करने के लिए संग्रहीत कर सकता है। शोधकर्ताओं ने सॉफ्टवेयर के मुफ्त संस्करण का उपयोग करने के लिए चुना क्योंकि औसत छात्र शायद मासिक शुल्क खर्च नहीं करना चाहेगा।
पुथुमानिलम ने कहा कि पाठ्यक्रम में कोई टीम असाइनमेंट नहीं थे, चैटगेट प्रॉम्प्ट ने सटीक भाषा का उपयोग किया जैसा कि मानव छात्रों को प्राप्त हुआ था, और यह सभी को समकालिक रूप से संचालित किया गया था।
“जब छात्र अपना होमवर्क कर रहे थे, तो चैट भी होमवर्क कर रहा था। चैटगिप्ट कक्षा में सिर्फ एक अतिरिक्त छात्र था।”
क्या चैट ने अपनी गलतियों से सीखा?
“जब हमने चटप्ट को बताया कि यह एक बहुविकल्पीय प्रश्न पर गलत था, तो इसे सही विकल्प दिया, फिर उसी प्रश्न की एक भिन्नता, हाँ, यह बेहतर हुआ। एक अर्थ में, यह सीख रहा था, लेकिन कुल मिलाकर, यह डगमगाता था। यदि इसने होमवर्क में 90 प्रतिशत स्कोर किया, तो यह सेमेस्टर के समापन पर 90 या 92 स्कोरिंग समाप्त हो गया।”
इस काम को ग्रिंजर ऑफ़ इंजीनियरिंग कार्यक्रम में शिक्षण की उन्नति के लिए अनुदानों द्वारा समर्थित किया गया था, जो कि इलिनोइस विश्वविद्यालय के इलिनोइस उरबाना-शैंपेन विश्वविद्यालय में इंजीनियरिंग कार्यक्रम में था। एयरोस्पेस के प्रोफेसर टिम ब्रेटल, पीएचडी के साथ। छात्रों ने ग्रेसन शेर और प्राणाय थांगेडा, प्रोजेक्ट वातावरण, विकसित पाठ्यक्रम सामग्री और प्रेयरीलर्न इन्फ्रास्ट्रक्चर का निर्माण किया।
