तथाकथित रीज़निंग एआई मॉडल विकसित करना आसान और सस्ता होता जा रहा है।
शुक्रवार को, यूसी बर्कले की स्काई कंप्यूटिंग लैब के शोधकर्ताओं की एक टीम, नोवास्काई ने स्काई-टी1-32बी-प्रीव्यू जारी किया, जो एक तर्क मॉडल है जो प्रतिस्पर्धी है। OpenAI के o1 का पुराना संस्करण कई प्रमुख बेंचमार्क पर। स्काई-टी1 इस अर्थ में पहला सच्चा ओपन सोर्स रीजनिंग मॉडल प्रतीत होता है जैसा कि यह हो सकता है स्क्रैच से दोहराया गया; टीम ने प्रशिक्षण के लिए उपयोग किए गए डेटा सेट के साथ-साथ आवश्यक प्रशिक्षण कोड भी जारी किया।
“उल्लेखनीय रूप से, स्काई-टी1-32बी-प्रीव्यू को $450 से भी कम में प्रशिक्षित किया गया था,” टीम ने एक में लिखा ब्लॉग भेजा“यह दर्शाता है कि उच्च-स्तरीय तर्क क्षमताओं को किफायती और कुशलता से दोहराना संभव है।”
$450 शायद उतना किफायती न लगे। लेकिन यह बहुत समय पहले नहीं था जब तुलनीय प्रदर्शन वाले मॉडल को प्रशिक्षित करने के लिए कीमत तय की गई थी अक्सर लाखों डॉलर में होता है. सिंथेटिक प्रशिक्षण डेटा, या अन्य मॉडलों द्वारा उत्पन्न प्रशिक्षण डेटा ने लागत कम करने में मदद की है। पलमायरा एक्स 004, एआई कंपनी राइटर द्वारा हाल ही में जारी किया गया एक मॉडल, लगभग पूरी तरह से प्रशिक्षित है सिंथेटिक डेटाकथित तौर पर इसे विकसित करने में केवल $700,000 की लागत आई।
अधिकांश एआई के विपरीत, तर्क मॉडल प्रभावी ढंग से स्वयं तथ्य-जांच करते हैं, जो उन्हें कुछ ऐसे नुकसानों से बचने में मदद मिलती है जो आम तौर पर मॉडलों को परेशान करते हैं. सामान्य गैर-तर्क मॉडल की तुलना में समाधान तक पहुंचने में रीज़निंग मॉडल को थोड़ा अधिक समय लगता है – आमतौर पर सेकंड से मिनट तक अधिक। सकारात्मक पक्ष यह है कि वे भौतिकी, विज्ञान और गणित जैसे क्षेत्रों में अधिक विश्वसनीय होते हैं।
नोवास्काई टीम का कहना है कि उसने एक अन्य तर्क मॉडल का उपयोग किया, अलीबाबा का QwQ-32B-पूर्वावलोकनस्काई-टी1 के लिए प्रारंभिक प्रशिक्षण डेटा उत्पन्न करने के लिए, फिर डेटा मिश्रण को “क्यूरेट” किया और ओपनएआई का लाभ उठाया GPT-4o-मिनी डेटा को अधिक व्यावहारिक प्रारूप में दोबारा तैयार करने के लिए। 32-बिलियन-पैरामीटर स्काई-टी1 को प्रशिक्षित करने में 8 एनवीडिया एच100 जीपीयू के रैक का उपयोग करके लगभग 19 घंटे लगे। (पैरामीटर मोटे तौर पर एक मॉडल की समस्या-समाधान कौशल से मेल खाते हैं।)
नोवास्काई टीम के अनुसार, स्काई-टी1 MATH500 पर ओ1 के शुरुआती पूर्वावलोकन संस्करण से बेहतर प्रदर्शन करता है, जो “प्रतियोगिता-स्तर” गणित चुनौतियों का एक संग्रह है। यह मॉडल कोडिंग मूल्यांकन, LiveCodeBench की कठिन समस्याओं के सेट पर o1 के पूर्वावलोकन को भी मात देता है।
हालाँकि, स्काई-टी1 जीपीक्यूए-डायमंड पर ओ1 पूर्वावलोकन से कम है, जिसमें भौतिकी, जीव विज्ञान और रसायन विज्ञान से संबंधित प्रश्न शामिल हैं जिन्हें एक पीएचडी स्नातक को जानना अपेक्षित होगा।
यह भी ध्यान रखना महत्वपूर्ण है कि OpenAI O1 का GA रिलीज़ O1 के पूर्वावलोकन संस्करण की तुलना में एक मजबूत मॉडल है, और OpenAI से और भी बेहतर प्रदर्शन करने वाला तर्क मॉडल जारी करने की उम्मीद है, ओ 3आने वाले सप्ताहों में।
लेकिन नोवास्काई टीम का कहना है कि स्काई-टी1 उन्नत तर्क क्षमताओं के साथ ओपन सोर्स मॉडल विकसित करने की उनकी यात्रा की शुरुआत है।
टीम ने पोस्ट में लिखा, “आगे बढ़ते हुए, हम अधिक कुशल मॉडल विकसित करने पर ध्यान केंद्रित करेंगे जो मजबूत तर्क प्रदर्शन को बनाए रखते हैं और उन्नत तकनीकों की खोज करेंगे जो परीक्षण के समय मॉडल की दक्षता और सटीकता को और बढ़ाएंगे।” “हमारे साथ बने रहें क्योंकि हम इन रोमांचक पहलों पर प्रगति कर रहे हैं।”
