एक और दिन, Google का एक और AI मॉडल। इस बार, Google DeepMind ने एक नया सदस्य जारी किया है जेम्मा 4 खुला मॉडल परिवारलेकिन यह बाकी लाइनअप से मौलिक रूप से अलग है। डिफ्यूजनजेम्मा अधिकांश एआई मॉडल की तरह रैखिक रूप से आउटपुट उत्पन्न नहीं करता है। इसके बजाय, यह समानांतर में पाठ का एक पूरा ब्लॉक तैयार कर सकता है। गूगल कहता है एनवीडिया डीजीएक्स या साधारण गेमिंग जीपीयू जैसे स्थानीय हार्डवेयर पर चलने पर यह इसे तेज़ और अधिक कुशल बनाता है।
अधिकांश एआई मॉडल को ऑटोरेग्रेसिव होने के लिए डिज़ाइन किया गया है – वे एक समय में बाएं से दाएं एक टोकन पर टेक्स्ट उत्पन्न करते हैं। डिफ्यूजनजेम्मा में से शुरू होती हैं और फिर वांछित सामग्री बनाने के लिए इसे निरूपित करती हैं। यह मॉडल संभावित टोकन उत्पन्न करने और दूसरों के अनुमान को बेहतर बनाने के लिए उनका उपयोग करने के लिए कैनवास पर कई बार चलने वाले प्लेसहोल्डर टोकन का एक क्षेत्र लेता है। प्रक्रिया के अंत में, मॉडल अपने टोकन आउटपुट को एक बड़े ब्लॉक – “डिनोइज्ड” टेक्स्ट कैनवास में अंतिम रूप देता है।
Google के ओपन मॉडल के दायरे में डिफ्यूजनजेम्मा काफी बड़ा है। यह विशेषज्ञों का मिश्रण (एमओई) मॉडल है जिसमें कुल 26 बिलियन पैरामीटर हैं, लेकिन अनुमान के दौरान केवल 3.8 बिलियन ही सक्रिय होते हैं। इसका मतलब है कि इसे हाई-एंड जीपीयू के 18 जीबी रैम आवंटन में फिट होना चाहिए। आरटीएक्स 5090 के साथ परीक्षण में, डिफ्यूजनजेम्मा प्रति सेकंड लगभग 700 टोकन उगलता है। एकल एनवीडिया एच100 एआई एक्सेलेरेटर के साथ, डिफ्यूजनजेम्मा प्रति सेकंड 1,000+ टोकन का उत्पादन कर सकता है। यह समान आकार के ऑटोरेग्रेसिव जेम्मा मॉडल के आउटपुट का लगभग चार गुना है।
पाठ निर्माण के लिए यह दृष्टिकोण मेमोरी बैंडविड्थ से लेकर गणना तक की बाधा को स्थानांतरित करता है, जिससे समानांतर में 256 टोकन उत्पन्न होते हैं। Google का कहना है कि यह इन-लाइन संपादन, आणविक अनुक्रमण और गणितीय रेखांकन जैसे गैर-रेखीय कार्यों में मापनीय वृद्धि प्रदान करता है। उपरोक्त एनीमेशन से पता चलता है कि सुडोकू पहेलियों को हल करने के लिए डिफ्यूजनजेम्मा को कैसे ट्यून किया गया था, जो मानक ऑटोरेग्रेसिव एआई मॉडल के लिए एक बेहद चुनौतीपूर्ण कार्य है क्योंकि प्रत्येक टोकन भविष्य के टोकन पर निर्भर करता है। डिफ्यूजनजेम्मा की टोकन के बड़े सेटों को लगातार स्वयं-सही करने की क्षमता इसे आसान बनाती है।
