इस महीने की शुरुआत में, OpenAI ने अपने कई AI मॉडलों को एक कार्य दिया: a पूरा करें परीक्षा उनकी साइबर सुरक्षा क्षमताओं को मापने के लिए डिज़ाइन किया गया है। इसने सिस्टम को बिना इंटरनेट कनेक्शन के सैंडबॉक्स वाले वातावरण में डाल दिया और उन्हें काम पर लगा दिया।
क्या अगला हुआ लगभग हास्यास्पद रूप से मूर्खतापूर्ण है – लेकिन साथ ही, जैसा कि एआई सुरक्षा संगठन FAR.AI के सह-संस्थापक और सीईओ एडम ग्लीव ने कहा है, “यह एक प्रत्यक्ष उदाहरण है कि कैसे गलत तरीके से संरेखित एआई नुकसान पहुंचा सकता है।” ओपनएआई के अनुसार, मॉडल उन्हें रखने के लिए बनाए गए सैंडबॉक्स से बच गए, कंपनी के आंतरिक सिस्टम के माध्यम से चले गए, इंटरनेट का मार्ग खोजा और फिर हगिंग फेस में रास्ता तलाशना शुरू कर दिया। और एजेंट हगिंग फेस के लिए रास्ता क्यों तलाश रहा था? उन्होंने स्पष्ट रूप से तर्क दिया था कि डेवलपर प्लेटफ़ॉर्म साइबर बेंचमार्क के उत्तरों को संग्रहीत कर सकता है और उन्हें प्राप्त करना उच्च स्कोर प्राप्त करने का एक शानदार तरीका होगा।
यह घटना “इस बात का प्रत्यक्ष उदाहरण है कि गलत तरीके से संरेखित एआई कैसे नुकसान पहुंचा सकता है।”
दूसरे शब्दों में, ओपनएआई का एजेंट कथित रूप से सुरक्षित वातावरण से बाहर निकला, कंपनी के सिस्टम में फंस गया, ऑनलाइन हो गया, और किसी अन्य कंपनी के सिस्टम से समझौता कर लिया – यह सब बिना किसी विशेष महत्व के परीक्षण में धोखा देने के लिए किया गया।
ऐसा प्रतीत होता है कि यह अपनी तरह की पहली अच्छी तरह से प्रलेखित घटना है, या कम से कम इस पैमाने पर पहली घटना है। यह अनपेक्षित तरीके से किसी लक्ष्य का पीछा करने वाली प्रणाली का एक स्पष्ट उदाहरण था और एक प्रदर्शन था कि सीमांत मॉडल अब उस व्यवहार के लिए वास्तविक दुनिया के परिणामों के लिए पर्याप्त शक्तिशाली हैं।
यह हैक एक उदाहरण था जिसे एआई सुरक्षा समुदाय “” कहता है।विशिष्टता गेमिंगऑक्सफ़ोर्ड विश्वविद्यालय के एआई सुरक्षा शोधकर्ता फज़ल बरेज़ ने कहा, “एक व्यवहार जिसे रिवार्ड हैकिंग के रूप में भी जाना जाता है। सरल अंग्रेजी में, इसका मतलब है” मॉडल वह कर रहा है जो आपने पूछा था बजाय इसके कि आप क्या कहना चाहते थे, “फज़ल ने कहा। यह स्पष्ट इरादे का उल्लंघन करते हुए किसी कार्य के शाब्दिक शब्दों को संतुष्ट करता है और किया गया है दस्तावेज आर-पार अनेक एआई सिस्टम। कुछ शोधकर्ता चिंता जैसे-जैसे सिस्टम अधिक सक्षम होते जाते हैं, यह तेजी से गलत संरेखित सिस्टम उत्पन्न कर सकता है, जो उन तरीकों से लक्ष्यों का पीछा करते हैं जो उनके रचनाकारों का इरादा नहीं था (जैसे हर किसी को एक में बदलना) पेपर क्लिप्स).
फ़ज़ल ने कहा, “उस शृंखला में कुछ भी अलग-थलग नहीं है।” उन्होंने कहा, एक सक्षम मानव परीक्षक यह सब करने में सक्षम होगा। “नई बात यह है कि मॉडल बंद नहीं हुआ। पुराने मॉडल संभवतः किसी बाधा से टकराए होंगे और उपयोगकर्ता के पास वापस चले गए होंगे, उन्होंने कहा, लेकिन इस एजेंट ने बाधा को केवल उस समस्या के हिस्से के रूप में माना जिसे इसे हल करने के लिए कहा गया था।”
ओपनएआई बताया गया है इसे “एक अभूतपूर्व साइबर घटना” कहा गया है,एक महत्वपूर्ण क्षण को चिह्नित करता है एआई सुरक्षा के लिए।” हगिंग फेस के सह-संस्थापक थॉमस वुल्फ कहा यह उद्योग के लिए एक “जागरूक कॉल” थी। लेकिन यह एआई सर्वनाश के चार घुड़सवारों में से एक नहीं है। विशेषज्ञों ने बताया कि जैसे-जैसे साइबर घटनाएं बढ़ती जा रही हैं द वर्ज यह बहुत सांसारिक था. एजेंट ने ऐसा कुछ भी नहीं किया जिसके लिए अलौकिक क्षमताओं की आवश्यकता हो। इसके अलावा, GPT-5.6 Sol और Anthropic’s जैसे फ्रंटियर सिस्टम पौराणिक कथाएं सक्षम कोडर के रूप में जाने जाते हैं, ऐसा पहले से ही माना जाता है चीज़ें कई बार, और एआई उपकरण हैकर्स को पहले से ही अनुमति है बड़े पैमाने पर हमलों को बढ़ाना और परिष्कृत करना।
क्या यह प्रचार हो सकता है? उद्योग ने महीनों बिताए हैं दावों को बढ़ाना इसके शीर्ष मॉडलों की खतरनाक क्षमताओं के बारे में, खासकर जब साइबर सुरक्षा की बात आती है। यही कारण है कि ओपनएआई और एंथ्रोपिक जैसी कंपनियों ने अपने सबसे सक्षम मॉडलों को आम जनता से दूर रखा है और आंशिक रूप से यही कारण है कि ट्रम्प प्रशासन ने जल्दबाजी की उन पर निर्यात नियंत्रण लागू करना।
क्या आप एआई सुरक्षा शोधकर्ता या फ्रंटियर लैब कर्मचारी हैं? आप सिग्नल एट के माध्यम से सुरक्षित और गोपनीय रूप से मुझसे संपर्क कर सकते हैं थे.01. मेरा एक्स डीएम भी खुले हैं.
हालाँकि, यदि यह प्रचार है, तो यह पूरी तरह से OpenAI के पक्ष में नहीं गया है। इसके बाद के दिनों में हमला हुआ है एकता का एक दुर्लभ क्षण उत्पन्न किया ओपन-वेट एआई सिस्टम के महत्व और एआई सुरक्षा को अधिक गंभीरता से लेने की आवश्यकता के बारे में अमेरिका के अधिकांश तकनीकी उद्योग में चर्चा हो रही है। इन चिंताओं को और अधिक रेखांकित किया गया मुक्त करना किमी K3 की, एक अत्यधिक सक्षम ओपन-वेट मॉडल चीन से. एनवीडिया, माइक्रोसॉफ्ट और स्पेसएक्स सहित कंपनियों के एक व्यापक गठबंधन ने तर्क दिया कि इस घटना से पता चला है कि रक्षकों को मालिकाना प्रदाताओं पर भरोसा करने के लिए मजबूर होने के बजाय उपलब्ध सबसे सक्षम उपकरणों तक पहुंच की आवश्यकता क्यों है, जिनके अंतर्निहित सुरक्षा उपाय उच्च जोखिम वाले सुरक्षा कार्यों में उनकी प्रभावशीलता को सीमित कर सकते हैं। ओपनएआई, एंथ्रोपिक और गूगल गठबंधन की संस्थापक सदस्यता से विशेष रूप से अनुपस्थित थे।
“जो कोई भी ध्यान दे रहा है उसने देखा है कि क्षमताएं केवल एक ही दिशा में जा रही हैं।”
ओपनएआई की घटना का विवरण निर्विवाद रूप से फ्रंटियर मॉडल की खतरनाक क्षमताओं के बारे में एक व्यापक उद्योग कथा में फिट बैठता है। फिर भी, कई विवरण इस घटना को केवल स्वार्थ-सेवा के रूप में खारिज करना कठिन बनाते हैं। सबसे महत्वपूर्ण बात यह है कि यह एक ऐसी समस्या का उदाहरण है जिसके बारे में एआई उद्योग ने वर्षों से चेतावनी दी है – और एक ओपनएआई से इसकी उम्मीद की जा सकती थी। इस प्रकरण ने एक प्रमुख चीनी प्रतियोगी को अप्रत्याशित बढ़ावा दिया, जिसके मॉडल ने ओपनएआई को महत्वपूर्ण कानूनी, नियामक और प्रतिष्ठित जांच के दायरे में लाते हुए उल्लंघन को रोकने में प्रमुख भूमिका निभाई। वह हगिंग फेस ओपनएआई के साथ काम करने के लिए उत्सुक प्रतीत होता है और, कम से कम सार्वजनिक रूप से, पूरी चीज़ के बारे में काफी निश्चिंत रहा है, जिससे परिणाम सीमित हो सकते हैं। अधिकांश विशेषज्ञ द वर्ज इसी तरह घटना को बढ़ा-चढ़ाकर पेश करने के प्रति आगाह किया गया।
कैंब्रिज यूनिवर्सिटी के लीवरहल्मे सेंटर फॉर द फ्यूचर ऑफ इंटेलिजेंस के प्रोफेसर सीन ए हेइगेर्टाईघ ने कहा, “यह अनपेक्षित परिणामों और ये मॉडल कितने सक्षम हैं, दोनों को प्रदर्शित करने के संदर्भ में एक बहुत उपयोगी चेतावनी शॉट है।” “जो कोई भी ध्यान दे रहा है उसने देखा है कि क्षमताएं केवल एक ही दिशा में जा रही हैं, और समय के साथ इसमें काफी सुधार हो रहा है और मुझे लगता है कि चैटजीपीटी जैसी किसी चीज़ के रोजमर्रा के उपयोगकर्ता के लिए यह शायद कम स्पष्ट है।”
फिर भी, इस चेतावनी को एक संकेत के रूप में व्याख्या करना गलत होगा कि एआई सिस्टम मानव नियंत्रण को खत्म करने वाले हैं, या कि उन पर काबू पाना असंभव है, ऑक्सफोर्ड विश्वविद्यालय में एआई सुरक्षा शोधकर्ता लिन ली कहते हैं। ली कहते हैं, “बेहतर सबक यह है कि सुरक्षा को अलग-अलग कार्यों के मूल्यांकन से आगे बढ़कर संपूर्ण कार्रवाई अनुक्रमों, वातावरण और परिचालन नियंत्रणों का मूल्यांकन करना होगा।”
एआई प्रयोगशालाओं के लिए एक महत्वपूर्ण अगला कदम अपने स्वयं के सिस्टम को सुरक्षित करने में अधिक भारी निवेश करना है। ग्लीव ने कहा, “एआई कंपनियों को अपनी आंतरिक तैनाती की सुरक्षा को मजबूत करने की स्पष्ट आवश्यकता है,” हैकिंग की घटनाओं को पुरस्कृत करने के वर्तमान अभ्यास की तुलना वेक-ए-मोल के खेल से करते हैं जो दांव बढ़ने के साथ कम और कम टिकाऊ होता जा रहा है। तकनीकी नीति अनुसंधान केंद्र GovAI के एक शोध साथी एडम चान ने कहा कि कंपनियों को अपनी मशीनों को एयरगैप करने पर विचार करना चाहिए – उन्हें इंटरनेट और अन्य नेटवर्क से भौतिक रूप से अलग करना चाहिए – “जब तक वे मॉडल की क्षमताओं के बारे में आश्वस्त नहीं हो जाते।” उन्होंने कहा, संरेखण पर काम को तेज करना, जो सुनिश्चित करता है कि सिस्टम विश्वसनीय रूप से मानवीय इरादों का पालन करते हैं, और “ऐसे वातावरण में मॉडल डालने से पहले इन मुद्दों को सामने लाने के लिए जहां उनके पास इन चीजों को करने में सक्षम होने के लिए उपकरण हैं” का अधिक कठोर परीक्षण करना भी अच्छे विचार होंगे।
जैसे-जैसे मॉडल क्षमताएं बढ़ती हैं, विशेषज्ञ चेतावनी देते हैं कि हम केवल तकनीकी सुरक्षा उपायों पर भरोसा नहीं कर सकते। यूके एआई सुरक्षा संस्थान के पूर्व अधिकारी पीटर वालिच ने कहा कि यह घटना अकेले सैंडबॉक्सिंग एजेंटों और रक्षात्मक सुरक्षा उपायों पर भरोसा करने की सीमा को दर्शाती है: “दो अरबों डॉलर की कंपनियों ने इस दृष्टिकोण की कोशिश की और – स्पष्ट रूप से, अपनी स्वयं की रिपोर्टिंग के आधार पर – असफल रहीं।”
सबसे बड़ी प्राथमिकताओं में से एक यह सुनिश्चित करना होना चाहिए कि बाहरी लोग देख सकें कि सीमांत एआई प्रयोगशालाओं के अंदर क्या हो रहा है। ब्रिटिश थिंक टैंक सेंटर फॉर लॉन्ग-टर्म रेजिलिएंस के पैट्रिक लीवरमोर ने कहा, “हम इस घटना के बारे में केवल इसलिए जानते हैं क्योंकि ओपनएआई ने हमें बताना चुना।” “एक अच्छी सुरक्षा व्यवस्था स्वैच्छिक प्रकटीकरण पर निर्भर नहीं होनी चाहिए।” आवश्यकता विशेष रूप से तब तीव्र होती है, जब, जैसा कि वालिच ने कहा, विचाराधीन आचरण “यदि किसी मानव द्वारा किया गया हो तो अपराध होगा।” Ó हेइगेर्टाईघ ने दृश्यता प्रदान करने के संभावित तरीकों के रूप में व्हिसिलब्लोअर सुरक्षा, तृतीय-पक्ष ऑडिट और गंभीर घटनाओं की अनिवार्य रिपोर्टिंग की ओर इशारा किया, इस बात पर जोर दिया कि निरीक्षण केवल उत्पादों के बाजार में पहुंचने के बाद शुरू होने के बजाय पूरे विकास जीवनचक्र तक फैला होना चाहिए। ओपनएआई ने कहा कि परीक्षण किए जा रहे मॉडलों में से एक अभी तक जारी नहीं किया गया है।
“एक अच्छी सुरक्षा व्यवस्था स्वैच्छिक प्रकटीकरण पर निर्भर नहीं होनी चाहिए।”
इसमें से बहुत से लोग मानते हैं कि कंपनियां स्वयं जानती हैं कि उनके सिस्टम के अंदर क्या हो रहा है। इस मामले में, रिपोर्टों सुझाव है कि ओपनएआई इस बात से अनभिज्ञ था कि हगिंग फेस पर दिन भर चले साइबर अभियान के पीछे उसका अपना एजेंट था और खतरे पर काबू पाने और एफबीआई से संपर्क करने के बाद तक उसने इस पर ध्यान नहीं दिया। हैक के बारे में अभी भी कई विवरण हैं जो अज्ञात हैं या सार्वजनिक नहीं किए गए हैं। एक में अद्यतन सोशल मीडिया पर, ओपनएआई ने कहा कि वह एक समीक्षा कर रहा है और “आने वाले हफ्तों में” अपने निष्कर्षों की एक तकनीकी रिपोर्ट प्रकाशित करेगा।
क्या हगिंग फेस घटना द्वारा उठाई गई चेतावनियाँ कोई स्थायी परिवर्तन लाती हैं, या उन चेतावनियों की लंबी सूची में शामिल हो जाती हैं जिन्हें तकनीकी उद्योग बिना सार्थक बदलाव के अवशोषित कर लेता है, यह अनिश्चित बना हुआ है। अभी के लिए, कम से कम, ऐसा प्रतीत होता है कि इसने उद्योग के अंदरूनी सूत्रों को चिंतित कर दिया है और अमेरिकी सांसदों को इसके लिए प्रेरित किया है नए नियमों पर विचार करें अगली रोकथाम विफलता से पहले. इस घटना ने एआई विकास की गति पर बेचैनी की व्यापक भावना को भी जोड़ा, जो बाद के दिनों में प्रमुख अमेरिकी प्रयोगशालाओं के कर्मचारियों के रूप में गहरा हो गया। एक बयान पर हस्ताक्षर किये समन्वित वैश्विक शासन का समर्थन – जिसमें सीमांत एआई विकास में संभावित मंदी भी शामिल है।
उनमें से प्रचलित दृष्टिकोण द वर्ज कहा गया था कि इस हैक ने जोखिम के एक नए वर्ग की शुरुआत को चिह्नित किया है, भले ही इसका महत्व केवल बाद में स्पष्ट हो सकता है। एक पूर्व सरकारी एआई नीति विशेषज्ञ, जिन्होंने नाम न छापने की शर्त पर कहा क्योंकि वे नाम उद्धृत करने के लिए अधिकृत नहीं थे, ने इसे “लाल रेखा” के रूप में वर्णित किया, इस प्रकार का वाटरशेड क्षण जिसे हम बाद में एआई के साथ हमारे संबंधों में एक नए, जोखिम भरे चरण के रूप में देख सकते हैं। उन्हें उम्मीद है कि यह तकनीकी उद्योग को सीमांत प्रणालियों के प्रबंधन को अधिक गंभीरता से लेने के लिए मजबूर करेगा और सरकारों को कम सौम्य उल्लंघन होने से पहले निरीक्षण के बारे में अधिक गहराई से सोचने के लिए प्रेरित करेगा। उनका डर यह है कि यह एआई की बढ़ती क्षमताओं के बारे में चेतावनियों की लंबी सूची में शामिल हो जाएगा जिन्हें पहचाना गया, चर्चा की गई और अंततः अनसुना कर दिया गया।
यह अतिशयोक्तिपूर्ण साबित हो सकता है। लेकिन अगर यह एक चेतावनी है, तो हमें खुद को भाग्यशाली समझना चाहिए कि एआई एजेंट केवल एक परीक्षण में नकल करने की कोशिश कर रहा था।
