ओपनएआई ने खुलासा किया कि एआई एजेंट दुष्ट हो गया और उसने स्टार्टअप को ही हैक कर लिया

ओपनएआई ने खुलासा किया है कि उसकी तकनीक द्वारा संचालित एक स्वायत्त एआई एजेंट एक परीक्षण के दौरान दुष्ट हो गया, खुले वेब तक पहुंच गया और एक "अभूतपूर्व घटना" में अपने आप में एक प्रमुख स्टार्टअप को हैक कर लिया।

चैटजीपीटी के पीछे की कंपनी ने कहा कि स्टार्टअप हगिंग फेस ने एजेंट का पता लगाया था और उसे शामिल कर लिया था - एक एआई उपकरण जो मानव सहायता के बिना कार्यों को पूरा करने के लिए डिज़ाइन किया गया था - जो उसके सिस्टम में प्रवेश कर गया था।

"हम इस घटना को एक अभूतपूर्व साइबर-घटना मानते हैं, जिसमें शामिल है अत्याधुनिक साइबर क्षमताएं,'' OpenAI ने कहा।

कंपनी ने कहा कि उसे उम्मीद है कि मॉडल के रूप में इस प्रकार की घटना अधिक सामान्य हो जाएगी - वह तकनीक जो चैटबॉट और एजेंटों जैसे एआई टूल को रेखांकित करती है - अधिक सक्षम हो जाती है। OpenAI ने कहा कि हैक उसके नवीनतम सार्वजनिक रूप से उपलब्ध मॉडल के संयोजन द्वारा संचालित एक एजेंट के माध्यम से हुआ, जिसे GPT-5.6 Sol कहा जाता है, और एक और भी अधिक सक्षम मॉडल जो अभी तक जारी नहीं किया गया था।

परीक्षण के दौरान सैंडबॉक्स के रूप में जानी जाने वाली एक संलग्न डिजिटल प्रयोगशाला में आंतरिक रूप से अपनी हैकिंग क्षमताओं पर, मॉडलों ने खुली इंटरनेट पहुंच प्राप्त की - प्रभावी रूप से एक भागने का मार्ग - एक भेद्यता का पता लगाकर जो पहले नहीं खोजी गई थी।

एजेंट ने तब हगिंग फेस को हैक किया, जो एआई मॉडल का एक डेटाबेस है, उस तकनीक का पता लगाने के लिए जो हैकिंग मूल्यांकन को पास करने में मदद करेगी, "अनुमान" लगाते हुए कि हगिंग फेस के पास परीक्षण पास करने के लिए मॉडल, डेटासेट और समाधान हो सकते हैं। ओपनएआई ने कहा कि मॉडल ने "गुप्त जानकारी तक पहुंच हासिल करने के तरीके सफलतापूर्वक ढूंढ लिए हैं जिनका उपयोग वह मूल्यांकन को धोखा देने के लिए कर सकता है"। हमला तब समाप्त हुआ जब हगिंग फेस की सुरक्षा टीम और उसके स्वयं के एआई एजेंटों ने दुष्ट गतिविधि को देखा और रोक दिया।

हगिंग फेस के मुख्य कार्यकारी, क्लेमेंट डेलांगु ने कहा कि हमला "आश्चर्यजनक" था, लेकिन उनका मानना ​​है कि ओपनएआई की ओर से "कोई दुर्भावनापूर्ण इरादा नहीं था"।

जब हगिंग फेस ने पिछले सप्ताह हैक का खुलासा किया तो उसे घटना में ओपनएआई की भूमिका के बारे में पता नहीं था, लेकिन उस समय उसने कहा कि जो कुछ हुआ था उसका विश्लेषण करने के लिए उसने स्वतंत्र रूप से उपलब्ध चीनी एआई मॉडल की ओर रुख किया था क्योंकि वाणिज्यिक हाई-एंड मॉडल पर सुरक्षा रेलिंग उसे ऐसा करने की अनुमति नहीं देगी।

अज्ञात आईटी दोष के लिए शब्द शून्य-दिन की भेद्यता है क्योंकि डेवलपर्स के पास समस्या को ठीक करने के लिए शून्य मिनट हैं। अप्रैल में ओपनएआई के करीबी प्रतिद्वंद्वी एंथ्रोपिक ने कहा कि उसके माइथोस मॉडल में ऐसी हजारों खामियां पाई गई हैं। मिथोस और उसकी सहयोगी मॉडल, फ़ेबल 5, हालांकि इसने प्रतिबंध हटा लिया है। GPT-5.6 Sol पर समान प्रतिबंध थे लेकिन तब से इसे दुनिया भर में लागू कर दिया गया है।

METR, एक गैर-लाभकारी संगठन जो AI प्रदर्शन को मापता है, ने पिछले महीने कहा था कि Sol की धोखाधड़ी दर किसी भी सार्वजनिक मॉडल की तुलना में अधिक थी जिसका उसने पहले मूल्यांकन किया था। इसने 44 घटनाएं भी दर्ज की हैं जिनमें AI एजेंटों ने "जानबूझकर अपने उपयोगकर्ताओं के इरादों के खिलाफ काम किया"। सप्ताहवह एक एआई मॉडल जिसका वह मूल्यांकन कर रहा था, एक अज्ञात तकनीकी फर्म द्वारा विकसित किया गया था, वह भी दुष्ट हो गया और उसके परीक्षण प्रणालियों को हैक करने का प्रयास किया गया। एआईएसआई ने कहा कि कोई नुकसान नहीं हुआ है और उसने अपने सिस्टम को और अधिक सुरक्षित बनाने के लिए कदम उठाए हैं। इसमें कहा गया है कि ओपनएआई और एंथ्रोपिक द्वारा विकसित सभी मॉडलों ने परीक्षणों के दौरान "धोखा देने" का प्रयास किया था।

एआईएसआई ने चेतावनी दी कि और भी अधिक सक्षम मॉडल धोखाधड़ी के ऐसे तरीके ढूंढ सकते हैं जिनका पता लगाना कठिन हो और यदि वे सफल होते हैं तो अधिक नुकसानदायक हो सकते हैं, खासकर साइबर सुरक्षा जैसे क्षेत्रों में।

एक साइबर सुरक्षा विशेषज्ञ ने कहा कि हगिंग फेस घटना से पता चला है कि ओपनएआई एजेंट ने "एक वास्तविक वास्तविक हैकर की तरह" काम किया था, उदाहरण के लिए, शून्य-दिन की कमजोरियों की तलाश करना और पहुंच के लिए चोरी की गई साख का उपयोग करना। हगिंग फेस के सिस्टम।

साइबर सुरक्षा फर्म डार्कट्रेस में सुरक्षा और एआई रणनीति के उपाध्यक्ष नथानिएल जोन्स ने कहा, "एआई ने सोचा कि शायद हगिंग फेस के पास अपने लक्ष्य को कैसे प्राप्त किया जाए, इसके बारे में महत्वपूर्ण जानकारी होगी, जो साइबर सुरक्षा बेंचमार्क में बेहतर स्कोर है। इस अर्थ में, इसने एक वास्तविक हैकर की तरह काम किया।" . "इसके सामने एक लक्ष्य रखा गया था और यह उस लक्ष्य को पूरा करने के लिए चला गया।"

डेमोक्रेटिक अमेरिकी कांग्रेसी ग्रेग कैसर, जिन्होंने एआई क्षेत्र पर अधिक नियंत्रण का आह्वान किया है, ने इस घटना को चिंताजनक बताया।

उन्होंने एक बयान में कहा, "हमें सुरक्षित रखने के लिए कोई वास्तविक नियम नहीं होने के कारण एआई बहुत तेजी से विकसित हो रहा है," उन्होंने अनिवार्य स्वतंत्र सुरक्षा परीक्षण, सुरक्षा घटनाओं के अनिवार्य प्रकटीकरण और "लोगों को पूर्ण आपदा से सुरक्षित रखने के लिए" अंतर्राष्ट्रीय सहयोग का आह्वान किया।