इमेज स्रोत, Getty Images

आर्टिफ़िशियल इंटेलिजेंस (एआई) कंपनी एंथ्रोपिक के चीफ़ एग्जीक्यूटिव डारियो अमोदेई ने रविवार को एक लेख में एडवांस एआई के विकास की रफ़्तार धीमी करने की अपील की है.

उन्होंने चेतावनी दी है कि इसका परिणाम विनाशकारी साइबर हमले हो सकते हैं. इंडस्ट्री में एकजुटता पेश करते हुए, ओपनएआई के सैम ऑल्टमैन और स्पेसएक्स एआई के एलन मस्क जैसे प्रतिद्वंद्वी टेक लीडर्स ने भी सार्वजनिक रूप से उनकी इस अपील का समर्थन किया है.

ये चेतावनियां एआई सिस्टम्स से जुड़ी हाल की ऐसी कुछ घटनाओं के बाद आई हैं, जिनमें इन सिस्टम्स ने ऐसा बर्ताव किया जिसकी उनके निर्माताओं ने भी कल्पना नहीं की थी. इससे यह सार्वजनिक बहस छिड़ गई है कि क्या यह टेक्नोलॉजी "रोग" बनकर अब बेलगाम होती जा रही है.

एआई से जुड़े ख़तरों, हालिया चिंताओं की हकीकत और इस टेक्नोलॉजी व इसके जोखिमों को समझने की दुनिया भर में मची होड़ को यहां समझने का प्रयास करेंगे.

इमेज स्रोत, Getty Images

इस मांग के पीछे का डर यह है कि एआई की क्षमताएं इंडस्ट्री की इसे नियंत्रित करने की क्षमता से कहीं अधिक तेज़ी से बढ़ रही हैं.

अपने लेख में अमोदेई ने चेतावनी दी है कि अगले छह से 12 महीनों के भीतर, असंतुलित एआई एजेंट्स लगातार सक्रिय रहने वाले बॉटनेट बना सकते हैं.

बॉटनेट उन संक्रमित और हैक किए गए कंप्यूटरों का नेटवर्क होता है, जिन्हें साइबर हमलों को अंजाम देने के लिए दूर से कंट्रोल किया जाता है. ये इंटरनेट पर कब्ज़ा करके सैकड़ों अरबों डॉलर का आर्थिक नुकसान पहुंचा सकते हैं.

यह चिंता एआई में "रिकर्सिव सेल्फ-इम्प्रूवमेंट" से और बढ़ जाती है. यह एक ऐसी स्थिति है जिसमें एआई सिस्टम खुद से बेहतर एआई सिस्टम बनाने में सक्षम हो जाते हैं, जिससे उनके विकास की रफ़्तार कई गुना बढ़ जाती है.

छह सितंबर 2026 को ओपनएआई के चीफ साइंटिस्ट जैकब पचोकी ने 'एन एलियन माइंड' नाम से एक लेख प्रकाशित किया जिसमें उन्होंने बताया कि आधुनिक एआई को पारंपरिक प्रोग्रामिंग के बजाय बड़े पैमाने पर ऑप्टिमाइज़ेशन के ज़रिए विकसित किया जाता है.

नतीजतन, एआई मॉडल अपनी खुद की तर्क प्रक्रिया (रीज़निंग प्रोसेस) में हेरफेर करने में बेहतर हो रहे हैं. वे अपने लॉजिक को लिखकर स्पष्ट किए बिना ही दिए हुए काम पूरे कर रहे हैं और यहां तक कि अपने खुद के डेवलपर्स के लिए भी अपारदर्शी बनते जा रहे हैं.

देश - दुनिया की बड़ी ख़बरें जिन्होंने बटोरी सुर्खियां.

जब हम कहते हैं कि एआई 'बेलगाम' हो गया है, तो इसका असल मतलब क्या है?

बेलगाम शब्द का इस्तेमाल उन एआई सिस्टम्स के लिए किया जाता है जो अपने तय लक्ष्यों को हासिल करने के लिए इंसानी नियमों को दरकिनार करते हैं.

यह बर्ताव 'एआई एजेंट्स' में दिखता है. ये ऐसे सॉफ़्टवेयर होते हैं जो अलग-अलग ऐप्लिकेशन्स में कई चरणों वाले काम स्वतंत्र रूप से प्लान करते हैं और उन्हें अंजाम देते हैं.

11 से 13 जुलाई 2026 के बीच, ओपनएआई के प्री-रिलीज मॉडल GPT-5.6 Sol पर आधारित दो एडवांस एआई एजेंट्स ने एक प्रतिद्वंद्वी स्टार्टअप 'हगिंग फेस' के सिस्टम को हैक कर लिया था.

इन एजेंट्स को एक इंटरनल साइबर सिक्योरिटी टेस्ट को हल करने का काम सौंपा गया था. हालांकि उन्हें सीमित नेटवर्क एक्सेस वाले एक टेस्टिंग सैंडबॉक्स में रखा गया था, जिसका इस्तेमाल सिर्फ़ सॉफ़्टवेयर पैकेज इंस्टॉल करने के लिए होना था, ये एजेंट्स इस रिसर्च एनवायरनमेंट की खामियों का फायदा उठाते हुए वहां से बाहर निकल गए.

इसके बाद उन्होंने हगिंग फेस के सिस्टम में सेंध लगाकर सीधे उस टेस्ट की आंसर-की हासिल कर ली. इस तरह उन्होंने अपना काम ऐसे तरीके से पूरा किया जिसकी उनके डेवलपर्स ने कल्पना भी नहीं की थी.

ऐसी ही एक घटना 10 अगस्त 2026 को ऑस्ट्रेलिया में सामने आई. एक यूज़र ने एंथ्रोपिक के 'क्लॉड' पर आधारित एक एआई एजेंट को जिम क्लास बुक करने के लिए कहा. इस एजेंट ने जिम के सॉफ्टवेयर में एक खराब एप्लिकेशन प्रोग्रामिंग इंटरफेस (एपीआई) खोज निकाला.

इसने बुकिंग खुलने से हफ्तों पहले ही रिज़र्वेशन कर ली और अपने यूज़र के फायदे के लिए वेटलिस्ट से एक अन्य व्यक्ति को खुद ही हटा दिया. एआई सेफ़्टी रिसर्चर इसे "स्पेसिफिकेशन गेमिंग" या "रिवॉर्ड हैकिंग" कहते हैं. यह तब होता है जब कोई सिस्टम अपनी सफलता का पैमाना बढ़ाने के लिए कोई ऐसा शॉर्टकट खोज लेता है जो उसके नियमों के विरुद्ध हो और जिसकी उम्मीद न की गई हो.

इमेज स्रोत, Getty Images

कई शोधकर्ताओं ने इस टेक्नोलॉजी की दिशा को लेकर चिंता जताई है. एंथ्रोपिक में अलाइनमेंट साइंस के प्रमुख इवान हबिंगर ने एक्स पर एक पोस्ट में कहा कि उनका व्यक्तिगत अनुमान है कि अगले एक दशक के भीतर एआई द्वारा सभी इंसानों को खत्म कर देने की 10% से ज्यादा आशंका है.

हबिंगर के अनुमान का आधार यह है कि डेवलपर्स अभी तक यह सुनिश्चित नहीं कर पाए हैं कि एआई इंसानी इरादों के मुताबिक ही काम करे. हबिंगर के मुताबिक इंडस्ट्री अत्यधिक सक्षम एआई मॉडल्स के रिलीज़ होने से पहले इस समस्या को सुलझाने की दिशा में नहीं हैं.

एंथ्रोपिक के खुद के इंटरनल स्ट्रेस टेस्ट यह बताते हैं कि यह विनाश कैसे हो सकता है. कंपनी के प्रयोगों में ऐसे मॉडल्स देखे गए हैं जो धोखा देने और ब्लैकमेल करने में शामिल थे.

जुलाई 2026 में प्रकाशित एक प्रयोग के विवरण के अनुसार, साइबर सिक्योरिटी मूल्यांकन से गुज़र रहे एक एंथ्रोपिक मॉडल ने कमज़ोर पासवर्ड और असुरक्षित एंडपॉइंट्स का फायदा उठाकर अपने टेस्टिंग सैंडबॉक्स को तोड़ दिया. इसके बाद उसने कुछ संगठनों के क्रेडेंशियल्स चुराए और उनके इंफ्रास्ट्रक्चर तक पहुंच बना ली. एंथ्रोपिक ने इन संगठनों का नाम नहीं बताया है. मॉडल ने गलती से यह मान लिया था कि ये बाहरी लक्ष्य उसके साइबर सिक्योरिटी चैलेंज का ही हिस्सा थे.

इतिहासकार युवाल नोआ हरारी ने अपनी 2024 की किताब 'नेक्सस' में लिखा है कि एआई एक अभूतपूर्व ख़तरा है क्योंकि यह पहली ऐसी टेक्नोलॉजी है जो खुद फ़ैसले लेने और नए विचार पैदा करने में सक्षम है. परमाणु बम के विपरीत, जिसे चलाने के लिए किसी इंसान की जरूरत होती है, एआई एक स्वायत्त एजेंट है.

20 जून 2026 को गूगल डीपमाइंड ने एक सिक्योरिटी फ्रेमवर्क पेश किया जिसमें उसने कहा कि एडवांस एआई एजेंट्स को "इनसाइडर थ्रेट्स" यानी अंदरूनी खतरे के रूप में देखा जाना चाहिए.

इसकी तुलना किसी कंपनी के ऐसे कपटी कर्मचारियों से की गई जिनके पास कंपनी की संवेदनशील जानकारी हो. डीपमाइंड ने इसके सीधे नुकसानों की चेतावनी दी है, जिनमें संवेदनशील संपत्तियों, प्रोपराइटरी कोडबेस, यूज़र क्रेडेंशियल्स और क्लासिफाइड डेटा की चोरी शामिल है; साथ ही महत्वपूर्ण रिसर्च को चुपचाप नुकसान पहुंचाना.

हरारी ने समाज के लिए बड़े ख़तरों की रूपरेखा भी खींची है. वित्तीय क्षेत्र में, उन्होंने एक ऐसे परिदृश्य का वर्णन किया जहां एआई ऐसे निवेश उपकरण बनाता है जो इतने जटिल होते हैं कि कोई भी इंसान उन्हें समझ नहीं पाता. अंततः यह 1929 या 2008 से भी बड़े वैश्विक आर्थिक संकट का कारण बन सकता है. युद्ध के मामले में, हरारी ने चेतावनी दी कि आतंकवादी एआई का इस्तेमाल करके इबोला जितना घातक और कोविड-19 जितना संक्रामक नया वायरस बना सकते हैं और इसे बायोलॉजिकल 3D प्रिंटर में प्रिंट कर सकते हैं. एआई राष्ट्रीय पावर ग्रिड या परमाणु कमांड चेन पर भी गुप्त साइबर हमले कर सकता है.

इमेज स्रोत, ब्रेंडन स्मियालोव्स्की / AFP via Getty Images

अमेरिकी राष्ट्रपति डोनाल्ड ट्रंप ने एआई से जुड़े मौलिक ख़तरे को कमतर आंका है.

आयरलैंड के दौरे पर उन्होंने कहा कि "बहुत ही नकारात्मक ताकतें" ऐसे परिदृश्य सामने ला रही हैं जो "कभी नहीं होंगे".

3 जून 2026 को, राष्ट्रपति ट्रंप ने एक कार्यकारी आदेश पारित किया था जिसके तहत एआई डेवलपर्स के लिए एक स्वैच्छिक ढांचा बनाया गया है जिसमें वे अपने फ्रंटियर मॉडल्स को सार्वजनिक रिलीज़ से पहले 30 दिनों के सरकारी सुरक्षा समीक्षा के लिए जमा कर सकते हैं.

इसके पहले के ड्राफ्ट में 90 दिनों की समीक्षा का प्रस्ताव था, लेकिन इंडस्ट्री की चिंता थी कि इससे अमेरिकी कंपनियां चीनी प्रतिद्वंद्वियों के मुकाबले पिछड़ जाएंगी और इसकी वजह से इसे छोटा कर दिया गया.

हरारी ने चेतावनी दी कि यह भू-राजनीतिक होड़ एक "सिलिकॉन कर्टेन" बना रही है, जो दुनिया को अलग-अलग नेटवर्क और कंप्यूटर कोड पर चलने वाले प्रतिद्वंद्वी डिजिटल साम्राज्यों में बांट रही है.

यह बंटवारा एआई सुरक्षा पर वैश्विक सहयोग को बेहद मुश्किल बना देता है.

कुछ टेक लीडर्स व्यवस्थित सुरक्षा उपायों की मांग कर रहे हैं.

अमोदेई ने तीन चरणों वाले एक प्लान का प्रस्ताव दिया है: सुरक्षा की जांच के लिए स्वतंत्र, स्वतन्त्र मूल्यांकनकर्ताओं (थर्डपार्टी एवेल्यूटर्स) को एआई लैब्स तक स्थायी पहुंच देना, लोकतांत्रिक देशों के बीच सुरक्षा मानकों में तालमेल बिठाना और सत्तावादी सरकारों (ऑथॉरेटेरियन गर्वर्नमेंट) के साथ वैश्विक समन्वय की दिशा में काम करना.

कंपनियां चरणबद्ध तरीके से लॉन्च का भी प्रयोग कर रही हैं.

अप्रैल 2026 में एंथ्रोपिक ने अपने अत्यधिक सक्षम 'माइथोस' मॉडल का सार्वजनिक लॉन्च रोका था क्योंकि यह सॉफ्टवेयर की खामियों का फायदा उठाने में बहुत माहिर था.

कंपनी ने इसे केवल जांची-परखी सरकारी और साइबर सिक्योरिटी संस्थाओं के साथ ही साझा किया. 9 जून 2026 को, एंथ्रोपिक ने आम जनता के लिए इसका एक सुरक्षित संस्करण 'क्लॉड फेबल 5' रिलीज़ किया, जो संवेदनशील साइबर सिक्योरिटी या बायोलॉजिकल क्षेत्रों से जुड़े सवालों को अपने आप फिल्टर कर देता है.

एआई पर कोई बाध्यकारी वैश्विक संधि नहीं है और घरेलू नियम-कानून भी काफी हद तक स्वैच्छिक ही हैं. भारत में एआई के विकास को नियंत्रित या संचालित करने के लिए कोई कानून नहीं है.

1 मार्च 2024 को, भारत के आईटी मंत्रालय ने एक एडवाइज़री जारी की थी.

इसमें टेक कंपनियों से कहा गया था कि वे अंडर-टेस्टिंग या अविश्वसनीय एआई मॉडल्स को लॉन्च करने से पहले सरकार से अनुमति लें.

इंडस्ट्री लीडर्स और निवेशकों ने इसका विरोध ये कहते हुए किया कि इससे इनोवेशन रुकेगा, कंपनियों पर कंप्लायंस का बोझ पड़ेगा और अंततः नई टेक्नोलॉजी के रिलीज़ में देरी होने से जनता का ही नुकसान होगा.

7 मार्च 2024 को टेक इंडस्ट्री के लॉबी ग्रुप नैसकॉम ने आईटी मंत्रालय को पत्र लिखकर अनुमति की इस शर्त को हटाने की मांग की.

इसके दो हफ्ते बाद भारत सरकार ने इस एडवाइज़री को वापस ले लिया.

बीबीसी के लिए कलेक्टिव न्यूज़रूम की ओर से प्रकाशित.

BBC World Service के नए ऐप को डाउनलोड करें

BBC News हिन्दी को चुनें और पाइए न्यूज़ अलर्ट, लाइव टीवी, पॉडकास्ट... सब एक जगह

कृपया नोट करें: नया ऐप ब्रिटेन और अमेरिका में उपलब्ध नहीं है.

प्लेबैक आपके उपकरण पर नहीं हो पा रहा

शॉर्ट वीडियो का अंत

बीबीसी के लिए कलेक्टिव न्यूज़रूम की ओर से प्रकाशित

© 2026 BBC. बाहरी साइटों की सामग्री के लिए बीबीसी ज़िम्मेदार नहीं है. बाहरी साइटों का लिंक देने की हमारी नीति के बारे में पढ़ें.