هوش مصنوعی به دکمه توقف نیاز دارد، اما چه کسی حق فشار دادن آن را دارد؟

نویسنده: شیائوبای

این مقاله به صورت اختصاصی توسط نویسنده نوشته شده و دیدگاه‌ها تنها نمایانگر درک شخصی نویسنده است و ETHPanda محتوای آن را ویرایش و تنظیم کرده است.

بحث‌های پیرامون هوش مصنوعی معمولاً به دو اردوگاه تقسیم می‌شود: یک طرف خواستار ادامه تسریع و طرف دیگر خواستار توقف سریع است.

ویتالیک در پاسخ به "AI 2040: Plan A" اشاره کرد که اختلاف واقعی در این بحث، در واقع انتخاب‌های سیاسی نیست، بلکه قضاوت‌های بنیادی مردم درباره آینده کاملاً متفاوت است.

یک قضاوت بر این باور است که هوش مصنوعی هنوز یک "فناوری عادی" است. این فناوری اشتغال، صنایع و ساختار اجتماعی را تغییر خواهد داد، اما در نهایت همچنان تحت تأثیر بازار، قوانین، انرژی، سرمایه و توانایی‌های سازمانی قرار خواهد گرفت.

قضاوت دیگر این است که به محض اینکه هوش مصنوعی به طور گسترده‌ای در تحقیق و توسعه هوش مصنوعی شرکت کند، رشد توانایی‌ها ممکن است به یک چرخه سریع وارد شود. در آن زمان، انسان‌ها با این واقعیت مواجه خواهند شد که نه تنها شغل‌ها جایگزین می‌شوند، بلکه ممکن است به تدریج کنترل واقعی بر روی تحقیق، اقتصاد، نظامی و ساختارهای نهادی را از دست بدهند.

اگر قضاوت اول درست باشد، ایجاد یک سیستم ردیابی جهانی برای تراشه‌ها، تأیید قدرت محاسباتی و نظارت بر مراکز داده به وضوح یک واکنش شدید خواهد بود.

اما اگر قضاوت دوم درست باشد، ادامه حفظ رقابت پیش‌فرض و اعتماد به این که بازار در نهایت همه چیز را به طور خودکار حل خواهد کرد، نیز یک قمار با ریسک بالا است.

بنابراین، آنچه که واقعاً در مدیریت هوش مصنوعی نیاز به پاسخ دارد، تنها "آیا باید توقف کنیم" نیست، بلکه این است:

در شرایطی که نمی‌توانیم تعیین کنیم آینده متعلق به کدام نوع جهان است، چگونه می‌توانیم توانایی کاهش سرعت را حفظ کنیم بدون اینکه قدرت دائمی را به اقلیت بسپاریم؟

هسته «AI 2040» تنها «کاهش سرعت» نیست

«AI 2040» یک مسیر انتقال نسبتاً ایده‌آل برای هوش فوق‌العاده را پیشنهاد می‌دهد.

این طرح تصور می‌کند که کشورهای اصلی و شرکت‌های هوش مصنوعی از طریق هماهنگی بین‌المللی، سرعت توسعه هوش مصنوعی پیشرفته را کاهش دهند، شفافیت تحقیق را افزایش دهند و اجازه دهند تا شرکت‌کنندگان بیشتری به سطح نزدیک به خط مقدم برسند و سپس پس از رسیدگی به مسائل ایمنی و مدیریت، به پیشرفت ادامه دهند.

من معتقدم که بزرگترین مشکل این طرح در هدف نیست، بلکه در اجرا است.

تا زمانی که یک طرف به طور مخفیانه مدل‌های قوی‌تری را آموزش دهد، سایر شرکت‌کنندگان نگران خواهند بود که از رقابت عقب بمانند و توافق به سرعت بی‌اثر خواهد شد. بنابراین، برای اینکه کاهش سرعت قابل اعتماد باشد، باید تراشه‌های پیشرفته را ردیابی کرد، مراکز داده بزرگ را نظارت کرد و تعیین کرد که آیا قدرت محاسباتی واقعاً برای آموزش استفاده می‌شود یا برای اهداف دیگر.

این بدان معناست که برای جلوگیری از شکل‌گیری یک مرکز قدرت جدید در هوش فوق‌العاده، انسان‌ها ممکن است نیاز به ایجاد یک مرکز کنترل قدرت محاسباتی جهانی داشته باشند.

این دقیقاً تناقضی است که در طرح توقف هوش مصنوعی سخت‌ترین است:

مکانیسم‌های جلوگیری از کنترل فناوری، خود ممکن است به ابزاری برای از دست دادن کنترل قدرت تبدیل شوند.

"خطرات هوش مصنوعی بسیار زیاد است" به طور خودکار نمی‌تواند ثابت کند که یک دولت، سازمان بین‌المللی یا آزمایشگاه بزرگ باید قدرت نامحدود داشته باشد.

به همین ترتیب، "نظارت ممکن است مورد سوءاستفاده قرار گیرد" نیز نمی‌تواند به طور معکوس ثابت کند که خطرات هوش مصنوعی وجود ندارد.

آنچه واقعاً نیاز به بررسی دارد، ساختار نهادی است:

چه کسی خطر را تعریف می‌کند، چه کسی داده‌ها را در اختیار دارد، چه کسی حق شروع محدودیت‌ها را دارد، چه کسی می‌تواند معافیت بگیرد، چه کسی ناظر بر مجریان است و پس از اشتباه در قضاوت، آیا این قدرت می‌تواند پس گرفته شود.

اگر به این سوالات پاسخ داده نشود، "امنیت هوش مصنوعی" به راحتی می‌تواند به یک مجوز فناوری بدون تاریخ انقضا تبدیل شود.

بین دکمه توقف و تخت سلطنت، تنها یک معافیت فاصله است

"توقف هوش مصنوعی" به نظر می‌رسد یک عمل ساده باشد، اما در واقع ممکن است نمایانگر دو نظام کاملاً متفاوت باشد.

نوع اول توقف انتخابی است.

دارندگان قدرت می‌توانند تصمیم بگیرند که چه کسی واجد شرایط آموزش مدل است و چه کسی باید متوقف شود؛ چه کسی به عنوان نهاد معتبر شناخته می‌شود و چه کسی به عنوان شرکت‌کننده خطرناک در نظر گرفته می‌شود. دیگران محدود می‌شوند، اما دارنده قدرت می‌تواند مدل‌ها، تراشه‌ها و قدرت محاسباتی را حفظ کند.

این مکانیزم واقعاً رقابت را پایان نمی‌دهد، بلکه فقط برنده را از قبل تعیین می‌کند.

این دکمه توقف نیست، بلکه بیشتر شبیه یک تخت سلطنت است.

نوع دوم توقف متقارن است.

زمانی که شرایط خطر عمومی فعال می‌شود، همه شرکت‌کنندگان اصلی محدود می‌شوند، از جمله طرف مسئول اجرای توقف. هیچ معافیت مخفی وجود ندارد و نمی‌توان همزمان از رقبای خود خواست که متوقف شوند و آزمایشگاه خود را به پیش ببرد.

این مکانیزم به واقع نزدیک‌تر به یک قطع‌کننده واقعی است.

ویتالیک به وضوح تأیید کرده است که طرح A "تخریب متقابل قدرت محاسباتی" را معرفی می‌کند. در مقایسه با این که به اقلیت اجازه داده شود به طور انتخابی دیگران را محدود کنند و خود را معاف کنند، این مکانیزم حداقل بیشتر متقارن است.

اما تقارن نیز به طور خودکار مشکل را حل نمی‌کند.

سیستمی که می‌تواند قدرت محاسباتی پیشرفته جهانی را به طور گسترده متوقف کند، خود یک ابزار قدرت بسیار قوی است. این ممکن است به دلیل اطلاعات نادرست فعال شود، مورد سوءاستفاده سیاسی قرار گیرد، توسط کارکنان داخلی دستکاری شود و همچنین ممکن است به دلیل نقص‌های فنی خسارات زیادی به بار آورد.

بنابراین، یک مکانیزم توقف قابل اعتماد، حداقل باید چند شرط را برآورده کند:

شرایط فعال‌سازی باید عمومی باشد، شواهد نباید توسط یک نهاد واحد انحصار شود، محدودیت‌ها باید تا حد ممکن متقارن باشند، توقف باید دارای یک دوره زمانی مشخص باشد و قوانین از سرگیری نیز باید از قبل نوشته شود.

به ویژه نباید فقط "چگونه به وضعیت اضطراری وارد شویم" طراحی شود، بلکه "چگونه از وضعیت اضطراری خارج شویم" نیز باید طراحی شود.

در واقع، پس از اینکه نهادها قدرت را به دست می‌آورند، معمولاً آسان‌تر است که ثابت کنند خطر هنوز وجود دارد تا اینکه به طور فعال قدرت را بازگردانند.

بنابراین، مکانیزم توقف هوش مصنوعی نیز به یک دکمه توقف نیاز دارد.

تمرکز واقعی قدرت، تنها از شرکت‌ها و دولت‌ها ناشی نمی‌شود

امروز در بحث قدرت هوش مصنوعی، مردم معمولاً نگران دو چیز هستند.

اول اینکه تعداد کمی از شرکت‌های بزرگ مدل‌های قوی‌ترین را انحصار می‌کنند.

دوم اینکه دولت‌ها به نام امنیت، تراشه‌ها، داده‌ها و توسعه‌دهندگان را کنترل می‌کنند.

اما ویتالیک به خطر عمیق‌تری اشاره کرده است:

هوش فوق‌العاده خود نیز ممکن است بزرگترین متمرکز کننده قدرت باشد.

امروز انسان‌ها به دلیل داشتن برخی منابع کمیاب، قدرت چانه‌زنی دارند: کار، دانش، توانایی‌های سازمانی، سرمایه، قدرت سیاسی و نیروی نظامی. گروه‌های مختلف باید با یکدیگر مذاکره کنند، زیرا هیچ یک از طرفین نمی‌تواند به طور کامل از دیگران دور شود.

اگر هوش مصنوعی در تحقیق، برنامه‌نویسی، مدیریت، مالی، ارتباطات، حملات سایبری و حتی برنامه‌ریزی نظامی از انسان‌ها سریع‌تر، ارزان‌تر و مؤثرتر باشد، این توانایی‌های کمیاب که به طور طبیعی متعلق به انسان‌ها هستند به سرعت بی‌ارزش می‌شوند.

در آن زمان، حتی اگر در بازار ده شرکت هوش مصنوعی رقابت کنند، این به این معنا نیست که انسان‌ها هنوز قدرت نهایی را در اختیار دارند.

رقابت بازار می‌تواند سود یک شرکت را محدود کند، اما لزوماً نمی‌تواند تضمین کند که افراد عادی همچنان قدرت چانه‌زنی دارند.

بنابراین، "اجازه دادن به افراد معتبر برای کنترل قوی‌ترین هوش مصنوعی" پاسخ کاملی نیست.

این فقط سوال را از "آیا هوش مصنوعی انسان‌ها را کنترل خواهد کرد" به "کدام گروه کوچک باید ابتدا قدرت کنترل قوی‌ترین هوش مصنوعی را به دست آورد" تغییر می‌دهد.

d/acc پایه است، اما پاسخ جامع نیست

d/acc که ویتالیک به طور مداوم ترویج می‌کند، می‌تواند به عنوان اولویت دادن به توسعه فناوری‌های دفاعی و غیرمتمرکز درک شود.

به عنوان مثال، نرم‌افزارهای ایمن‌تر، تأیید رسمی، رمزنگاری، سخت‌افزارهای باز، دفاع سایبری، ایمنی زیستی و ابزارهای تأیید اطلاعات.

ارزش این جهت‌گیری‌ها در این است که به یک جدول زمانی دقیق برای هوش فوق‌العاده وابسته نیستند.

اگر هوش مصنوعی در نهایت فقط یک فناوری عادی باشد، نرم‌افزارهای ایمن‌تر، سخت‌افزارهای قابل اعتمادتر و توانایی‌های دفاع عمومی قوی‌تر همچنان ارزش ساخت دارند.

اگر هوش مصنوعی به سرعت قوی‌تر شود، این فناوری‌ها نیز می‌توانند توانایی جامعه را در برابر حملات سایبری، خطرات زیستی، درهای پشتی سخت‌افزاری و دستکاری اطلاعات افزایش دهند.

این یک استراتژی کم‌احساس است: در شرایطی که نمی‌توانیم تعیین کنیم آینده متعلق به کدام نوع جهان است، ابتدا زیرساخت‌های ایمنی را بسازیم که به هر حال ارزش داشتن دارند.

اما d/acc یک داروی همه‌کاره نیست.

اگر توانایی‌های هوش مصنوعی واقعاً در مدت زمان کوتاهی دچار جهش شوند، فناوری‌های دفاعی ممکن است به موقع مستقر نشوند. سیستم‌های ایمن‌تر می‌توانند خطرات را کاهش دهند، اما نمی‌توانند ثابت کنند که همه رقابت‌ها باید ادامه یابند.

بنابراین، d/acc بیشتر به عنوان یک پایه بلندمدت مناسب است، در حالی که مکانیزم توقف بیمه‌ای در شرایط شدید است.

پایه باید به طور مداوم ساخته شود، بیمه نباید به راحتی فعال شود، اما همچنین نباید منتظر بماند تا سیستم از کنترل خارج شود.

مهم‌تر از تاریخ پیش‌بینی، توافق بر سر شرایط فعال‌سازی است

یکی از پیشنهادات واقع‌گرایانه ویتالیک در این مقاله طولانی، نه توقف فوری هوش مصنوعی، بلکه توافق بر سر این است که:

پس از ظهور چه شواهدی، طرفین باید قضاوت خود را تغییر دهند.

امروز، درخواست از همه برای توافق بر سر اینکه "هوش فوق‌العاده در سال 2030 ظاهر خواهد شد" یا "در بیست سال آینده ظاهر نخواهد شد" تقریباً غیرممکن است.

اما اردوگاه‌های مختلف هنوز می‌توانند بر سر برخی نشانه‌های خطر توافق کنند.

به عنوان مثال:

آیا هوش مصنوعی قادر است به طور مستقل وظایف تحقیق و توسعه را برای چندین هفته انجام دهد؛

آیا می‌تواند به طور قابل توجهی سرعت توسعه نسل بعدی هوش مصنوعی را افزایش دهد؛

آیا توانایی کشف و بهره‌برداری از آسیب‌پذیری‌های شبکه به صورت گسترده را دارد؛

آیا شروع به کپی‌برداری خود، به دست آوردن منابع یا دور زدن نظارت کرده است؛

آیا به سلاح‌ها، سیستم‌های مالی و زیرساخت‌های کلیدی متصل شده است؛

آیا آسیب‌های اجتماعی گسترده و مداوم ایجاد کرده است.

نکته اصلی این نیست که یک معیار کامل پیدا کنیم، بلکه این است که بحث را از "آیا شما به هوش فوق‌العاده اعتقاد دارید" به "چه شواهد واقعی شما را به روزرسانی قضاوت می‌کند" تغییر دهیم.

کسانی که معتقدند خطرات هوش مصنوعی بزرگ‌نمایی شده‌اند می‌توانند بپذیرند، زیرا آنها به این باورند که این شرایط اتفاق نخواهد افتاد.

کسانی که نگران هوش فوق‌العاده هستند نیز می‌توانند بپذیرند، زیرا آنها معتقدند که این نشانه‌ها ممکن است به زودی ظاهر شوند.

دو طرف نیازی به یکسان‌سازی جهان‌بینی خود ندارند، فقط کافی است که از قبل متعهد شوند:

پس از تغییر واقعیت، سیاست‌ها نیز باید تغییر کنند.

مداخله نباید تنها بین دو حالت ادامه و توقف باشد

مدیریت هوش مصنوعی واقعاً قابل اجرا نیز نباید به طور مستقیم بین "توسعه کاملاً آزاد" و "توقف جهانی" پرش کند.

روش منطقی‌تر این است که مداخله‌های درجه‌بندی شده ایجاد شود.

در شرایط خطر کم، افشای توانایی‌ها، گزارش حوادث و آزمایش‌های شخص ثالث را افزایش دهید.

با ادامه افزایش خطر، دسترسی مدل‌ها به زیرساخت‌های کلیدی را محدود کنید، و مجوزهای خودکار، جابجایی وجوه، کنترل سلاح و غیره را محدود کنید.

اگر هوش مصنوعی به وضوح خودکارسازی تحقیق و توسعه هوش مصنوعی را آغاز کرده باشد، یا چندین نشانه جدی به طور همزمان ظاهر شده باشد، سپس محدودیت‌هایی برای آموزش‌های پیشرفته جدید و گسترش قدرت محاسباتی بزرگ وضع کنید.

فقط زمانی که اقدامات با شدت پایین‌تر نتوانند خطر را کنترل کنند، باید به توقفی با دامنه وسیع‌تر و زمان کوتاه‌تر وارد شوید.

این طراحی درجه‌بندی شده به منظور تضعیف نظارت نیست، بلکه به منظور مطابقت شدت سیاست با شدت شواهد است.

نظام‌های واقعاً خطرناک معمولاً نه به دلیل ناتوانی در اتخاذ اقدامات سخت، بلکه به دلیل توانایی عبور از تمام مراحل میانه و به طور مستقیم به بهانه "وضعیت اضطراری" قدرت نامحدود به دست آوردن، خطرناک هستند.

نتیجه‌گیری

مشکل واقعی در مدیریت هوش مصنوعی، نه کمبود موضع، بلکه کمبود یک سیستم است که بتواند اشتباهات قضاوت را در خود جای دهد.

ادامه رقابت انتخابی نیست.

توقف جهانی نیز انتخابی نیست.

مدل‌های باز به طور طبیعی ایمن نیستند و مدل‌های بسته نیز به طور طبیعی مسئول نیستند.

یک مکانیزم مدیریت قابل اعتماد حداقل باید به چهار سوال پاسخ دهد:

بر اساس چه شواهدی عمل می‌کند؟

آیا به همان اندازه بر دارنده قدرت محدودیت می‌گذارد؟

آیا می‌تواند توسط نهادهای خارجی تأیید شود؟

پس از اشتباه در قضاوت، آیا قدرت می‌تواند پس گرفته شود؟

عصر هوش مصنوعی، شاید واقعاً به یک دکمه توقف نیاز داشته باشد.

اما مشکل واقعی دکمه توقف هرگز این نیست که آیا می‌توان آن را ساخت.

بلکه این است:

چه کسی حق فشار دادن آن را دارد، چه کسی حق از سرگیری آن را دارد و چگونه می‌توان اطمینان حاصل کرد که هیچ‌کس نمی‌تواند این دکمه را به تخت سلطنت خود تبدیل کند.