امکان کنترل هوش مصنوعی فوق هوشمند وجود ندارد
مشکل اینجاست که کنترل یک سیستم ابر هوشمند فراتر از درک انسان نیازمند شبیهسازی ابر هوشمند است تا بشر بتواند آن را تجزیه و تحلیل کند.
با این حال اگر انسانها نتوانند هوش مصنوعی فوق هوشمند را درک کنند قادر به ایجاد شبیهساز آن نیز نیستند. اگر بشر نتواند سناریوهایی که یک هوش مصنوعی ایجاد میکند را درک کند، قوانینی مانند «باعث آسیب به انسانها نمیشود» نباید در توسعه هوش مصنوعی در نظر گرفته شود.
وقتی یک سیستم کامپیوتری در سطحی بالاتر از برنامهنویس آن عمل میکند، دیگر نمیتوان محدودیتی برای آن برنامه تعیین کرد. یک سیستم ابر هوشمند مشکلی کاملا متفاوت برای بشر ایجاد میکند که ربطی به چالشهایی که در حوزه «اخلاق روبات» بررسی میشود، ندارد. سیستمهای ابر هوشمند چند وجهی هستند، بنابراین میتوانند از منابع مختلفی برای رسیدن به اهداف خود استفاده کنند؛ اهدافی که نهتنها بشر قادر به کنترل آنها نیست بلکه توانایی درک این اهداف را نیز ندارد.