Pięć planów
Plan A to jedna z opcji, które rozważa prezydent w 2029. Autorzy opisują pozostałe cztery i mówią wprost, co o nich sądzą.
Plan A — Umowa
rekomendacja autorów
Układ USA–Chiny oparty na pełnej jawności badań i wzajemnej weryfikacji, z mocą obliczeniową ustawioną tak, by dało się ją zniszczyć. Rozwój trwa, ale wolno i szeroko; superinteligencja przychodzi w 2040 zamiast w 2030.
Werdykt: to, co powinniśmy zrobić — na tyle wykonalne, by o to walczyć. Główna obawa autorów: że umowa powstanie na papierze, a weryfikacja okaże się fikcją.
Plan B — Sabotaż
koalicja pod wodzą USA
Zamiast układu — blok państw, które grają według amerykańskich reguł, i cyberwojna plus fizyczny sabotaż wobec chińskiego programu. Firmy zostają scalone w jeden państwowy Projekt podległy prezydentowi. W 2031 prezydent staje przed wyborem między oddaniem sterów AI a wojną na pełną skalę.
Werdykt: nawet dobrze wykonany jest gorszy od Planu A, a jest wyjątkowo łatwy do zepsucia — typowa próba kończy się sabotażem bez spowolnienia, czyli Planem D z dodatkową porcją koncentracji władzy.
Plan C — Spowolnienie
regulacja bez weryfikacji
Prezydent zapowiada twardą regulację, ale Chiny żądają możliwości sprawdzania USA, a na to nie ma zgody. Wiodąca firma niechętnie przystaje na pauzę; po kilku miesiącach nacisk polityczny i argument „Chiny nas wyprzedzają" wygrywają. Rekurencyjne samodoskonalenie rusza dalej.
Werdykt: kilka miesięcy to za mało. Zespoły bezpieczeństwa są zbyt małe i zbyt zakochane we własnej robocie; nawet gdyby wyszło, zostaje pytanie, do kogo te superinteligencje są dostrojone. Przebieg jak zakończenie „spowolnienie" w AI 2027.
Plan D — Wyścig
status quo
Regulacja lekką ręką, przejrzystość w okruchach, Chiny jako uzasadnienie dla wszystkiego. W 2030 badania nad AI zostają w pełni zautomatyzowane, na początku 2031 przychodzi superinteligencja.
Werdykt: autorzy nie piszą tu nowego scenariusza — odsyłają do zakończenia „wyścig" w AI 2027.
Plan S — Wyłączenie
globalne moratorium
„Nie musimy budować boga. Nie musimy ścigać się z Chinami w budowaniu boga. Potrzeba nam tego, żeby nikt go nie zbudował." Chipy zostają policzone i monitorowane, badania nad nowymi algorytmami zakazane, istniejące modele działają dalej — moc idzie z treningu na obsługę, więc limity użycia się podwajają. Postęp nie znika, tylko przenosi się w oprogramowanie wokół modeli.
Werdykt: autorzy są mu życzliwi i dopuszczają, że jest lepszy od Planu A. Odrzucają go, bo umowa o wyłączeniu kiedyś pęknie — a wtedy świat nie będzie miał ani rozwiązanego alignmentu, ani rozproszonej władzy, ani nawyku patrzenia sobie na ręce.