🧠 Only Law Can Prevent Extinction
В свежем тексте «Only Law Can Prevent Extinction» Элиезер Юдковский разворачивает довольно жесткий тезис: спасти человечество от риска вымирания из-за умного ИИ могут только законы и государства, а не отдельные герои, хакеры или террористы. Есть различие между «вольным» насилием и насилием, встроенным в правовую систему. Первое непредсказуемо, второе формализовано, к нему можно заранее адаптироваться, и именно это делает цивилизацию устойчивой.
Мне эта мысль очень импонирует, потому что я в целом считаю, что, если бы у нас не было большинства регуляций, нас бы скамили абсолютно везде и намного жестче.
⚖️ Он считает, что нет никакого смысла в оправданном "насилии" ради спасения мира. Уничтожение одной лаборатории или одного проекта ИИ не останавливает глобальную гонку и не дает нужного эффекта — другие просто займут освободившееся место. Зато репутационные последствия будут колоссальными: тему опасностей ИИ легче будет выставить фанатичным экстремизмом, а не серьезной проблемой. Никто уже не будет к этому серьезно относиться. никто не поверит.
Альтернатива менее романтична, но намного реалистичнее: международные соглашения, настоящие регуляции, инспекции и запреты, за которыми стоит реальная сила — от санкций до силового принуждения. Фактически он говорит о чем-то вроде «ядерного контроля», но для ИИ: страна, пытающаяся тихо построить неконтролируемый сверхразум, сталкивается не с одиночным активистом, а с коллективной мощью других государств.
🧩 Текст отрезвляет два типичных заблуждения: что «кто-то там наверху все сам разрулит» и что «радикальное меньшинство может силой воли переписать ход истории». Если мы серьезно говорим о предотвращении вымирания, то игра идет на поле права, политики и институтов. И либо мы добиваемся рабочих законов и принудительных режимов контроля за ИИ, либо полагаемся на удачу, что как-то слишком легкомысленно, когда на кону стоит выживание вида.