Дарио Амодеи опубликовал эссе «Подростковый возраст технологий», посвящённое рискам развития искусственного интеллекта. Он упоминал его на прошлой неделе в Давосе и теперь можно прочесть достаточно длинный, хотя и живо написанный текст.

По его оценке, AI, превосходящий человека в большинстве когнитивных задач, может появиться через 1–2 года. Амодеи описывает такую систему как «страну гениев в дата-центре» — миллионы копий сверхинтеллекта, работающих в 10–100 раз быстрее человека, — и употребляет термин “мощный AI”. Если что, термин AGI в эссе не встречается ни разу.

Дарио выделяет пять категорий рисков в развитии AI.

Первый — автономные риски: непредсказуемое поведение AI-систем, включая обман, шантаж и манипуляции, уже зафиксированные в лабораторных экспериментах Anthropic. Второй — использование ИИ для массовых разрушений, прежде всего создания биологического оружия: по данным компании, модели уже приближаются к порогу, когда смогут пошагово консультировать неспециалистов в этом процессе. Третий — захват власти авторитарными режимами или корпорациями и её удержание с помощью автономного оружия, тотальной слежки и персонализированной пропаганды. Амодеи называет Коммунистическую партию Китая главной угрозой и призывает полностью прекратить продажу чипов и оборудования для их производства в КНР. Четвёртый риск — экономические потрясения: по прогнозу Амодеи, AI может вытеснить 50% начальных позиций в сфере умственного труда в ближайшие 1–5 лет, а концентрация богатства уже превышает уровень Gilded Age (периода первых монополий). Если тогда состояние Джона Рокфеллера составляло 2% ВВП, то сегодня это 600 млрд, а состояние Маска уже оценивается в 700 млрд. Пятый — непредвиденные последствия ускоренного научного прогресса, включая радикальное изменение биологии человека и психологическую зависимость от ИИ.

Разумеется, встречается и минутка саморекламы в виде упоминаний Constitutional AI — обучения моделей на основе документа с ценностями и принципами, а также методы интерпретируемости для анализа внутренней работы нейросетей, которые Anthropic провозгласила главными ценностями в своей миссии. Понятно, что трезвый ум любого комментатора в чате этого канала с легкостью назовет это маркетинговой чепухой, а все пацаны из-за бабок делают, но пока что они это делают определенно хорошо. Видимо, бабки совсем бешеные, догадается прозорливый комментатор.

Дарио достаточно оптимистичен и даже едко проходится по адресу сторонников “думеризма” — не знаю, отреагировал ли уже Юдковский на это, хотя выпад в его сторону очевиден. Вместе с тем, Амодеи открыто говорит, что риски есть и их надо разбирать и работать с ними.

Что приятно (с интеллектуальной точки зрения) в развитии AI, так это регулярное появление вот таких текстов, читая которые ощущаешь себя на грани прогресса. Особенно, когда делаешь это между интересными задачами, которые еще несколько лет назад загрузили бы коллектив из нескольких человек на неделю-другую.