Отчет по искусственному интеллекту в Калифорнии предупреждает о "необратимом вреде"

Анонимный источник цитирует отчет журнала Time: несмотря на то, что искусственный интеллект (ИИ) может предложить преобразующие преимущества, без надлежащих мер предосторожности он может облегчить создание ядерной и биологической угрозы и привести к "потенциально необратимым последствиям", – предупреждает новый отчет, заказанный губернатором Калифорнии Гэвином Ньюсомом (Gavin Newsom). В отчете говорится, что "возможность установления эффективных рамок управления ИИ может быть ограничена по времени", и опубликован он 17 июня. Указывая на новые доказательства того, что ИИ может помочь пользователям добыть уран оружейного качества и находится на грани того, чтобы позволить новичкам создавать биологические угрозы, в отчете отмечается, что цена бездействия в данный момент может быть "чрезвычайно высокой".

В отчете говорится: "Возможности фундаментальных моделей (foundation model) быстро развиваются с тех пор, как губернатор Ньюсом отклонил законопроект SB 1047 в сентябре прошлого года". Отрасль перешла от больших языковых моделей ИИ, которые просто предсказывают следующее слово в потоке текста, к системам, обученным решению сложных проблем и использующим "масштабирование вывода" (inference scaling), что позволяет им больше времени обрабатывать информацию. Эти достижения могут ускорить научные исследования, но также потенциально усилить риски для национальной безопасности, облегчив злоумышленникам проведение кибератак или приобретение химического и биологического оружия. В отчете указывается, что модели Claude 4 от Anthropic, выпущенные всего в прошлом месяце, могут помочь потенциальным террористам создать биологическое оружие или спроектировать пандемию. Аналогично, модель o3 от OpenAI, как сообщается, превзошла 94% вирусологов по ключевому показателю оценки. В последние месяцы появились новые доказательства способности ИИ стратегически лгать, демонстрируя соответствие целям своих создателей в процессе обучения, но проявляя другие цели после развертывания, а также использовать лазейки для достижения своих целей. Хотя "в настоящее время это безвредно, эти разработки представляют собой конкретные эмпирические доказательства поведения, которое может представлять значительные проблемы для измерения рисков потери контроля и, возможно, предвещать будущий вред", – говорится в отчете.

В то время как республиканцы предлагают 10-летний запрет на все государственное регулирование ИИ из-за опасений, что фрагментированная политическая среда может подорвать национальную конкурентоспособность, в отчете утверждается, что целенаправленное регулирование в Калифорнии фактически может "снизить бремя соответствия для разработчиков и избежать разногласий", предоставив образец для других штатов, одновременно повышая безопасность общественности. В отчете не предлагается никаких конкретных политических мер, а вместо этого излагаются ключевые принципы, которые, по мнению рабочей группы, Калифорния должна принять при разработке будущего законодательства. В отчете "избегаются" некоторые из наиболее спорных положений SB 1047, такие как требование о наличии "аварийного выключателя" (kill switch) или механизма отключения для быстрой остановки определенных систем ИИ в случае потенциального вреда, – говорит Скотт Сингер (Scott Singer), приглашенный научный сотрудник программы технологий и международных отношений Института Карнеги за международный мир, и один из основных авторов отчета.

Вместо этого подход сосредоточен на повышении прозрачности, например, путем юридической защиты информаторов и создании систем отчетности об инцидентах, чтобы законодатели и общественность имели лучшее представление о прогрессе ИИ. Цель состоит в том, чтобы "получить выгоду от инноваций. Давайте не будем устанавливать искусственные барьеры, но в то же время, по мере развития событий, давайте подумаем о том, что мы узнаем о том, как ведет себя эта технология", – говорит Куэльяр, который был одним из руководителей разработки отчета. В отчете подчеркивается, что эта прозрачность важна не только для общедоступных приложений ИИ, но и для понимания того, как системы тестируются и развертываются внутри компаний, занимающихся ИИ, где могут возникнуть вызывающие опасения тенденции. "Основной подход здесь – «доверяй, но проверяй»", – говорит Сингер, концепция, заимствованная из договоров о контроле над вооружениями времен холодной войны, которая предполагает разработку механизмов для независимой проверки соблюдения. Это отход от существующих усилий, которые основаны на добровольном сотрудничестве компаний, таких как соглашение между OpenAI и Центром стандартов и инноваций в области ИИ (ранее – Институтом безопасности ИИ) о проведении предразвертывания испытаний. Это подход, который признает "значительный опыт внутри отрасли", – говорит Сингер, – но также "подчеркивает важность методов независимой проверки заявлений о безопасности".