Anthropic блокирует попытки использования ИИ для создания биологического оружия
Технологическая компания Anthropic заблокировала несколько случаев, когда исследователи пытались использовать её модели искусственного интеллекта в работе, которая могла бы привести к созданию потенциально биологических оружий. В отчёте, посвящённом злоупотреблениям возможностями своих моделей ИИ, компания сообщает, что приняла меры против отдельных запросов, поскольку не смогла однозначно установить, была ли намерение исследователей законным или злонамеренным.
Anthropic объясняет, что существовала реальная возможность способствовать созданию опасных патогенов, поэтому в ряде случаев было решено действовать предельно осторожно и прямо блокировать такие обращения, ограничив доступ «к широкому спектру биологических запросов двойного назначения». Компания подчёркивает, что хотя тестовые оценки демонстрируют доказательства наличия у моделей определённых возможностей, они не могут с полной определённостью показать, что эти возможности будут применены для разработки биологического оружия в реальном мире.
В документе приводятся до пяти подозрительных случаев, которые Anthropic вынуждена была «оценить с точки зрения того, представляют ли они биологическую опасность». В числе отмеченных примеров — исследователь, проводивший недельную работу по планированию экспериментов по адаптации птичьего гриппа к млекопитающим с помощью модели Claude, а также исследователь, создавший атлас пептидов яда и систему генерирующей оптимизации молекул, направленных на парализующие и обезболивающие цели.
Anthropic рассказывает, что при выявлении и расследовании таких случаев она приостанавливала аккаунты пользователей и интегрировала результаты собственных расследований в меры безопасности, практику соблюдения правил и системы оценки угроз, применяемые к её передовым моделям. Это делается с целью лучше предотвращать, обнаруживать и пресекать подобную деятельность в будущем.
Компания рассчитывает, что публикация этих данных вызовет обсуждение внутри индустрии ИИ и среди правительств о возникающих биологических рисках и о наилучших способах их нейтрализации. Anthropic признаёт, что потенциальное биологическое злоупотребление — один из наиболее серьёзных рисков, связанных с передовыми моделями ИИ, и выражает особую обеспокоенность тем, что рост возможностей таких систем может повысить опасность существующих патогенов или даже привести к созданию совершенно новых. Без надлежащих мер безопасности такие возможности, по мнению компании, могут иметь катастрофические последствия.