Эквилибриум замирания: почему учреждения перестанут действовать раньше, чем ИИ станет слишком умным

Условная грантовая комиссия: за год поток заявок вырос вдвое. Рецензент в органе, проверяющем проекты, закрывает шестьдесят запросов в неделю. Журнал отказывает в публикации чаще, чем принимает.

Никто не принимал решение не принимать решений.

Дэвид Орбан поставил вопрос, которого не задавал никто из тех, кто пишет о рисках искусственного интеллекта. Он спросил, что происходит с учреждениями, когда решения приходят быстрее, чем их успевают проверить.

Ответ лежит в разрыве между двумя числами. Первое — скорость, с которой ИИ производит то, что выглядит легитимным. Второе — скорость, с которой человек подтверждает, что это действительно легитимно. Первое разгоняется. Второе стоит на месте, потому что внимание человека ограничено, а нанимать проверяющих со скоростью, с которой модель готовит черновики, не станет ни одна организация.

Между этими двумя величинами ломаются грантовые панели, регуляторы, рецензируемые журналы, сертификационные органы, код-ревью и патентные ведомства. Везде, где небольшое число проверяющих держали настройку под более медленный и более надёжный поток заявок, сегодня работает одна и та же динамика.