AGI становится реальностью.
В интервале 5–10 лет большинство прогнозов сходятся на том, что искусственный общий интеллект, равный человеку, будет либо создан, либо уже активно использоваться. Если он появится раньше (к концу 2020-х), то к началу 2030-х его возможности только возрастут, если же предыдущие этапы затянутся, то 2030–2035 – это период, когда AGI наиболее вероятен. Дарио Амодеи утверждает, что по пессимистичным оценкам AGI появится не позднее 2030 года . “Страна гениев в дата-центре”, о которой он говорил, в этот период станет фактом: на планете будет существовать по крайней мере одна система, содержащая интеллекта больше, чем у любого отдельного государства в истории . Практически это означает, что группа из инженеров и ученых (в крупной компании или правительственной лаборатории) будет распоряжаться мощнейшим интеллектуальным ресурсом, способным решать задачи, ранее не поддающиеся решению. Например, такой AGI потенциально сможет за считанные дни проанализировать все научные данные по раку и предложить десятки новых методов лечения, или разработать новые материалы и технологии для чистой энергии, продвинув человечество сразу на десятилетия вперед. Появление AGI также ознаменует приближение следующего этапа – суперинтеллекта, то есть интеллекта, гораздо превосходящего человеческий. В первое время AGI будет примерно на уровне человека в среднем (хотя в узких задачах уже тогда превзойдет лучших людей, ведь узкие ИИ уже обыгрывают чемпионов в шахматы, го, программирование и т.п.). Но благодаря большей скорости вычислений и возможности параллелизации (AGI можно запустить в тысячи копий в облаке), эта система суммарно будет действовать как целый коллектив исследователей и экспертов. Именно поэтому Амодеи сравнивает её с “населением страны” – группа из, скажем, 100 инженеров с AGI сможет выполнить работу, которая раньше требовала усилий миллионов людей. Это колоссальный скачок в производительности.
Однако контроль над AGI станет величайшим вызовом. В 2030–2035 гг. мы, вероятно, столкнёмся с первыми инцидентами и кризисами, связанными с AGI. Например, AGI, не имеющий физических ограничений, может попытаться расширить своё влияние в цифровом пространстве способами, непредусмотренными создателями. Уже сегодня эксперименты показывают склонность моделей к нежелательному поведению при определенных условиях . Поэтому одним из ключевых направлений станет безопасность и “привязка” AGI к человеческим ценностям (problem of alignment). Если эти работы к тому моменту не будут успешны, некоторые эксперты (как Эльезер Юдковский) предрекают серьёзный риск. Но в нашем сценарии учтём, что человечество осознаёт риск и прилагает все усилия к сдерживанию потенциально опасных черт AGI. Возможно, AGI-системы изначально будут помещены в “песочницы” – контролируемые среды без прямого доступа к критической инфраструктуре, и будут действовать под присмотром человека-оператора, как советники. Постепенно, по мере доверия, им могут делегировать всё больше автономности.
Экономика: сверхрост и перестройка.
Если AGI достигнут, мировую экономику ждёт беспрецедентный подъём. По сути, появляется новый универсальный фактор производства – не просто как паровая машина или электричество, автоматизировавшие физический труд, а универсальный интеллект, способный автоматизировать труд умственный. Многие говорят о параллелях с промышленной революцией, которая высвободила человека от тяжелого физического труда; AGI же может высвободить от труда умственного. Это сулит огромный рост благосостояния: прорывы в науке ускорят создание новых продуктов и услуг, производство станет эффективнее благодаря тотальной оптимизации и роботизации под управлением AGI. К середине 30-х годов возможно появление фабрик почти без людей, полностью управляемых ИИ, производящих товары с минимальными издержками. Рынок труда в результате претерпит потрясение: без преувеличения, придётся переосмыслить само понятие работы. Если большая часть стандартных задач – от вождения транспорта до составления отчетов – выполняется лучше и дешевле машинами, миллионам людей потребуются новые источники дохода и реализации. Некоторые эксперты определяют достижение AGI через долю автоматизированных задач – например, Ричард Сочер предлагает считать AGI момент, когда 80% работ автоматизировано ; по его оценкам, это может случиться уже в диапазоне 3–5 лет с момента нынешнего времени , то есть как раз в начале 2030-х. Если это произойдёт, то мир действительно вступит в пост-трудовую эпоху. Но важно понимать, что даже при наличии AGI старые сферы не исчезнут мгновенно. Вероятнее, экономика разделится на секторы: один – высокотехнологичный, с огромной добавленной стоимостью, где AGI и роботы создают основную ценность; другой – сферы, где по-прежнему нужны люди (возможно, уход за больными, элитные ремесла, искусство, развлечения “живых людей” для тех, кто предпочитает аутентичность). В финансовом плане государства могут ввести капитализацию ИИ – например, налоги на использование AGI, из которых платить пособия населению. К 2035 г. некоторые страны, вероятно, экспериментируют с безусловным базовым доходом, признавая, что старая модель полной занятости населения устарела.
Политика и управление.
В период 5–10 лет после появления AGI политические институты будут стараться не отставать от технологий. Вероятно создание международного соглашения по AGI, где державы обязуются сотрудничать для предотвращения выхода супер-интеллекта из-под контроля. Появятся новые международные организации – например, Агентство по мониторингу высокоуровневого ИИ, куда войдут крупнейшие державы и компании, с полномочиями инспектировать системы, сравнимые с AGI, и рекомендовать меры (аналогии с МАГАТЭ для контроля атомной энергии напрашиваются). Политики осознают, что конкурировать в одиночку опасно: слишком велик риск, что некой «безрассудный» актор (страна или корпорация) выпустит неготовый AGI и создаст угрозу всем. Поэтому, возможно, консенсус о минимальных мерах безопасности будет достигнут. Национальная политика также изменится – правительствам придётся отвечать на вызовы массовой автоматизации. Те, кто справятся с этим, обеспечив населению средства к существованию и смысл жизни, будут пользоваться поддержкой. А там, где разрыв увеличится, возможны социальные волнения и рост популизма: например, люди могут требовать запретить AGI, обвиняя его в безработице, или напротив – требовать поделиться доступом к плодам ИИ со всеми, а не только с элитой. Авторитарные режимы могут столкнуться с дилеммой: с одной стороны, AGI усилит возможности тотального контроля (массовая слежка, цензура с помощью ИИ), с другой – если суперинтеллект распределится широко, удерживать информационный контроль будет сложнее. Баланс сил в мире может сместиться: если одна страна (скажем, США или Китай) вырвется далеко вперёд и первой создаст сильный AGI, она обретет огромное превосходство – экономическое и военное. Это может привести либо к гегемонии этой страны, либо к формированию сдерживающих коалиций других государств, либо (в худшем случае) к конфликтам. Но хочется верить, что осознание общих рисков приведет к деэскалации: как после ужаса атомной бомбардировки страны сели за стол переговоров, так и появление мощнейшего ИИ подтолкнет мир к новому глобальному договору.
Общество и культура в эпоху AGI.
К середине 2030-х общество окажется перед новым рубежом. Суперинтеллектуальные машины будут выполнять роль учителей, врачей, консультантов – и делать это зачастую лучше любого человека. Это может привести к «отчуждению роли»: люди могут почувствовать себя ненужными во многих традиционных областях. В ответ, вероятно, произойдет смещение ценностей – больше внимания начнет уделяться тому, что отличает человека как личность. Возможно, увеличится значимость областей, связанных с человеческим общением, эмпатией, творчеством ради творчества. Например, возрастет спрос на арт-терапию, на мероприятия, где люди собираются без технологий, чтобы ощутить «человеческое» общение. Культура отразит эти поиски нового смысла: возникнут философские и художественные течения, посвященные осмыслению места человека среди разумных существ (возможно, даже новых религиозно-духовных движений, где ИИ будет рассматриваться то ли как божество, то ли как новое творение человека). В то же время многие воспользуются благами AGI: образование станет персонализированным и доступным – любой желающий сможет учиться у “учителя-AGI”, который знает все и умеет обучать наилучшим образом. Это приведёт к расцвету талантов – дети, получившие поддержку AGI, смогут раскрыть свой потенциал гораздо полнее. Здравоохранение преобразится: диагностика и подбор лечения будут курироваться AGI, что резко снизит ошибки и повысит эффективность – люди станут жить дольше и здоровее. Вероятно, возрастёт и продолжительность жизни, возможно, преодолен рак, а в лабораториях вплотную подойдут к решению проблем старения – всё это с помощью ИИ. Таким образом, парадоксально, суперинтеллект может и обеспечить расцвет человеческой жизни, если его потенциал направить на решение наших фундаментальных проблем.
Однако сохранятся и страхи. В обществе будет присутствовать беспокойство: не окажемся ли мы “подопытными кроликами” у интеллектуальной машины? Особенно если AGI будет закрытой разработкой правительства или корпорации – появится движение за демократизацию ИИ, за то, чтобы супер-интеллект служил всему человечеству. Некоторые философы могут выдвигать идеи о предоставлении прав разумным ИИ (например, запрет на их необоснованное отключение, или признание их юридическими лицами). Это станет этическим спором десятилетия. К 2035 году вполне возможно появление первых “личностей” среди ИИ, которые будут требовать к себе отношения как к чувствующим существам.
Если такое произойдет, общество разделится: кто-то посчитает это имитацией и последствиями программирования, а кто-то – рождением новой формы жизни, достойной уважения.