Читать онлайн «Российская Академия Наук». Страница 54

Системный кризис и технологические риски

Можно рассматривать системный кризис всего современного общества без учёта тех новых возможностей и опасностей, которые создают новые технологии. Тогда этот кризис будет описываться в терминах экономического, политического или экологического кризиса. Можно назвать такой кризис социально-экономическим системным кризисом. С другой стороны, можно рассматривать пространство возможностей, создаваемое появлением и взаимодействием друг с другом многих разных новых технологий. Например, исследовать, как повлияет прогресс в биотехнологиях на наши возможности по созданию ИИ и взаимодействию с ним. Можно назвать такой процесс технологическим системным событием. То и другое направление активно исследуются, однако так, как будто речь идёт о двух разных пространствах. Например, те, кто изучает и прогнозирует Peak Oil до 2030 год, совершенно не интересуются и даже не упоминают в своих исследованиях проблематику, связную с разработкой ИИ. И наоборот, те, кто уверен в разработке мощного ИИ к 2030 году, не упоминают тематику исчерпания нефти как незначительную. Очевидно, что интересно рассмотреть систему более высокого порядка, где социально-экономическая и технологическая системы являются только подсистемами – и в которой возможен кризис более высокого уровня. Иначе можно сказать так:

Малый системный кризис – вовлекает только политику, ресурсы и экономику

Малый системный технологический кризис – вовлекает развитие одних технологий из других и сложные технологические катастрофы.

Большой системный кризис – в нём оба малых кризиса являются только его частями, плюс взаимодействие составляющих элементов друг с другом. Пример такого кризиса: Вторая мировая война.

Системный технологический кризис – наиболее вероятный сценарий глобальной катастрофы

Это утверждение опирается на следующие посылки, которые мы по отдельности обсудили в предыдущих главах.

a. Большинство крупных технологических катастроф, начиная с Титаника, носили системный характер, то есть не имели какой-то одной причины, а возникали как проявления сложности системы в виде маловероятного непредсказуемого стечения обстоятельств с разных планов: проектирования, управления, систематических нарушений инструкций, интеллектуальной слепоты и сверхуверенности, технических отказов и маловероятных стечений обстоятельств.

b. За счёт NBIC конвергенции и за счёт одновременности исчерпания взаимозаменяемых ресурсов мы получаем тот эффект, что все критические обстоятельства подтягиваются к одной дате, и дата эта – в районе 2030 года.

c. Обвал технологической цивилизации, начавшись даже с небольшой катастрофы, может принять форму устойчивого процесса, где одна катастрофа запускает другую, при этом в каждый момент времени силы разрушения превосходят сохранившиеся силы созидания. Это происходит по причине того, что раньше огромное количество сил разрушения сдерживалось, а затем они все одновременно высвободятся (исчерпание ресурсов, заражение среды опасными биоагентами, глобальное потепление). Эта способность одной катастрофы запускать другую связана с высокой концентрацией разных потенциально смертельных для человечества технологий – подобном тому, как где бы ни начался пожар на корабле, где очень много пороха, в конечном счёте взорвётся весь корабль. Другая метафора – если человек убегает от лавины, он должен бежать со всё большей скоростью, и всё меньшая задержка требуется, чтобы он попал от под всё большей силы лавину. Третья метафора – перекристаллизация некого вещества с несколькими фазовыми состояниями в районе фазового перехода. Эта метафора означает быструю и принципиальную перестройку всей цивилизации, связанную с возникновением мощного ИИ.

d. По мере нарастания сложности нашей цивилизации нарастает вероятность внезапных непредсказуемых переходов в иное состояние в духе теории хаоса, и одновременно нарастает наша неспособность предсказывать своё будущее и предвидеть последствия своих действий.

Криптовойна

Важным фактором будущих глобальных рисков является появление возможности «криптовойн» (термин С. Лема ). Когда в мировой гонке вооружений появляется больше двух противников, возникает соблазн нанесения анонимного (то есть безнаказанного) удара, призванного или ослабить одну из сторон, или нарушить равновесие. Очевидно, что сверхтехнологии дают новые возможности для организации таких атак. Если раньше это мог быть завоз радиоактивного вещества или запуск ракеты из нейтральных вод, то биологическая атака может быть гораздо более анонимной. Криптовойна не является сама по себе риском существованию человечества первого рода, но она изменит ситуацию в мире:

Недоверие стран друг другу возрастёт, гонка вооружений усилится, моральный запрет на анонимный и подлый удар исчезнет, в результате может разгореться мировая война всех против всех и одновременный скачок в опасных технологиях.

Криптовойна будет во многом террористической – то есть информационное воздействие от удара должно превышать непосредственный ущерб. Но смысл этого будет не столько в создании страха – террора, а скорее, во всеобщем недоверии всех ко всем, которым можно манипулировать, подбрасывая разные «гипотезы». Многие политические убийства современности уже являются актами «криптовойны», например, убийство Литвиненко. В отличие от теракта, за который многие хотят взять ответственность, за криптоудар никто её не берёт, но каждый хочет использовать его на свою пользу, спихнув вину на другого.

Уязвимость к сверхмалым воздействиям

Следующим сценарным фактором является уязвимость сверхсложных систем к бесконечно малым воздействиям (Более того, за счёт нелинейного сложения, несколько очень слабых событий может иметь значительно больший эффект, чем каждое в отдельности, что уменьшает требования к точности выбора и реализации каждого отдельного события.) Конечно, чтобы правильно рассчитать такое воздействие, нужен сверх-ум, способный смоделировать сверхсложную систему. А значит, этот ум должен быть сложнее этой системы, и эта система не должна содержать других таких умов. Такая ситуация может возникнуть на первых фазах развития искусственного интеллекта. Удар с помощью малых событий будет высшим проявлением криптовойны.

Пример: аварии с отключением электричества в США и РФ при относительно небольших замыканиях. Такие точки уязвимости можно вычислить заранее. Более сложную уязвимость я не могу предложить, ибо не обладаю достаточным умом. Однако ещё одним фактором может быть воздействие на родственников и друзей лиц, принимающих ключевые решения. (Например, недавно в Европе ограбили банк таким образом – взяли в заложники семью сотрудника, и он сам всё вынес.) Так нельзя уничтожить мир, но спровоцировать гигантский бардак можно – то есть перевести систему на более низкий уровень организации. В состоянии бардака вероятность непреднамеренного применения оружия массового поражения увеличивается, а способность к разработке принципиально новых технологий уменьшается. Соответственно, если средства всемирного уничтожения уже созданы, это повышает шанс глобальной катастрофы, а если ещё нет – то, возможно, снижает. (Но это не так, если уцелели другие технологически полноценные страны – для них такое событие станет спусковым крючком опасной гонки вооружений.)

Примеры гипотетической точки в системе, бесконечно малое воздействие на которую приводит к бесконечно большим последствиям. Чаще всего речь идёт о принятии решения человеком, а точнее, о неком факторе, который перевешивает критический порог принятия решения.

Скорее всего, речь может идти о:

• Решении о начале войны (выстрел в Сараево)

• Начале техногенной аварии (Чернобыль)

• Биржевой панике, или другом опасном слухе

• Отклонении астероида

• Убийстве правителя

Как вариант, возможно малое воздействие на несколько удалённых точек, дающее синергетический эффект. Среди особо опасных террористических сценариев таких воздействий, доступных уже сейчас:

• Влияние на родственников лиц, принимающих решения. Использование авиамоделей как своего рода телеуправляемых ракет, которые могут принести маленькую бомбу куда угодно. Я сильно удивляюсь, что авиамодели до сих пор не запретили. Объекты для атаки: президенты, самолёты, электроподстанции, вычислительные центры, системы управления ядерным оружием.

• Убийство правителей и других выдающихся людей. По мере развития технологий всё легче будет убить не только очень много людей, но и любого наперёд избранного человека. Например, с помощью маленьких высоко точных изделий (типа искусственных шмелей) или вирусов, заточенных под генетическую систему одного человека.