САУСАЛИТО, КАЛИФОРНИЯ – Современная цивилизация сама себя загнала в ловушку, внедряя все более сложные технологии со все возрастающей скоростью. Каждую секунду во всем мире взаимодействуют миллиарды устройств, протоколов, идей, традиций и людей. Нарастающая вследствие этого сложность создает огромную и, возможно, неуправляемую проблему.
Специалисты понимают отдельные части системы, но целое находится далеко за пределами понимания любого ученого, гражданина или политического лидера. Чтобы приступить к решению больших глобальных проблем следующего десятилетия, нам нужно изменить парадигму в системах социального регулирования, чтобы вырваться из ловушки сложности.
Хотя человечество пришло к этому моменту постепенно, но первые признаки появились уже на ранних этапах технологического развития. За последние несколько сотен лет наука и техника, руководствуясь разумом и знаниями, заметно улучшили повседневную жизнь большей части человечества. Но прогресс не идет линейно. Каждое достижение порождает какие-то нарушения и побочные эффекты, которые общество пытается устранить.
Например, процесс Габера–Боша для искусственной фиксации азота увеличил урожайность сельскохозяйственных культур, но привел к загрязнению стоками водоемов во всем мире из-за чрезмерного использования некоторых удобрений. Хлорфторуглероды, использовавшиеся в качестве хладагентов, вызвали появление озоновой дыры, но попытки заменить их привели к использованию гидрофторуглеродов — опасных парниковых газов. А антибиотики, хотя они спасли сотни миллионов жизней, в настоящее время применяются настолько широко, что устойчивые к лекарствам штаммы стали новой угрозой здоровью человека. Таких примеров во всех областях науки и техники очень много.
Подобные проблемы возникают из-за эффектов на уровне системы, которые не очевидны при первоначальном внедрении и развитии новых технологий. Непредвиденные последствия могут возникнуть практически на любом уровне: химическом, биологическом, вычислительном, экономическом/финансовом или социальном/политическом. Но эмерджентная сложность (выходящая далеко за рамки человеческого понимания) с развитием компьютеров вырастает во все более серьезную проблему, по мере того как отдельные компоненты системы становятся умнее, быстрее взаимодействуют и соединяются в глобальном масштабе.
Все эти проблемы переплетаются с более широкими вопросами, касающимися науки и общества. Как ученый, я изучал структуру и конструкцию ДНК-связывающих белков, но ушел из штата биологического факультета Массачусетского технологического института, чтобы взглянуть на более серьезные проблемы человеческого мышления и будущего человечества. Я изучал финансы, когнитивную нейрологию, науку об управлении, изменение климата, факторы риска ухудшения состояния окружающей среды, опасности, связанные с ростом искусственного интеллекта. И точно уяснил одно: из-за ограниченности умственных способностей человека нам трудно оценить всю сложность проблем, стоящих сейчас перед планетой.
Так что же нам делать? Нет смысла просить ученых или других специалистов предвидеть все последствия своей работы. Вместо этого должен возникнуть новый подход к решению проблемы эмерджентной сложности, начинающийся с осознания того, что эта сложность порождает два вида внешних издержек, оплачиваемых обществом в целом. Некоторые связаны с прямым ущербом, например, когда Facebook использовался для разжигания ненависти и срыва президентских выборов в США в 2016 году. Другие, не столь прямые, например, время и внимание, необходимы для того, чтобы разобраться с новыми проблемами и разработать эффективные планы их решения.
Как и в случае с другими внешними издержками, например, связанными с ископаемым топливом, общество сталкивается с фундаментальной проблемой распределения издержек и выгод от сложности справедливым, надежным и структурированным образом, гарантирующим возмещение обществу внешних издержек теми, кто разрабатывает и продает новые технологии. Для начала нам нужны лучшие методы оценки потенциальных проблем. Например, компании, разрабатывающие новые технологии, должны оценивать и снижать риски в ключевых моментах процессов исследований, разработок и внедрения. Эти оценки должны быть направлены на прогнозирование нескольких возможных результатов и определение соответствующих издержек и выгод для общества.
Эти первоначальные рабочие предположения — не решение проблемы сложности, но ее формулировка, достаточно хорошая для того, чтобы можно было высказать рекомендации и комментарии. Открытые дискуссии могли бы финансироваться правительствами, технологическими компаниями или благотворителями, которые хотят сохранить демократию и гарантировать будущее, пригодное для жизни людей.
Демократия и капитализм в сочетании с современной наукой привели к удивительному расцвету мысли, творчества, самовыражения и изобретательности, укрепившей давнее предположение о том, что объем знаний — и возможность для людей управлять собственной судьбой — будет постоянно возрастать. Но сейчас мы вступили в период, когда все возрастающая сложность порождает мир, который никто не понимает до конца.
Чтобы избежать этой ловушки, потребуется нечто большее, чем техническое решение, такое, как новая умная программа, устройство или мозговой имплант. Я думаю, что обсуждение должно начаться с механизмов контроля и новых типов регуляторных схем, которые могут служить предохранительными инструментами при первом внедрении технологии.
В конечном счете, однако, нам нужно обновить сами наши методы мышления. Это призыв к глобальным действиям, достойный наших лучших умов.