Книга
Архитектура высоконагруженных систем

Идея создания книги появилась после долгого обсуждения с техническими заказчиками подходов к разработке высоконагруженных распределенных систем. Всегда возникал один и тот же вопрос: как будем делать эту систему? Да вот так и будем. Заказчик уходил думать, пытаясь «сколхозить» решение собственными силами, а когда в очередной раз не получалось, возвращался и говорил: «Вот еще требования добавились, как делать-то будем?». Да все так же! И это могло повторяться снова и снова достаточно долго. Бывало так: приходишь, а там уже другой человек, и все начинается сначала. Мне это надоело, и я решил, что вместо объяснений буду вручать эту книгу. Конечно, это шутка, но в каждой шутке есть доля правды.

Эта книга не претендует на звание универсального свода знаний о высоконагруженной обработке данных или создании систем реального времени. Она лишь отражает некоторый опыт в этой области. Мой опыт в основном касается создания распределенных систем управления промышленными критическими информационными системами. В таких системах присутствуют сотни тысяч источников изменений данных и их потребителей. Сценарии управления зависят от характера и интенсивности этих изменений. Возможно, экспертам в области корпоративных ИТ-систем используемая терминология покажется несколько непривычной, но она появилась из-за сильно отличающихся и отчасти завышенных требований к промышленным системам.

Возникает вопрос: как обуздать этот хаос? Нужен ordo ab chao. А что, если из хаоса достаточно создать порядок, но не полный? Как вы обычно просите своего ребенка, чтобы привел в порядок свою комнату? Каковы метрики требуемого результата? С какого момента беспорядок можно считать в большей степени порядком, чем беспорядком? Так происходит и с данными в нагруженных системах. Чтобы с ними можно было работать, данные должны быть целостными. А какими должны быть метрики целостности (консистентности) данных, позволяющие однозначно сказать, готовы данные к обработке или нет? Ведь если управлять, например, опасным производством, основываясь на неконсистентных (устаревших) данных, может случиться авария.

Книга дает представление о том, как проектируют высоконагруженные распределенные системы управления. Книга адресована всем тем, кто хочет разобраться, как устроены и создаются такие системы.

Когда я читал предыдущую редакцию, она уже казалась фундаментальной и системной работой. Третье издание выросло почти вдвое: добавлены новые главы, в том числе про архитектурные шаблоны распределённых систем управления и современные приемы их реализации. Автор проделал огромную работу по обновлению и переосмыслению содержания, фактически создав новую книгу!
Вадим Подольный — признанный специалист в своей области. Мне хорошо знаком стиль и подход автора: до этого мы вместе работали над «Учебником CDTO», для которого он подготовил главы об Интернете вещей и АСУ ТП. А я был заместителем главного редактора и соавтором ряда глав. Этот опыт позволил увидеть его системный подход, внимательность к деталям, точность формулировок и умение объяснять сложные технологические темы простым языком. Его опыт основан на более чем двадцати годах в разработке промышленных распределённых систем управления и обработки данных. Сегодня Вадим руководит технологическими проектами, возглавляет комитет промышленной автоматизации АРПП «Отечественный софт», входит в экспертный совет 4CIO и преподаёт в Университете Иннополис. Это уровень, задающий высокую планку технической точности во всей книге.
Автор выстраивает повествование от терминов и фундаментальных понятий к архитектурным принципам и далее к шаблонам и практической инженерии. Он словно строит дом, возводя каркас от определений через проблематику, ограничения, решения и принятые архитектурные практики к приемам их реализации. Это делает чтение системным и не даёт потеряться в сложности описываемой темы. Отличительные черты автора, которые нашли свое отражение и в этой книге — это системность и структурированность.
Мы живём в эпоху, когда начинают активно применяться цифровые двойники, возрастает количество и качество ИИ-систем, edge-и fog-архитектуры становятся нормой, корпорации строят внутренние платформы и, соответственно, растут нагрузки и актуализируются требования к распределенному хранению и вычислениям. С точки зрения B2B-продуктов, венчурных проектов или оценки технологий в крупных организациях грамотная инженерия распределённых систем становится важным фактором устойчивости и стоимости продукта. Книга автора охватывает всю эту область комплексно и современно.
Книга читается легко, на одном дыхании. Она определенно станет своего рода энциклопедией высоконагруженных и распределённых систем, системным фундаментом, на который можно наслаивать новые знания и практические подходы!

Чаще всего в наше время понятие «высоконагруженные системы» используют применительно к компьютерной инфраструктуре массового предоставления услуг в Интернете 2.0. Причём массово используемые компьютерные системы ― это и простейшие сим-карты размером с ноготь мизинца (да, сим-карты ― это тоже компьютеры), и мощнейшие компьютерные установки-здания всем известных интернет-гигантов. Только энергопотребление отличается в миллиард раз. При этом кажется, что нагрузить до предела возможностей можно любую компьютерную систему. Тем сложнее составить собственное представление о высоконагруженных компьютерных системах и связанных с ними понятиях.

Автор помогает читателю охватить многочисленное множество понятий, связанных с высоконагруженными компьютерными системами, выступая как создатель и пользователь таких компьютерных систем, которые успешно управляют работой энергоблоков атомных электростанций, обслуживают и защищают инфраструктуру крупнейших предприятий страны. Специалисты оценят непривычную сжатость изложения тем, на которых автор предлагает сфокусировать внимание. Другие любознательные читатели в книге объемом всего лишь в 500 страниц обнаружат если не все, то большинство сочетаний терминов, связанных с понятием высоконагруженных компьютерных систем. Надеюсь, что книга не оставит читателя равнодушным и подтолкнет его к более глубокому знакомству с высоконагруженными компьютерными системами, где и когда это будет ему наиболее интересно.

Современные тенденции развития программного обеспечения непрерывно связаны с необходимостью создания эффективной программной архитектуры. Наиболее чувствительной задачей, важной для экономики РФ, является разработка программных продуктов, направленных на решение задач построения распределенных систем управления объектами критической информационной инфраструктуры, таких как крупные промышленные предприятия, банки, сервисы массового обслуживания клиентов. В условиях современной действительности, принципиально необходимо уметь разрабатывать такие системы силами отечественных разработчиков. Именно перед российскими разработчиками стоит задача создания программных решений для обеспечения технологической независимости страны. Опыт, накопленный автором, в рамках решения указанных задач, консолидирует теоретические основы разработки распределенных высоконагруженных систем управления, которые будут полезны коллегам, и начинающим разработчикам.

Объем общемировых данных ежегодно увеличивается на 30%. Однако за этой формальной цифрой скрываются важные качественные изменения.
Во-первых, растет зависимость человечества от данных, их доступности и скорости обработки. Мы уже воспринимаем постоянное использование цифровых сервисов как нечто само собой разумеющееся. На вопрос, какой центр обработки данных (ЦОД) можно считать хорошим, есть элегантный ответ: тот, о котором вы не знаете или забыли. Обычно мы вспоминаем о ЦОДах только тогда, когда какой-то сервис — будь то платежный процессинг, заказ такси или что-то иное — становится недоступен, вызывая заметные неудобства.
Во-вторых, из-за роста объема «сырых» данных, которые генерируются относительно легко, повышается сложность их обработки и структурирования. Вопросы эффективности, оптимизации и защищенности становятся перманентными. Таким образом, развитие информационных технологий как отрасли и информационных систем как практики остается крайне динамичным. Даже архитектура ЦОДов, несмотря на основательность как объекта недвижимости, вынуждена адаптироваться к этим изменениям, следуя за эволюцией ИТ-систем в силу своего обеспечивающего характера.
Уверен, эти тезисы подтверждают актуальность тематики данной книги. Вектор развития принципов построения информационных систем смещается в сторону подходов, ориентированных на обработку критически важных данных в режиме реального времени.
Отдельно хочу выделить еще один важный, но неочевидный вопрос. Сегодня во многих передовых отраслях знания формируются практически «с колес». К сожалению, львиная доля публичной информации — это фейки, мифы и манипуляции. Существует острая проблема систематизации знаний и создания качественной основы для дальнейшего развития. Частично она была решена в этой монографии, за что я выражаю автору большую благодарность.