Проект «Феникс». Роман о том, как DevOps меняет бизнес к лучшему - Спаффорд Джордж

Без обид, – говорит он, – но я думаю, у тебя голова взорвалась бы, если бы ты жил в том постоянном хаосе и сложностях, с которыми я сталкиваюсь каждый день».

Я выдыхаю, считая до трех. «Хочешь поговорить со Стивом о том, как ты мечтаешь о моей работе? Позволь мне тебя туда проводить. Или давай, может, сначала сделаем то, что требуется бизнес-отделу, и убедимся, что все получат плату вовремя?»

Патти быстро отвечает: «Я знаю, ты меня не спрашивал, но я тоже считаю, что инцидент с системой расчета зарплаты – это то, на чем сейчас нужно сосредоточиться. – Она делает паузу и затем продолжает: – Я думаю, что Стив сделал правильный выбор. Поздравляю, Билл. Когда мы можем поговорить об увеличении бюджета?»

Я благодарю ее кивком и улыбкой и пристально смотрю на Вэса.

Проходит пара мгновений, и на его лице появляется выражение, которое я не могу разобрать. В конце концов, он соглашается: «Да, хорошо. И я запомню твое предложение поговорить со Стивом. Ему есть что объяснить».

Я киваю. Думая о своем опыте общения со Стивом, я искренне желаю Вэсу удачи, если он действительно хочет с ним встретиться.

«Спасибо вам за поддержку, ребята. Я ценю это. Итак, теперь вопрос: что мы знаем о произошедшем сбое или сбоях? Говорят, виноват сбой во вчерашнем обновлении SAN? Эти события связаны?».

«Мы не знаем, – Вэс качает головой. – Мы пытались выяснить это, как раз когда ты вошел. Мы были вчера посреди процесса обновления SAN, когда система расчета зарплаты обвалилась. Брент думал, что SAN повредил данные, поэтому он предложил откатить обновления. Мне это показалось осмысленным, но как ты знаешь, в итоге вся система превратилась в груду хлама».

Раньше я думал, что вот так вот «превратиться в хлам» может только что-нибудь небольшое, что типа когда обновления на мобильном телефоне установились неудачно. Использование этого выражения по отношению к оборудованию, которое стоит миллионы долларов и в котором хранятся все наши корпоративные данные, делает мне больно физически.

Брент работает на Вэса. Он всегда в центре важных IT-проектов. Я сталкивался с ним много раз. Он определенно очень умен, но из-за этого он порой бывает немного пугающим. Что хуже всего, так это то, что он абсолютно всегда прав.

«Ты слышал их, – говорит Вэс, указывая на людей за столом. – SAN не запускается, не обрабатывает данные, а наши ребята даже не могут прочитать сообщения об ошибке, потому что они отражаются на странном языке. То есть у нас на руках несколько обрушенных баз данных, включая, конечно же, и систему расчета заработной платы».

«Чтобы решить проблему SAN, нам пришлось оторвать Брента от работы над «Фениксом», которую мы обещали проделать для Сары, – говорит Пати зловеще. – Скоро здесь начнется настоящий ад».

«Так. Что конкретно мы ей обещали?» – спрашиваю я встревоженно.

Сара – старший вице-президент по розничным продажам, и она также работает на Стива. Она имеет неприятную привычку обвинять других людей в своих провалах, особенно коллег из IT-отдела. Годами она умудряется избегать любого вида реальной ответственности.

Хотя ходили слухи, что Стив растит ее как свою преемницу, я всегда был уверен, что это абсолютно невозможно. Я думаю, что Стив не может быть настолько слеп.

«Сара услышала от кого-то, что мы опоздали с созданием нескольких виртуальных машин для Криса, – отвечает она. – Мы бросили все, чтобы доделать ту работу. Ну, до тех пор пока мы не бросили все, чтобы восстановить SAN».

Крис Аллерс, наш старший вице-президент отдела разработок, ответственен за создание и развитие приложений под нужды бизнес-отделов, а после него эти приложения попадают к нам на поддержку и доработку. Жизнь Криса полностью подстроена под проект «Феникс».

Я чешу голову. Как компания мы вложили огромные средства в виртуализацию. Хотя это выглядит сверхъестественно, виртуализация изменила все правила игры в мире Вэса. Внезапно ему больше не пришлось управляться с тысячами физических серверов. Теперь они были лишь логическими инстансами внутри одного большого железного сервера, а могли и вовсе располагаться где-то в облаке.

Создание нового сервера теперь лишь дело клика мышкой внутри специальной программы.

Монтаж кабеля? Теперь это настройка конфигурации. Но, несмотря на обещания, что виртуализация решит все наши проблемы, вот они мы – все еще не можем предоставить Крису необходимые виртуальные машины вовремя.

«Если Брент нужен нам для работы над проблемой SAN, держите его там. Я справлюсь с Сарой, – говорю я. – Но если ошибка системы расчета зарплаты была вызвана SAN, почему мы не видим других столь же масштабных ошибок и обвалов?»

«Сара определенно будет не рада. Ты знаешь, я вдруг совершенно расхотел твою должность, – говорит Вэс, громко смеясь. – Смотри, как бы тебя не уволили в первый же день. Думаю, вслед за этим они придут за мной! – Вэс останавливается, чтобы подумать. – Ты знаешь, а тебе пришла неплохая идея. Брент работает над проблемой прямо сейчас. Пойдем к нему и узнаем, что он сам думает».

Мы с Патти киваем. Это хорошая идея. Мы должны построить полную и последовательную цепь событий. Пока же мы делаем предположения, исходя из слухов и догадок.

Это не работает при расследовании преступлений, и это определенно не работает при попытках разобраться в сбоях системы.

Глава 3

Хрупкая система

Вторник, 2 сентября

Я иду за Вэсом и Патти в глубину здания. В конце концов мы приходим в гигантский офис, объединяющий шесть стандартных кабинетов. Вдоль одной из стен располагается большой стол с множеством клавиатур и огромных мониторов, вроде рабочего места трейдера с Уолл-стрит. Повсюду башни из серверов, мигающих разными огоньками. Каждый сантиметр стола покрыт мониторами, на которых показываются графики, окна авторизации, текстовые редакторы, вордовские документы и еще бесконечное количество приложений, которых я не знаю.

Брент печатает что-то в одном из открытых окон, не обращая внимание на происходящее вокруг. Из его телефона раздаются звуки с обсуждения в NOC. Его, очевидно, не заботит, что звуки громкой связи могут помешать его соседям.

«Привет, Брент. Есть минутка?» – спрашивает Вэс, кладя руку ему на плечо.

«А это не может подождать? – отвечает Брент, даже не подняв глаза. – Я вроде как немного занят прямо сейчас. Работаю над проблемой с SAN, слышал?»

Вэс хватает стул. «Да, именно об этом мы и хотели поговорить».

Когда Брент оборачивается, Вэс продолжает: «Расскажи мне еще раз о вчерашнем вечере. Что привело тебя к выводу, что именно обновление SAN вызвало сбой в работе системы расчета зарплаты?»

Брент закатывает глаза: «Я помогал одному из инженеров SAN с обновлением прошивки, когда все ушли домой. Это заняло намного больше времени, чем мы думали, – все работало не так, как должно было. Ситуация была уже довольно напряженной, когда мы наконец-то закончили часов около семи.

Мы перезапустили SAN, и потом вся автоматическая самодиагностика системы стала давать сбои. Мы посидели над ней минут пятнадцать, пытаясь выяснить, что пошло не так. Именно в этот момент мы стали получать имейлы о сбое в работе системы расчета зарплаты. Тогда я и сказал «Game over».

Мы просто отставали на слишком много версий ПО. Производитель SAN, видимо, ни разу не устанавливал то обновление, которое мы загрузили. Я позвонил тебе и рассказал, что мы хотим отменить эту операцию. Когда ты дал согласие, мы начали откат.

И именно в этот момент SAN обвалился, – говорит он, качаясь на стуле. – И потянул за собой не только систему расчета зарплаты, но и несколько других серверов».

«Мы хотели обновить программное обеспечение SAN годами, но все никак не представлялось возможности, – объясняет Вэс, поворачиваясь ко мне. – Однажды мы уже почти собрались это сделать, но не смогли добиться достаточно большого перерыва на техническое обслуживание.