Как Илон Маск переносил серверы Twitter

Илон Маск (фото: Reuters)

В испанском издании El Confidencial опубликовали эксклюзивную выдержку из книги "Илон Маск" Уолтера Айзексона, которая сегодня должна поступить в продажу на английском и 14 сентября - на испанском.

Это история о том, как Илон Маск серверы Twitter переносил из Сакраменто в Портленд. Я читал - и плакал от счастья. Теперь понятно, почему и как пропали старые записи, но решительно непонятно, как там вообще еще что-то работает.

Сокращенный перевод с испанского.

"Как вы думаете, сочту ли я эти сроки хоть отдаленно приемлемыми? - спросил Маск. - Очевидно, что нет. Если сроки большие, то это неправильно".

Был поздний вечер 22 декабря, встреча в конференц-зале Маска на 10-м этаже штаб-квартиры Twitter стала напряженной. Маск разговаривал с двумя менеджерами по инфраструктуре Twitter, которые раньше нечасто имели с ним дело, особенно когда он был в плохом настроении.

Один из менеджеров попытался объяснить суть проблемы. Компания, предоставляющая услуги по обработке данных, в которой находится одна из серверных ферм Twitter, расположенная в Сакраменто, согласилась продлить срок аренды, чтобы они могли организованно начать переезд в 2023 году. "Но сегодня утром, - объяснил Маску руководитель, - они вернулись к нам и сказали, что этот план больше не рассматривается, поскольку - и это их слова - они не считают нас финансово жизнеспособными и думают, что мы с ними не расплатимся".

Этот дата-центр обходился компании Twitter более чем в 100 млн. долл. в год. Маск хотел сэкономить эти деньги, переместив серверы на другой дата-центр Twitter в Портленде, штат Орегон. Другой руководитель, присутствовавший на совещании, предупредил, что это нельзя сделать немедленно. "Мы не можем спокойно уехать еще где-то шесть-девять месяцев", - прагматично заявил он.  - Сакраменто должен продолжать существовать, чтобы обслуживать трафик".

На протяжении многих лет Маску часто приходилось искать компромисс между тем, что он считал необходимым, и тем, что, по мнению других, было возможно. Результат почти всегда был один и тот же. На несколько мгновений он замолчал, а затем объявил: "У вас есть девяносто дней, чтобы сделать это. Если вы не справитесь, мы примем вашу отставку".

Директор начал рассказывать о некоторых препятствиях на пути перемещения серверов в Портленд. "Там разная плотность размещения стоек, разный запас по электропитанию, - сказал он, -  Поэтому придется модернизировать помещения". Он начал рассказывать все более подробно, но через минуту Маск прервал его: "У меня от этого голова болит", - сказал он.

"Извините, я не хотел", - ответил директор размеренным монотонным тоном.

"Знаете смайлик, у которого голова взрывается? - спросил Маск. - Вот так и у меня сейчас в голове. Это какое-то дерьмо. Блядь! В Портленде, очевидно, есть куча свободного места. Переместить серверы с одного места на другое - тривиальное дело".

Менеджеры Twitter снова попытались объяснить ограничения. Маск перебил: "Мы можем послать кого-нибудь в наши серверные центры, кто сможет снять мне видео изнутри?" - спросил он. До Рождества оставалось три дня, и менеджер пообещал прислать видео через неделю. "Нет, завтра, - приказал Маск. - Я сам строил серверные центры и могу сказать, можете ли вы поставить туда больше серверов или нет. Именно поэтому я спросил, посещали ли вы эти объекты. Если вы там не были, то вы просто несете чушь".

"Все, что вам нужно сделать, - это перевезти эти чертовы серверы в Портленд, - повторил он. - Если это займет больше тридцати дней, то я просто офигею". Он сделал паузу и пересчитал. "Достаточно нанять компанию по переездам, и потребуется неделя, чтобы перевезти компьютеры, и неделя, чтобы их подключить. Две недели. Вот сколько времени это должно занять".

Все молчали. Но Маск все еще разогревался. "Если бы у вас был гребаный U-Haul (прим.Экслера - это американская компания, которая предоставляет услуги в области аренды грузовиков для переезда), вы, наверное, смогли бы сделать это сами". Два менеджера Twitter переглянулись, пытаясь понять, серьезно ли он говорит. За столом также находились два самых преданных Маску топ-менеджера - Стив Дэвис и Омид Афшар. Они уже не раз видели его в таком состоянии и знали, что он может быть таким.

Джеймс Маск толкает одну из серверных стоек.

Джеймс и его брат Эндрю, младшие двоюродные братья Маска, прилетели вместе с ним из Сан-Франциско в Остин в пятницу, 23 декабря, на следующий день после разочаровывающего совещания по инфраструктуре, посвященного тому, сколько времени займет переезд серверов из центра в Сакраменто. Заядлые лыжники, они планировали отправиться на Рождество в Тахо вдвоем, но в тот день Илон предложил им приехать в Остин.

Джеймс поначалу не согласился. Он был морально истощен и не нуждался в дополнительном стрессе, но Эндрю убедил его, что они должны поехать. Так они оказались в самолете и слушали, как Илон жалуется на серверы.

Они были где-то над Лас-Вегасом, когда Джеймс предложил перенести серверы прямо сейчас. Это была такая импульсивная, непрактичная идея, которая понравилась Маску. Было уже слишком поздно, но он велел своему пилоту изменить маршрут, и они вернулись в Сакраменто.

Единственным арендованным автомобилем, который они нашли, когда приземлились, была Toyota Corolla. Они не знали, как попасть ночью в центр обработки данных, но один сотрудник Twitter, парень по имени Алекс из Узбекистана, все еще был там. Он впустил их внутрь и показал помещение.

Здание, в котором располагались серверные комнаты для многих других компаний, было хорошо защищено, и для входа в каждое помещение требовалось сканировать сетчатку глаза. Узбек Алекс провел их в хранилище Twitter, где находилось около пятисот стоек размером с холодильник, в каждой из которых стояло по тридцать компьютеров. "Эти штуки, похоже, не так уж сложно перемещать", - объявил Илон. Это не соответствовало реальности, поскольку каждая стойка весила около двухсот килограммов и имел размера два с половиной метра.

Джеймс Маск в кепке справа внизу, Эндрю чуть позади и команда Extra Care Movers в серверном центре в Сакраменто

"Вам придется заплатить подрядчику, чтобы он поднял стойки с земли, - предупредил Алекс. - Поднимать их придется с помощью присосок". Он добавил, что затем еще один подрядчик должен будет залезть под панели пола и отсоединить электрические кабели и сейсмические штанги.

Маск повернулся к своему охраннику и попросил одолжить его перочинный нож. С его помощью он смог приподнять одну из вентиляционных труб в полу, что позволило ему открыть панели. Затем он проник под пол, где находились серверы, с помощью ножа открыл электрический шкаф, отключил серверы от сети и стал ждать, что произойдет. Ничего не взорвалось. Сервер был готов к перемещению. "Похоже, это не так уж сложно", - сказал он, глядя на узбека Алекса и остальных членов банды. Маск был полон энтузиазма. По его словам, он громко смеялся, это было похоже на ремейк фильма "Миссия невыполнима", версия для Сакраменто.

На следующий день, в канун Рождества, Маск вызвал подкрепление. Росс Нордин, работавший вместе со своим другом Джеймсом в компании Tesla, приехал из Сан-Франциско. Он остановился в Apple Store на Юнион-сквер и потратил 2000 долларов, купив весь запас AirTags, чтобы иметь возможность отслеживать серверы во время поездки, затем заехал в Home Depot, где потратил 2500 долларов на гаечные ключи, болторезы, фонари и инструменты, необходимые для откручивания сейсмических болтов. Стив Дэвис, верный лейтенант Маска, попросил кого-то достать грузовик с полуприцепом и фургоны для переезда. Другие привлекли сотрудников SpaceX.

У серверных стоек есть колеса, поэтому команда смогла отсоединить четыре из них и перекатить их к ожидающему грузовику. Это доказало, что все 500 серверов можно было перевезти за несколько дней. "Мои ребята - просто супер!" - отметил Маск.

Другие работники предприятия наблюдали за происходящим со смесью благоговения и ужаса. Маск и его команда отступников вынесли серверы, не упаковывая их в коробки и не обматывая защитным материалом, а затем пристегнули их к грузовику купленными в магазине ремнями. "Я никогда раньше не грузил полуприцеп", - признался Джеймс.

К трем часам дня, после того как в грузовик были погружены четыре сервера, руководство компании NTT, которая владеет и управляет центром обработки данных, узнало об этой выходке. Они приказали команде Маска остановиться. Маск испытал смесь ликования и ярости, которая обычно сопровождает его приступы безумия. Он позвонил генеральному директору подразделения хранения данных, который сказал ему, что невозможно переместить стойки с серверами без группы специалистов. "Чушь собачья, - сказал Маск. - Мы уже погрузили четыре в полуприцеп".

Затем генеральный директор сообщил ему, что некоторые полы не выдерживают давления более 220 кг, поэтому перекатывание сервера весом более 900 кг приведет к его повреждению. Маск возразил, что у серверов четыре колеса, поэтому давление в любой точке составляет всего 220 кг. "Этот парень не очень хорошо разбирается в математике", - насмехался над ним Маск перед своей командой.

Испортив руководителям NTT канун Рождества, а также потенциально лишив их более 100 млн. долл. недополученных доходов в течение следующего года, Маск сжалился и сказал, что приостановит перемещение серверов на два дня. Но он предупредил, что они возобновятся на следующий день после Рождества. После Рождества Эндрю и Джеймс вернулись в Сакраменто, чтобы посмотреть, сколько еще серверов они смогут перевезти. Одежды у них с собой не было, поэтому они отправились в Walmart и купили джинсы и футболки.

Руководители NTT, управлявшие объектом, продолжали придираться, причем некоторые из их требований были вполне объяснимы. Например, вместо того чтобы разрешить им открыть дверь хранилища, они потребовали, чтобы Маск и его команда при каждом входе проходили через сканер сетчатки глаза. Один из руководителей постоянно наблюдал за ними. "Он был самым невыносимым человеком, с которым я когда-либо работал, - сказал Джеймс. - Но, честно говоря, я его понимаю, ведь мы портили ему праздник, не так ли?"

Подрядчики по переезду, которых хотела привлечь NTT, брали 200 долл. в час. Джеймс зашел на сайт Yelp и нашел компанию под названием Extra Care Movers, которая выполнила бы работу за десятую часть стоимости. Владелец компании некоторое время жил на улице, у него родился ребенок, и он пытался наладить свою жизнь. У него не было банковского счета, поэтому Джеймс решил расплатиться с ним через PayPal. На второй день члены команды захотели получить наличные, поэтому Джеймс пошел в банк и снял со своего личного счета 13 000 долларов. У двух членов съемочной группы не было документов, что затрудняло их доступ на объект. Но они компенсировали это работой. "Вы будете получать доллар чаевых за каждый дополнительный сервер, который мы перенесем", - объявил Джеймс.

Илон Маск (фото Reuters)

На серверах хранились пользовательские данные, и Джеймс сначала не понял, что по соображениям конфиденциальности их необходимо удалять перед переездом. "К тому времени, когда мы узнали об этом, серверы уже были отключены и перемещены, поэтому не было возможности подключить их заново и затем удалить, - объясняет он. - Кроме того, программа удаления не работала".

Илон посоветовал запереть грузовики и отследить их. Джеймс послал кого-то в Home Depot, чтобы купить большие навесные замки, и они отправили коды комбинаций в электронной таблице в Портленд, чтобы там можно было отпереть грузовики. "Я не могу поверить, что это сработало, - говорит Джеймс. - Все они благополучно прибыли в Портленд".

К концу недели они использовали все грузовики, имевшиеся в Сакраменто. Несмотря на то, что в районе шли дожди, за три дня они перевезли более 700 стеллажей. Предыдущий рекорд составлял тридцать стоек за месяц. На площадке оставалось еще много серверов, но команда показала, что их можно быстро переместить. Остальное было сделано инфраструктурной командой Twitter в январе.

Все это очень интересно и вдохновляюще, не правда ли? Пример смелого и новаторского подхода Маска. Но, как и во всем, что касается Маска, все оказалось не так просто. Это также пример его безрассудства, нетерпимости к критике и манеры издеваться над людьми. Инженеры по инфраструктуре Twitter пытались объяснить ему на совещании неделей ранее, почему быстрое отключение центра Сакраменто может стать проблемой, но он отмахнулся от них. У него был хороший опыт в том, чтобы понять, когда нужно игнорировать недоброжелателей.

В течение следующих двух месяцев работа Twitter была нестабильной. Нехватка серверов приводила к сбоям, даже когда Маск проводил Twitter Spaces для кандидата в президенты Рона ДеСантиса. "Оглядываясь назад, можно сказать, что все отключение Сакраменто было ошибкой, - признает Маск в марте 2023 года. - Мне сказали, что у нас есть резервирование во всех наших центрах обработки данных. Но мне не сказали, что у нас было семьдесят тысяч зашифрованных ссылок на Сакраменто. И до сих пор есть вещи, которые из-за этого не работают".

Его самые ценные сотрудники в Tesla и SpaceX научились отклонять его плохие идеи и предоставлять ему нежелательную информацию, то сотрудники Twitter не знали, как с этим справиться. Тем не менее Twitter выжил.

Аминь, добавлю я. Потому что как Twitter выжил в обстановке такого лютого [censored] - понять довольно сложно. Впрочем, у Твиттера, который уже не Твиттер, в этом плане еще все впереди.