В девяносто-лохматом году сисадминил я в министерстве по развитию бурной деятельности в одной из очень центральноазиатских стран. Для админов были выделены две комнаты, выходившие в маленький тамбур, из которого вела дверь в коридор. Серверное хозяйство было небольшое, все железки располагались в одной комнате, вторая же была аскетично меблирована холодильником, диваном и столом — что еще нужно админу для медитации?..
Всё хорошее когда-нибудь заканчивается, и нашу комнатку отдали нехорошим людям из другого департамента. Небольшое лирическое отступление: у местного населения была (да и сейчас, наверное, есть) традиция, пришедшая из глубины веков, регулярно очищать помещения от злых духов. Ритуал довольно простой: в тарелке поджигается небольшое количество веточек особого местного растения. Веточки не горят, а тлеют, пуская клубы едкого вонючего дыма. Не знаю насчёт злых духов, но тараканы и мухи из окуренной комнаты эвакуируются незамедлительно.
Однажды один из серверов стал кричать о повышении температуры в помещении, я побежал проведать свои железки. Коридор встретил меня полумраком, а из дверей серверной лился желтовато-красный свет и валили клубы дыма. Пожар! Вспомнив недавние учения, я схватил огнетушитель (хорошо, что углекислотный), сорвал пломбу, дёрнул за рычаг и самоотверженно бросился со свистящим балоном наперевес в очаг пожара.
Серверная встретила меня вполне целой и плотно закрытой дверью, а вот соседняя дверь была распахнута настежь, из неё валил дым, подсвеченный лучами заходящего солнца. Когда дым и углекислый газ рассеялись, передо мной предстал совершенно дезориентированный новый хозяин комнатки, решивший перед заселением очистить помещение от пустых пивных бутылок и нехорошей ауры прошлых владельцев.
У одного заказчика есть большая и суровая железка под названием Sun Fire E25K, крайне критичная для бизнеса. Управляют сервером два контроллера — встроенные в шасси мелкие серваки с Solaris на борту. Греется этот слон так, что от него можно прикуривать, а с охлаждением в датацентрах вечная проблема. Админы написали скриптик, который берет вывод команды showenvironment, выкусывает из него температуру и в случае достижения определенного значения шлёт почту, где жалуется на некомфортные погодные условия. Всё работает уже с полтора года и все счастливы.
В прошлые выходные между двумя этими контроллерами повис интерконнект — ни файловер не сделать, ни подключить консоль с одного на другой. В общем, отказоустойчивости ноль.
Запланировали работы по исправлению ситуации — сервер надо было выключать целиком. Опустили домены, выключили контроллеры, обесточили сам сервер. Покурили, идем включать. Загрузив контроллеры, даём команду poweron и начинаем медленно покрываться испариной — сервер долго висит на включении вентиляторов. Из опыта я знаю, что такого быть никак не может, ибо вентиляторы включены абсолютно всегда, а сервер пишет, что их включает, чисто для проформы. Сроки работ ограничены, все в панике.
Смотрим лист процессов и наблюдаем, как несчастный контроллер запрашивает состояние температур у выключенного шасси! В лучших традициях советских очередей «привратник» не даёт пролезть вперед другим процессам (например, poweron) даже по большому блату.
После ритуального уничтожения строки запуска скрипта в кроне дело пошло как подобает. Да, в инструкциях такого не пишут — верно утверждение, что «тонкости познаются через факапы»!
Понедельник. Утро. UPS, стоящий рядом с сервером, начинает пронзительно стонать своим спикером. Стали искать причину. Перерыли все мануалы, пылившиеся на полке, но в конце концов нашли нужный. Внимательно прочли его всем отделом — ну нету описаний таких сигналов, не должен он так пищать! Кто-то замечает на бесперебойнике кнопочку, которой можно отключить звук, но не тут-то было — кнопка не помогает. Идём на крайние меры: тушим сервак, отключаем UPS, разбираем его и выдираем всем уже порядком поднадоевший спикер.
Что же было дальше? Включили UPS, запустили сервер. В кабинет заходит заместитель техдиректора: «Бездельничаете, парни?» Мы ему обрисовываем всю картину, на что он ехидно заявляет: «А прикиньте, если он и щас начнёт материться?» Опять раздаётся истошный писк. Все тихо офигевают. Заместитель подходит к злосчастному бесперебойнику, осматривает его и сокрушается: «Ну вы и звери... Кастрировали UPS ни за что ни про что!»
Оказывается, на серваке упал один из сказёвых винтов в рейде, и материнская плата громко жаловалась на мёртвую железку. Злосчастный винт мы в этот же день сплавили в сервис по гаринтии, а на покалеченный UPS прилепили наклеечку «Герасим».
Я — 1С-программист. Однажды пришел к клиенту в крупную компанию. Дверь мне открыла тётка лет тридцати-сорока. Это был один из первых моих походов за пределы офиса; я очень волновался и прямо с порога начал докладывать: «Я тот-то из компании такой-то, мне сообщили, что у вас такая-то проблема, сейчас я посмотрю там и тут, возможно, всё получиться исправить» (на самом деле мой довольно бессодержательный монолог был раза в три длиннее). Всё это время женщина смотрела на меня непонимающими глазами; когда же я закончил, выяснилось, что она не в теме, но сейчас отведет меня к кому надо.
Дама удалилась вглубь офиса, где сидела добрая дюжина таких же бухгалтеров, похожих друг на друга. Немного помешкав от стеснения, я прошёл следом. Войдя в помещение, я сразу направился к одной даме, выжидательно на меня смотревшей — я сразу понял, что это и есть нужный мне человек, и слово в слово повторил предыдущий монолог.
Нет, меня не смутило, что женщина как-то странно на меня смотрела. Только по окончании моего представления до меня дошло, что это она и открыла мне дверь пару минут назад, а у меня отвратительная память на лица.
Когда я наконец оказался один в прохладной темной серверной, я кусал себя за пальцы и строил дикие рожи в мерцающий монитор.
Наша компания занимается разработкой и сопровождением программ для заказчика — попросту говоря аутсорсингом). Филиалы разбросаны по всему миру, и для облегчения общения саппорта и конечных пользователей помимо прочих средств связи существует бесплатный международный номер вида 1-800-...
Однажды приходит к нам письмо от клиента: «Бла-бла-бла, программа не работает. И кстати, по вашему бесплатному номеру отвечает не техподдержка, а служба „секс по телефону“». Мы в ступоре. Перезваниваем по указанному номеру и слышим приятный женский голос, обещающий ласки и небывалые удовольствия.
Оказывается, в одном из шаблонов стандартных ответов была опечатка в одной цифре номера. Самое интересное заключалось в том, что шаблон у нас не менялся как минимум несколько месяцев и до этого ни одной жалобы не поступало. А что — звонишь в саппорт, а тут тебе откровенный разговор на любые темы! Клиенты сразу забывали о своих проблемах с программой и наслаждались беседой.
Теперь сидим и думаем: а стоит ли шаблон исправлять?
Московский филиал довольно крупной иностранной компании. На этаже произошел сильный пожар, полностью выгорело шесть комнат, включая серверную. Сисадмин, с трудом говорящий по-английски, докладывает ситуацию CIO головного офиса в Торонто:
Сисадмин: Ви хэв вери бэд ситьюэйшн хире. CIO: Can you describe what exactly happened? Perhaps you can spell some words if you're not sure about their pronunciation. Сисадмин: Йес, коудворд из «пи-ай-зет-ди-и-ти-эс». Вери, вери бэд ситьюэйшн!
Пригласил меня однажды друг настроить свежукупленный комп своему товарищу. Винда в норме — XP SP3; поправил пару настроек и отключил несколько служб. Установил и новинки игропрома — конфигурацию подобрали неплохую, внутри гудел здоровенным кулером новенький GeForce 9600. Нахваливаю выбор:
— Классная видеокарта! — А то! Всё, что нужно, купили, даже бесперебойник есть, только зачем он, не пойму — для защиты от скачков напряжения? — Сейчас расскажу, а лучше покажу. У вас рубильник далеко? — Нет. — Вырубай нафиг!
Товарищ удаляется, мы с другом ждём начала спектакля. Бах — свет гаснет, компьютер вырубается, UPS пищит. Что за чертовщина?
Смотрю под стол и понимаю, что в знаниях устанавливавшего компьютер «специалиста» был серьёзный пробел. Бесперебойник был включен в электросеть параллельно с питанием системника и монитора.
Случилась эта история в те далекие времена, когда мобильных телефонов еще никто не видел, а пейджер был непозволительной роскошью. Но во всю продавались радиотелефоны, причем отдельные умельцы добивались дальности связи трубы со станцией до двух километров. Вот и история эта об одном из этих умельцев, с которым мне довелось работать.
Занимался он распространением этих аппаратов и «подключением» различных понтов. По определенным каналам поступил заказ на продажу телефона, причем заказчик хотел те самые два километра, чтоб в магазин с трубой ходить. Дом у заказчика в 16 этажей.
«Да и на пять километров потянет, если на крышу антенну вынести»,- зря товарищ мой это сказал. Как оказалось потом, клиент жил всего лишь на четвертом этаже, а денег-то хочется. Недолго думая, решили проложить кабель по шахтам вентиляции – так короче. За реализацию задуманного взялись далеко в послеобеденное время. Лампочку на кухне в вентиляцию, хозяин дома, остальные на «высоту». Свет в конце туннеля виден, но как-то уж больно далеко.
Ну, нам-то что. Гирю в полкило к канату и вниз, аккуратно. Пройти должна! Не проходит, ложится на что-то. Доложили хозяину. А у того как раз двухпудовая (32 кг) гиря нашлась. Её к канату! Ложится на что-то и все! Время ужинать, да и домой охота. Подняли гирю на десяток метров, чтоб наверняка засор пробить, тем самым доброе дело сделать, и отпустили.
В это время где-то между 4 и 16 этажами на кухне за ужином собралась вся семья. Смотрели телевизор, стоявший на холодильнике. И, казалось бы, что тут такого? А ведь холодильник был «утоплен» в вентиляционную шахту. Вдруг с треском и грохотом над телевизором появляется здоровенная гиря! Мгновенье – телевизора больше нет! Еще мгновенье – и холодильник прошел краш тест! Полежав секунду, гиря безмолвно взмыла вверх…
Коллега уверяет, что никто их не поймал. А свое «грязное» дело они через день до логического завершения все-таки довели.
Вспомнилась история моего первого знакомства с линуксом — забавная и поучительная.
Домашний компьютер у меня появился в десятом классе. За полгода я только и научился, что ходить по сайтом из-под IE да щёлкать мышкой на всём подряд, — даже командную строку мне не довелось открыть ни разу. Однако некоторые простейшие проблемы решать я всё-таки научился: текст очередного непонятного окошка вколачивался в Яндекс, и по поисковой выдаче я иногда понимал, что и куда надо ввести.
Однажды мне довелось прочитать о чудесной операционной системе Linux, которая по всем параметрам явно была круче винды. Списывая все свои непонятки на то, что винда действительно недостаточно крута, я обратился к своему знакомому «компьютерщику», который подтвердил, что с никсами он на «ты» и может запросто поставить мне их. Даже пообещал подарить под это дело отдельный небольшой винт, чтобы не тревожить лишний раз привычные «форточки».
Обрадованный, я тем же вечером принёс к товарищу свой системный блок, и он, бормоча непонятные заклинания, принялся за работу. К делу он подошёл основательно: поставил Slackware, добавил несколько крайне нужных пакетов, произвёл бесчисленное количество настроек — словом, система была полностью готова. Естественно, что в ходе этих манипуляций он как опытный администратор выставил runlevel = 3, да и забыл про это.
Придя домой в половине десятого, я радостно включил свой компьютер, достал из кармана листок с надписью «Логин администратора — root, пароль — qwerty» (предполагалось, что своего юзера я создам сам) и стал ждать загрузки. Войти в систему у меня получилось с первого раза. Помедитировав с полчаса на строку «root@comp ~#», я догадался, что компьютер ждёт, когда я что-нибудь введу.
Поскольку все наставления моего товарища прошли через мои уши насквозь, не оставив ровным счётом ничего в голове, я выпросил у отца ноутбук, зашёл на Яндекс и ввёл туда злополучную строку. К моему удивлению, нашёлся целый ворох страниц, на каждой из которых были приведены разные команды, вводимые после этого приглашения. Почесав в затылке, я не нашёл ничего лучшего, чем начать вводить их все по очереди.
Что чувствовал в тот вечер свежеустановленный линукс, нынче я даже боюсь представить. Не знаю, какие команды мне попадались под руку, но если команда startx и появилась, то, видимо, уже слишком поздно, когда KDE уже не запускался. Убедившись, что после очередной команды рабочий стол с обоями и кнопочкой «Пуск» всё ещё не появился, я бездумно переходил к следующему примеру. Держалась «слакварь» молодцом, и упала только глубокой ночью.
Когда на следующий день я снова пришёл со своим компьютером к тому же знакомому, он долго в ужасе смотрел то на меня, то на не подлежащую восстановлению систему. На этот раз после установки он создал для меня пользователя с максимально урезанными правами, а root-пароль пообещал дать только после того, как я смогу внятно сформулировать, зачем он мне нужен. Стоит ли говорить, что просидел под никсами я от силы три вечера и, так и не сумев поставить не одной игрушки, снова загрузился в знакомую винду?
За что я благодарен своему знакомому до сих пор, так это за то, что во время установки подарочного винчестера он выдернул шлейф из моего основного и забыл вставить обратно. Думаю, в противном случае данные на этом винте постигла бы самая печальная участь!