Работаю в саппорте крупного хостинга. Вот такие сочинения порой приходится читать:
До минувших выходных всё работало нормально. Но в ночь с субботы на воскресенье у вас произошел сбой, в результате которого сервер упал замертво и перестал даже пинговаться. Пользователи забились в истерике. Паника продолжалась и в воскресенье — к концу дня самые слабонервные начали резать себе вены и прыгать с балкона. Слава богу, кошмар продолжался недолго — к середине понедельника сайт заработал. Уцелевшие форумчане побежали в церковь, чтобы поставить свечки за его здоровье. Помогло это мало — форум очень долго грузился и открывался один раз из десяти, в остальных случаях выдавая 502 Bad Gateway, видимо, по таймауту работы скрипта. В то же время более лёгкий сайт %siteName%, расположенный на том же сервере, с тормозами, но всё же открывался. Устав звонить в саппорт, где познания девушек из колл-центра ограничивались ответом «У нас какие-то проблемы на сервере», мы решили собрать остатки надежды и ждать.
До конца вторника дожили лишь самые стойкие. Утром среды всё, казалось бы, стало по-прежнему, и когда мы уже было начали вскрывать закупленное заранее шампанское, по нашим щекам текли скупые мужские слёзы. Но судьба нанесла нам новый удар — вернулась ошибка max_user_connections (согласен, она связана с проблемой в коде сайта, который, впрочем, исправно работает уже почти пять лет), а к вечеру сервер вовсе перестал пинговаться, и в браузере снова появились эти ужасные слова: «The connection has timed out».
Вчера я купил пистолет — старый ТТ с затёртыми номерами — и коробку на 150 патронов. Патроны старые, на донышке выбит 64-й год, но «маслята» сохранились хорошо. Пистолет сегодня утром я почистил, смазал жидким оружейным маслом, проверил механизм. Если форум не заработает к завтрашнему дню, у вас может стать на одного клиента меньше.
Сегодня начальник набирал Большой и Важный текст с целью отправить его по ведомственной электронной почте. В очередной раз перечитав произведение, любимый шеф не обнаружил в конце собственной начальственной подписи. Полный надежды взгляд в мою сторону: «Как подписать?» Глупые вопросы меня за день порядком достали. «Как-как? Всё просто. Берём и подписываем».
Рука шефа вооружается шариковой ручкой и тянется к монитору. На моё резонное замечание, что так недолго и новый моник поцарапать, рука послушно перевооружается маркером и ставит размашистую закорючку. С тихим воем сползаю под стол.
Документ уходит адресату, подпись остаётся на месте, я лишаюсь месячной премии.
Мистика в IT меня раздражает; «танцы с бубнами» — синоним иррациональной деятельности в состоянии глубокого отчаяния. Но некоторые вещи логическому анализу поддаются с трудом.
Давно замечал, что многие «гуру» в панических дискуссиях на тему «Пропала связь с пятью точками в разных регионах, сидящими на одном шлюзе» в самом конце в общее резюме добавляют версию: «Во всех пяти точках уборщицы повыдёргивали кабель (нет света, обрыв „последней мили“, сгорел конвертер)». С годами начинаю проникаться этой точкой зрения.
Недавно переносили мы с коллегами корпоративный почтовик: смена платформы, ОС, версий сервисов, адресов... В общем, всё скопом, чтоб за один раз. Делали ночью, после долгого тестирования, с синхронизацией, чтобы ни одно письмо не потерялось. Но, как известно, нет программы, которая бы скомпилировалась с первого раза, и нет апгрейда без багов.
На следующее утро в состоянии повышенной готовности ждем беды. Наиболее дружественных пользователей обзвонили — всё окей.
Первый звонок — внешний клиент: «Не работает почта». А там SSL, а сервак сменился... Оказалось, человек просто случайно сбил настройки клиента.
Второй звонок — бухгалтерия: «Не работает почта». Переполнение клиента.
Третий звонок: неправильно ввёл пароль.
Четвертый: «Нет, письма размером в 140 МБ мы вообще не отправляем. Используйте форматы изображений со сжатием».
И только под вечер мы своими силами обнаружили, что сетка, где сидит 80% наших пользователей (в том числе «дружественные»), блокируется по 25-му порту. И никто не позвонил!
Пишет мне сегодня в аську знакомая: зарегалась, мол, на сайте, а письмо в ответ не приходит. Знаю, что почта у неё на Гугле, вот и решил приколоться.
— Ты ничего плохого не делала? Может, в гугле забанили? — Не, ничего.
Параллельно подрубаюсь по SSH к своему серваку, telnet localhost 25, ну и письмо от support@google.ru примерно следующего содержания:
Hello, %name%!
You are banned.
Best regards, Google support team.
Через пару минут подруга в шоке: что случилось, в чём дело? Никого, мол, не трогала... Повалявшись под столом от смеха, я всё-таки открыл ей страшную тайну. А письма после этого сразу пришли.
Настраиваю правила антиспам-фильтра. Попадается письмо с предложением о переводах с английского на русский. В качестве контакта — номер телефона. Набираю номер и иду курить.
— Алло. — Бюро переводов? — Да, слушаю вас. — Здравствуйте, нам вашу рекламку принесли, а нам перевести надо. — Сколько листов? — Один. — Стоить будет столько-то, присылайте на мейл. — Ой, простите, у нас тут нету интернету. — Тогда по факсу. — У нас аппарата нету. А вот в вашей рекламке сказано, что у вас бесплатный выезд курьера, мы поэтому вашими услугами и заинтересовались. — Ну, ради одного листа курьер не поедет.
Из долгого препирательства девушка на телефоне выходит победителем.
— А сколько надо листов, чтобы поехал? — Столько-то. — Повисите, пожалуйста, на трубке, спрошу у народа: может быть, кому-то ещё нужно.
Mute. Докуриваю с сотрудницами не спеша, возвращаюсь к антиспаму. Минут через пять беру трубку:
— Тут нам ещё надо руководство по FreeBSD перевести, там порядка трёхсот страниц. — Диктуйте адрес. — А цена какая?
Долгий расчёт, торговля, по цене договорились.
— Давайте адрес. — Записывайте: южная тундра, вторая стоянка оленеводов, за третьим оленем направо.
Была мысль вызвать курьера куда-нибудь в Южное Бутово, но совесть не позволила.
Все помнят сказку про волшебный горшочек? Я вчера испытал её на себе.
Утром, оказавшись в неприятной ситуации из-за отрубившегося накануне вечером УЗО в серверной (бесперебойники отработали, но на двенадцать с лишним часов их, конечно, не хватило) в положении того самого мужика, над которым грянул гром, я решил настроить уведомления по почте и SMS о подобных каверзах. Сначала полез в ZenOS — он превосходно собирает кучу инфы со всей сети по SNMP и генерит кучу отчётов, некоторые из которых я решил направить себе на гмейловский аккаунт. Отрубаю UPS — фиг, молчит ZenOS, как партизан, хотя событие произошло и в его базе появилось.
Поковырялся ещё, в процессе применил свой любимый метод тестирования: включил информирование вообще на все события, полагая, что если и тогда ничего не произойдёт, то ошибку стоит искать где-то ближе к почтовому серваку. Ничего не произошло, но тут мне подсказали, что можно настроить уведомления непосредственно с серверов, контролирующих «упсы» — и точно, старый добрый PowerChute с этой задачей справился, и я, довольный, вернулся к рутинным админским делам.
А вечером случилось оно. Уж не знаю, почему именно — скорее всего, коллега перезагрузил сервак с ZenOS, — но оно попёрло. В половине десятого я уехал за женой на каток, в десять мой коммуникатор уже безбожно тупил, пытаясь сообщить о трёх тысячах новый сообщений в ящике. Пока он загружал текущие заголовки, сваливались новые... Горшочек, не вари!
К полуночи я знал, что у меня есть пять с половиной тысяч событий разной степени важности, к двум часам ночи их число перевалило за семь тысяч. Конечно, добравшись до десктопа, можно было поставить фильтр на сообщения и удалять их без прочтения. Можно было залезть по VPN на работу и отрубить злобного спамера. Но у меня взыграло любопытство: решил проверить, сколько же всего горшок наварит, пока я сплю. Сегодня утром насчитал одиннадцать тысяч сообщений с одинаковым заголовком и отправителем.
Перед запуском чего-либо думать надо трижды. Дважды — мало, хотя тоже ничего: подумав дважды, я не стал включать информирование по SMS. Страшно представить, как бы я чистил входящие сообщения на телефоне...
Работал программером в одной конторке. На обед ходил к родителям, благо жили они минутах в десяти ходьбы. Добрался как-то до них, и тут звонок от начальницы, от техники далёкой:
— Срочно приходи, тут вирусы! — Где? — Хватит болтать, быстрей сюда: тут всё в вирусах!
Злой и голодный, бегу на работу назад. Директор подает мне письмо: «Читай!» Недоумевая, вникаю в содержимое: некая организация просит нашу фирму выдать информацию по интересующей тематике. Чувствую себя слегка придурком:
— И где тут вирусы? — Да ты дальше, дальше читай!
После прочтения последних строчек я понял, что голодным остался зря:
Антивирус такой-то проверил входящее сообщение. Вирусов не обнаружено.
В техотдел выделили третьего человека. Гонору — выше крыши. Дали простое задание: на выезде настроить человеку гугловский ящик в Аутлуке по IMAP. Потупив слегка, он решил опробовать создание ящика в кабинете, попутно занося «полевые записки» в текстовик.
Это юное дарование сорок минут создавало ящик на Гугле, потом ещё столько же пыталось привязать по IMAP, не включая SSL и не прописывая гугловские номера портов. Человеку двадцать четыре года. Вначале нам было смешно. Потом показали ему FM (тот, который надо RT) — смешно быть перестало. И это зовётся айтишником!
Грустно, господа. Но теперь нам ещё и страшно: парень отправился на первый выезд.
