Когда инфраструктура падает, счёт идёт не на проценты аптайма в отчёте, а на деньги в кассе. В день сбоя Cloudflare брокеры потеряли около 1.6 млрд долларов торгового оборота за 4 часа. Наши клиенты в этот же день потеряли ноль. Разница не в удаче, а в том, что было сделано заранее.
Что произошло в день сбоя
Cloudflare обслуживает значительную часть интернета, и в момент сбоя вместе с ним погасли крупные сервисы. Пользователи видели ошибки 502 вместо рабочих сайтов. Для компаний, у которых вся точка входа завязана на одного поставщика, это означало простое: клиент не может оплатить, оформить заказ или войти в личный кабинет. Каждая минута такого простоя это упущенная выручка и удар по репутации, который остаётся в памяти клиента дольше самого инцидента.
Первые ошибки у наших клиентов появились в 14:47. К 15:17 все сервисы снова работали. Тридцать минут, доступность на уровне 95 процентов, потерянной выручки ноль. Компании с дорогой облачной стратегией в это время смотрели на ошибки 502 больше четырёх часов. Дело не в том, что кто-то оказался умнее. Дело в том, что кто-то заранее предположил, что единая точка отказа однажды откажет.
Три вопроса, которые стоит задать до аварии
За полтора года до этого сбоя мы разобрали инфраструктуру по трём вопросам. Они простые, но именно ответы на них определяют, переживёт компания падение поставщика или нет.
- Что ломается первым, если поставщик умрёт. Нужно понимать конкретный узел, через который проходит весь трафик, а не общее ощущение надёжности.
- Как быстро мы переключимся на резерв. Ответ измеряется в минутах или часах, и эта цифра напрямую равна сумме потерь.
- Кто нажимает кнопку. В кризис нет времени искать ответственного и согласовывать действия, роль должна быть назначена заранее.
Если на эти вопросы нельзя ответить прямо сейчас, у компании нет плана восстановления, есть только надежда. А надежда это не стратегия.
Что именно мы построили
За готовностью к сбою стоит не магия, а набор инженерных решений. Каждое из них переводится в понятное бизнес-последствие.
- DNS с коротким TTL. Большинство компаний используют DNS по умолчанию от регистратора, где изменения расходятся от 24 до 48 часов. В кризис это бесполезно. Мы держим TTL в 360 секунд, поэтому трафик перенаправляется за минуты, а не за сутки. Для бизнеса это разница между получасовым простоем и потерянным днём.
- Резервные маршруты в обход точки отказа. Если поставщик падает, трафик идёт по альтернативным путям без ручного вмешательства. Сайт и платежи продолжают работать, пока конкуренты ждут восстановления чужого сервиса.
- Проверки здоровья каждые 2 минуты. Проблема обнаруживается за 2 минуты, а не за 20 и не тогда, когда жалуется клиент. Чем раньше виден сбой, тем меньше клиентов успевают его заметить.
- Регламенты вместо импровизации. Каждый шаг описан, поэтому сбой в 3 часа ночи устраняет даже младший инженер по документу, а не зовёт всю команду. Это снимает зависимость от одного человека и его доступности.
- Ежеквартальные учения. Мы моделируем отказы до того, как они случатся. План работает именно потому, что его проверяли на практике, а не написали один раз и убрали в ящик.
Суммарная настройка заняла около 40 часов инженерного времени. В день массового сбоя эти 40 часов окупились полностью.
Главный вывод для руководителя
Cloudflare отличный сервис. И при этом единая точка отказа примерно для 20 процентов интернета. Оба утверждения верны одновременно. Компании, которые пережили сбой, не были умнее остальных, они были осторожнее и допускали, что чужой сервис может упасть.
Следующий сбой, скорее всего, будет не у Cloudflare. Это может быть AWS, Google или ваш платёжный провайдер. Вопрос не в том, случится ли это, а в том, когда. Проверьте свою инфраструктуру по четырём пунктам прямо сейчас: что ломается первым, если падает ваш CDN, какой у вас резервный путь, за сколько вы переключитесь и когда вы в последний раз это проверяли. Если ответа нет хотя бы на один пункт, это сигнал заняться отказоустойчивостью до следующей аварии, а не во время неё.
Следующий шаг
Мы готовы посмотреть на вашу инфраструктуру теми же тремя вопросами и показать, где находится ваша единственная точка отказа. Запишитесь на бесплатный технический аудит инфраструктуры на странице https://myod.it/contact-us/, и вы получите понятную картину рисков и план их закрытия.
