Утро пятницы начинается у всех по-разному. Рабочие муниципальных служб просыпаются очень рано, они начинают готовить Торонто к наплыву людей, которые наводнят городские улицы и дороги. В 4.30 утра городские службы обратили внимание, что исчезла мобильная связь, а многие машины вдруг пропали на карте, они перестали подавать признаки жизни. Легко было представить, что с городскими системами что-то случилось, возник какой-то незначительный сбой, который время от времени приводит к аналогичным последствиям. Но уже через несколько часов стало ясно, что сбой не связан с системами города, по всей Канаде прекратил работу оператор Rogers, предоставляющий услуги как мобильной, так и фиксированной связи. В Канаде сегодня живет 38.8 млн человек, из них 11 млн являются пользователями Rogers Wireless, 3 млн пользуются услугами проводной связи. Помимо этого, крупнейший оператор обслуживает банки, государственные учреждения, больницы и даже службу 911. С раннего утра как обычные люди, так и государственные службы оказались без связи.
Винить хакеров в отключении крупнейшего провайдера невозможно, никто не атаковал системы Rogers, кроме инженеров компании, которые делают это постоянно. В пандемию Rogers стал экономить на сотрудниках, а также на оборудовании, оператором преимущественно используются системы от Ericsson. В апреле 2021 года уже произошел масштабный сбой, когда канадцы остались без связи в течение дня — не работали голосовые звонки, SMS, передача данных. В тот раз вину возложили на обновление программного обеспечения, которое привело к таким последствиям. Президент Rogers каялся и обещал разобраться в причинах происходящего, компенсировать всем пострадавшим неудобства и в целом никогда не допустить такого в будущем. Акции компании в 2021 году не пострадали от того масштабного сбоя, фондовый рынок никак не отреагировал на событие.
Спустя пятнадцать месяцев ситуация повторяется и выглядит ровно такой же, никакие уроки из прошлого не были извлечены. Общее время отказа сети — около 19 часов, причем связь не была восстановлена для всех, только основные сервисы. Учитывая, что пятница — это рабочий день, а многие канадцы работают из дома, они моментально наводнили кафе, в частности, Starbucks, где интернет работал, так как предоставляется другим провайдером. Для Starbucks это не было счастьем, так как люди практически ничего не заказывали, пили несколько часов одну чашку кофе и сидели за своими компьютерами. Аналогичные сценки разыгрывались по всей стране.
Более десяти миллионов жителей страны, то есть почти каждый четвертый, оказались без связи. Чтобы оценить беспомощность людей, попробуйте представить, что вы не можете звонить своим близким, читать новости или переписываться с друзьями, ваш телефон становится почти бесполезной игрушкой. Социальные сети были наводнены сообщениями о том, что и как не работает, — да, люди находили запасные способы, как выйти на связь.
В Rogers отреагировали на ситуацию привычным образом, президент компании обратился к канадцам и обещал во всем разобраться, всем автоматически компенсировать неудобства. Можно найти это сообщение вот здесь.
Что интересно, в сообщении предусмотрительно не приводилось ориентировочное время возобновления работы сети! Что можно объяснить тем, что внутри оператора на тот момент просто не понимали, что произошло.
На следующий день, когда связь восстановили, президент Rogers уже выступил с другим обращением, в котором описывает произошедшее в деталях, его можно найти вот тут.
В не очень подробных объяснениях говорится, что оператор обновлял программное обеспечение, что вызвало неработоспособность части роутеров, и вся сеть упала. В Rogers отключили оборудование, которое не работало, перенаправили трафик, и все снова зашевелилось. На это у оператора ушло 19 часов!
Нелишним будет вспомнить, как работают российские операторы, которые когда-то сталкивались с ошибками обновления ПО, в том числе от Ericsson, и выработали рабочую модель, которая доказала свою жизнеспособность. Вначале обновление проводят в песочнице, его не раскатывают на всю сеть, а смотрят на то, как оно работает в ограниченном пространстве. Дальше обновление происходит ночью (также как в Rogers), команда инженеров при этом держит руку на пульсе, следит за тем, чтобы все шло по плану. И если вдруг начинает наблюдаться отказ сети, то все возвращают к предыдущему состоянию — на это уходят минуты, а не часы. Наученные жизнью российские операторы относятся к работе сети очень трепетно. И тут нет никаких сложных конструкций, которые неспособны повторить в Канаде, но отчего-то постоянно происходят сбои, которые выглядят как нечто невообразимое — фактически сутки без связи, причем большую часть времени, когда люди работают.
Почему такое стало возможным? Я разыскал людей внутри Ericsson, которые не понаслышке знают, как устроена сеть Rogers, какое оборудование там используется. Главное из слов, помимо нецензурной лексики в адрес криворуких инженеров, — экономия. Оператор очень сильно экономит на оборудовании, отказывается от резервирования и пытается сократить свои счета перед поставщиками. Весь бизнес заточен на то, чтобы сэкономить на всем, на чем только возможно, и это не только проблема Rogers, а скорее недостаток всех канадских операторов, история конкретной страны. В Rogers нет песочницы, в которой можно посмотреть за обновлением, оно раскатывается на всю сеть сразу. Причина? Создание песочницы — это дорогое удовольствие, и лучше иметь дело с риском отказа всех систем, чем тратиться на железо и софт. Качество сети Rogers довольно среднее, и в ней много узких мест. Если посмотреть на тест Ookla, то окажется, что все канадские операторы лучше, чем таковые в России.
Но факт заключается ровно в обратном, средние скорости выше в России, качество сетей также выше, а измерения от Ookla страдают целым рядом недостатков. Например, покрытие Канады связью заметно ниже, чем России. И если взять в расчет только крупные города, то картинка изменится до неузнаваемости. Просто в России связь есть в тех местах, где ее нет в Канаде, и ее также измеряют в деревнях и небольших населенных пунктах, что резко меняет картинку средней скорости. В Канаде зачастую в каких-то местах связи вовсе нет, отсюда неравенство сравнения.
Но об этом мы говорили многократно, и повторяться тут не хочу. Давайте посмотрим на то, сколько стоит связь от Rogers. Обычный тарифный план с 25 ГБ трафика на максимальной скорости обойдется в 85 канадских долларов (примерно 4 200 рублей). За 50 ГБ вам придется отдать уже 105 долларов, или 5 280 рублей.
К слову сказать, компенсация от Rogers случится автоматически, за день простоя с клиентов не возьмут денег, можно отметить, что это очень щедро для Канады. В прошлом году компенсация была ровно такой же, что вызвало возмущение владельцев разных бизнесов, они не могли принимать платежи и потеряли оборот за один рабочий день. Но ничто не изменилось и сегодня.
Дорогие услуги, весьма посредственные инвестиции в сеть и минимальный объем оборудования без резервирования, низкое качество инженеров, которые допускают такие промахи, но зато стоят для оператора меньше, чем те, кто знает и умеет больше. Сбои относительно редки, а оплачивать оборудование и людей нужно ежемесячно. И в этом кроется коренное отличие от той же России, где подход совершенно иной — ставка на качество связи, сделанная всеми игроками.
Пример Канады отлично иллюстрирует, что начинает происходить, когда экономят на резервировании, на людях. И это уже не исключение, а повторяющееся ежегодно событие. К сожалению, в западном мире оно станет нормой в ближайшие годы, такие отказы станут восприниматься как нечто нормальное. Они не вызывают ярость у людей, во всяком случае, такую, чтобы оператор почувствовал отток клиентов и финансовые потери, другие операторы не лучше. Примечательно, что стоимость связи такова, что люди не могут себе позволить обладать двумя SIM-картами на всякий случай, это дорого. И это тоже коренное отличие от России, где число людей с двумя или даже тремя SIM-картами превышает треть всех пользователей связи. Что делает устойчивость к возможным сбоям намного выше, чем в любой иной стране мира.
Но в любом случае опыт Rogers важен, в него нужно тыкать всех, кто считает, что у нас слишком высокий запас прочности на сетях операторов и можно безболезненно сокращать инвестиции в оборудование. Нельзя! Мы не можем себе позволить подобные отключения, а значит, нужно продолжать развивать телеком в том же объеме, что и раньше.
Для российского пользователя сбой такого масштаба и для такого количества людей невообразим, тем более повторяющийся. Отдельные сбои, которые приводят к частичной неработоспособности той или иной сети в течение нескольких часов, — это форс-мажор, который разбирается на всех уровнях, и такое случается крайне редко. Но это у нас, в Канаде все несколько иначе.
LNovosilcev, поселение Московское(м.Румянцево) VS Канада ?
😤