Билайн модернизировал ЦОД в Ярославле и представил Beeline Cloud 2.0

Всем привет.

Перед майскими праздниками билайн организовал пресс-тур, чтобы показать журналистам Центр обработки данных (ЦОД) в Ярославле. В этом материале расскажу, зачем нужен ЦОД, как он устроен и в честь чего билайн решил организовать экскурсию.

Table of Contents

• Зачем нужен ЦОД
• Почему Ярославль
• Как устроен ЦОД
• Заключение

Зачем нужен ЦОД

Повод для пресс-тура был весомый: билайн в очередной раз модернизировал ЦОД. Говорю «в очередной», потому что в случае с ЦОД апгрейд — это постоянный процесс, так что подобные пресс-туры можно, наверное, хоть каждый квартал делать. Однако для новостных сводок готовят весомые цифры. Например, в августе 2023 года билайн хвастался тем, что нарастил мощность в 6 раз. А в этот раз рассказали, что модернизировали ЦОД на предмет отказоустойчивости и создали систему георезервирования, разместив узлы сети в разных модулях ЦОД. Или, говоря проще, разложили яйца по разным корзинам.

Аббревиатура ЦОД звучит внушительно, но если говорить примитивно, то это просто помещение, в котором находятся стойки с серверами. От обычной серверной ЦОД отличается уровнем организации. Все устроено так, чтобы серверы работали в идеальных условиях и никакие внешние факторы не могли повлиять на их производительность: даже если во всей области отключат электричество, то ЦОД продолжит работать как ни в чем не бывало.

Операторы связи уже давно превратились в продвинутых интернет-провайдеров, которые, помимо услуг мобильного интернета, создают для своих клиентов полноценный цифровой ландшафт.

Цифровой ландшафт — это метафорическое понятие, которое включает в себя все, что связано с цифровизацией: от интернета и мобильных приложений до облачных вычислений, ИИ и интернета вещей.

Билайн не исключение. Оператор, помимо организации мобильной связи для клиентов, предлагает ещё множество услуг, нацеленных на бизнес-клиентов, которым нужна продвинутая облачная инфраструктура.

Например, у билайна есть облачная платформа Beeline Cloud, которую обновили до версии 2.0. Ключевой технологией Beeline Cloud 2.0, которую сам оператор называет «мозгом платформы», является VEGA. Она объединяет различные среды виртуализации (OpenStack, VMware и другие) в единую управляемую платформу.

В итоге Beeline Cloud 2.0 предлагает:

• единое управление мультивиртуализацией через VEGA-оркестратор;
• доступ к IaaS- и PaaS-сервисам (виртуальные машины, базы данных, Kubernetes, DevOps-инструменты и др.);
• оптимизацию инфраструктурных ресурсов и снижение затрат;
• быстрый запуск и масштабирование продуктов через инструменты самообслуживания;
• готовность к внедрению GenAI и современных подходов к разработке;
• кибербезопасность корпоративного уровня с соблюдением российских стандартов.

Пока что Beeline Cloud 2.0 работает в режиме закрытого бета-теста. Но уже в ближайшее время оператор начнёт продавать услугу.

Почему Ярославль

По словам билайна, ярославский ЦОД играет роль ключевого. Это удивительно, так как я, например, думал, что у нас традиционно все самое важное находится в Москве. И, видимо, не только я один. Антон Рубенчик, вице-президент по ИТ билайна, рассказал, что многие заказчики, которые покупают мощности у компании, просят, чтобы их серверы находились непременно в Москве. Мол, иначе задержки на сети будут критичными. Да и в случае чего можно взять и быстро доехать до сервера. Но по факту никто не ездит, потому что нет смысла: в ЦОД работают свои инженеры, которые быстрее разберутся с проблемой, так как лучше знают устройство инфраструктуры. А вопрос задержек на сети решается оптимизацией софта.

В текущих условиях на первое место выходит не география, а цены на электричество и надежность, потому что потребности в электроэнергии постоянно растут, аварии электросетей случаются регулярно. Думаю, вы читали новости о том, как в США Microsoft и Amazon присматриваются к идее создания собственных мини-АЭС для питания собственных дата-центров. На встрече в шутку спросили у билайна, не планирует ли оператор что-то подобное, и получили серьёзный ответ, что пока что потребности нет, но, мол, вполне вероятно, что когда-нибудь это может стать повсеместной практикой.

Ну и напоследок — ещё одна причина, почему ЦОД находится в Ярославле. Летом в Ярославле прохладнее, чем в Москве, а в ЦОД система охлаждения, которая берет воздух с улицы.

Как устроен ЦОД

Выглядит билайновский ЦОД футуристично и необычно. Здание представляет собой почти правильный шестиугольник, окольцованный металлическим ободом с колоннами.

Вблизи ЦОД выглядит ещё лучше: необычная геометрия создает игру света. Приятно, что оператор не стал экономить, а постарался сделать что-то красивое и необычное. Ведь серверам все равно, где стоять, а окружающий пейзаж, состоящий в основном из типичных «коробок», не провоцирует на творчество. Да и в целом кажется, что операторы, когда строят ЦОД, не задумываются над эстетикой.

В основном ЦОД похожи на обычные бизнес-центры. Подобным образом выглядит ЦОД, который МТС открыл три года назад в Новосибирске. Впрочем, под Петербургом у того же МТС центр 2020 года покрасивее. Можно было бы сказать, что билайн задает тренды. Но, к сожалению, нет. Перед билайновским ЦОД стоит памятный камень, сообщающий, что центр построили в далеком 2012 году. А было бы классно, если бы операторы, помимо функциональности, задумывались бы ещё и об эстетической стороне дела. Красивое здание и радует окружающих, и на работу в него ходить приятнее.

В фойе находится план-схема устройства. ЦОД состоит из:

• модулей с серверами
• офисной части с персоналом
• системы охлаждения
• двух зданий с дизель-генераторами
• двух бункеров по 30 тонн топлива каждый
• проходной с охранником

Система охлаждения и очистки воздуха устроена любопытно. Если на улице холодно, то она, говоря просто, работает как обычный кулер. Если температура повышается, то система берет воздух с улицы, подмешивает в него охлажденный воздух, доводя до нужной температуры, и после этого отправляет в серверную. Ну а если на улице жара, то «кондиционеры» уже работают на полную.

С фронтальной части ЦОД стеклянный. Но на тыльной стороне находятся воздухозаборники.

Система охлаждения похожа на произведение искусства. В прямом смысле: выглядит очень красиво. Многочисленные трубы разного размера изящно изгибаются. Как я понимаю, система охлаждения в ЦОД итальянская. Причем довольно новая: там и сям встречаются наклейки со спецификациями, на которых указан год производства.

Вот так выглядит один из внутренних модулей охлаждения. Стоят шкафы, на каждом из которых дисплейчик, где отображаются настройки (температура, уровень влажности).

Чуть выше я уже показывал серверную. Но там все немного интереснее. Серверы находятся внутри модулей охлаждения, куда поступает холодный воздух. А в коридор, в котором мы стояли, серверы выдувают отработанный теплый воздух.

Рядом с ЦОД стоят два больших здания, в которых находятся немецкие дизель-генераторы. В случае отключения электроэнергии они мгновенно способны взять на себя питание. Я попытался выяснить, а сильно ли пахнет выхлопными газами, когда ЦОД переходит на дизель. В ответ мне сказали, что рядом с ЦОД находится фармакологический завод, который крайне требователен к качеству воздуха. И вот фармзавод не жалуется.

Рядом с каждым из зданий с дизель-генераторами находится по отдельному бункеру для топлива. Если я правильно услышал, то бункер рассчитан на 30 тонн топлива и этого хватит, чтобы питать ЦОД 12 часов. Разумеется, если электричество так и не включится, то при регулярной дозаправке ЦОД может и больше времени работать, используя генераторы.

После технической части нам показали, как устроена офисная зона. Билайн предлагает гибридный формат работы, поэтому людей в нем было немного. В ЦОД на стенах и в качестве скринсейверов на мониторах крутится совет, что если хочешь что-то сказать про билайн в соцсетях, то сначала проконсультируйся с отделом персонала.

Главная офисная часть ЦОД представляет собой гигантский экран, на котором сотрудники видят состояние инфраструктуры билайна. Вблизи нам снимать не разрешили. Хотя, по-моему, ничего секретного там нет. По сути, это гигантский дашборд, на котором видно распределение нагрузки.

А вот в туалете разрешили снимать все, что душа пожелает. Ну я и воспользовался. Там все очень красиво: сушилки Dyson, веселые надписи на зеркалах, на кафеле нарисованы люки.

Заключение

ЦОД билайна, безусловно, впечатляет: смотришь и проникаешься технологичностью бизнеса. Плюс попутно я узнал, что, оказывается, система охлаждения в ЦОД итальянская, дизель-генераторы немецкие, серверы иностранные, а вот система безопасности, блокирующая все двери, русская. Кто бы мог подумать, что в Италии делают холодильное оборудование для серверов. Интересно, кто из операторов сделает полностью отечественный ЦОД с серверами Yadro. Вероятно, этого придется подождать. Как я понимаю, основная причина — это цены. А вот отечественные базовые станции уже с нами. Так, на встрече билайн поделился, что в этом году уже постараются установить (если получат, а получить должны) первую тысячу отечественных базовых станций (скорость в сети LTE — 75 Мбит/с).