Статья поможет разобраться в оборудовании маршрутизаторов Juniper серии MX 240, 480, 960 и более новых моделей MX2020. На Хостинге Украина используется два маршрутизатора MX960 и один MX480, поэтому для рассмотрения возьмём модель MX960.

Преимуществом маршрутизаторов Juniper серии MX является отсутствие лицензирования базовых функций, а также обратная совместимость плат расширения со старыми версиями оборудования. Это позволяет модифицировать старые маршрутизаторы, добавляя в них новые платы, или наоборот — используя старые платы в новых маршрутизаторах.

Маршрутизатор Juniper MX960 занимает в серверном шкафу 16U и весит 68 кг без плат расширения. Заполненный модулями и платами вес маршрутизатора может достигать 150 кг.

Модули

Маршрутизаторы Juniper MX240, MX480 и MX960 построены по модульной схеме. Все компоненты подключаются к центральной шине: блоки питания, вентиляторы и модули. В маршрутизаторы MX устанавливаются две платы управления Route Engine и дополнительно в зависимости от модели добавляются 2 (MX240), 6 (MX480) и 12 модулей (MX960). Модули можно разделить на следующие виды:

• Интерфейсные модули — платы с сетевыми интерфейсами, поддерживающими скорости от 1 до 400 Gbps.
• Модули, которые предназначены для подключения других модулей и лишь являются дополнительной прослойкой. Например, SCB-карты, в которые необходимо установить Route Engine. Или MPC3E, в которые устанавливается несколько плат с портами 40G или 100G.
• Вспомогательные модули, которые расширяют функционал маршрутизатора, при этом кабели к ним не подключаются. Например, MS-MPC, MS-DPC, которые позволяют снимать SFlow и бороться с атаками.

На фотографии ниже слева направо установлены модули:

1. Пустой слот с заглушкой.
2. Линейная карта 4 x 10G.
3. Линейная карта 32 x 10G.
4. Линейная карта 4 x 10G.
5. Пустой слот.
6. MS-DPC (для активации функций SFlow и защиты от DDoS, см. описание ниже).
7. SCB-MX с установленным в него Route Engine.
8. SCB-MX без установленного резервного модуля Route Engine. Есть в наличии, его тестируют в другом маршрутизаторе.
9. Пустой слот.
10. Пустой слот.
11. MX-MPC-3E-3D с установленными двумя платами, в каждой из которых интерфейсы 2 x 40G.
12. MX-MPC-3E-3D с установленными двумя платами, в каждой из которых интерфейсы 2 x 40G.
13. Линейная карта 4 x 10G.
14. Пустой слот.

Центральная шина Juniper MX960 Midplane

Центральная шина, называемая в документации midplane и отображаемая в конфигурации как backplane, используется для объединения всех компонентов системы, обмена данными между платами на скорости до 800 Gbps и получения электропитания. Backplane бывает двух типов — обычный и enhanced. Enhanced — это более новая модель бекплейна с пропускной способностью в 1.5 Tbps. Центральная шина — это единственная часть маршрутизатора, которая не дублируется, повышенная надежность на ней обеспечивается дублированием дорожек и подключений к платам. Учитывая, что на этой плате нет ничего, кроме дорожек и коннекторов, то поломка может быть только от физического воздействия.

Блоки питания

Четыре блока питания устанавливаются сзади маршрутизатора и нумеруются слева направо от 0 до 3 (если смотреть на установленные блоки питания). При использовании стандартных блоков питания для работы маршрутизатора потребуется минимум 3 работающих блока. При использовании усиленных блоков питания, мощностью 4.1 кВт достаточно двух работающих блоков. Это увеличивает надёжность системы, но необходимо учесть тот факт, что работающие блоки питания должны находится в соседних ячейках. Когда ставите маршрутизатор в дата-центре, который обеспечивает два плеча питания, важно подключить правильно блоки питания, подключив 0 и 1 блок к первому вводу и 2 и 3 — ко второму. Маршрутизатор не будет работать, если питание подавать только на 0 и 2 или 1 и 3 блоки питания. Обратите внимание на то, что некоторые платы работают только с усиленными блоками питания.

В 2023 году при работе с электрооборудованием приходилось отключать одну из линий питания, которую заранее разгрузили. Но не учли правильность подключения блоков питания, из-за чего маршрутизатор отключился. Благо маршрутизатор работал в паре с другим и это не сказалось на работе сети.

Система охлаждения

Охлаждение осуществляется двумя блоками вентиляторов, один из которых находится внизу, второй — вверху. Блоки вентиляторов бывают обычные и повышенной мощности. В обычном блоке установлено 6 вентиляторов, в блоке вентиляторов повышенной мощности — 12. При установке в маршрутизатор сетевых карт высокой производительности (с портами 40 и 100 Gbps) стоит учитывать требования к охлаждению платы, так как она может не запуститься из-за того, что ей требуется усиленный вентиляторный блок или просто будет выдавать ошибку.

На фотографии видно два усиленных модуля с вентиляторами FFANTRAY-MX960-HC перед установкой в маршрутизатор.

Надежность

Маршрутизатор построен так, что выход из строя любого компонента не приводит к выходу из строя других компонентов. Так, например, когда в одном слоте выходит из строя карта, то остальные слоты продолжают работать. Поэтому старайтесь подключать одно оптическое соединение в одну плату, второе — в другую с учётом избыточности каналов связи. Это повысит надёжность работы сети.

Эту теорию мы также проверили на своем опыте, когда вышла из строя одна из плат на 32 порта по 10G из-за чего вышли из строя некоторые паритеты. Благодаря тому, что у нас много подключений, большинство клиентов это не заметили, а те, кто работал на отключившихся паритетах, пришлось ждать несколько минут, пока перестроится BGP.

При всех плюсах надёжности не стоит забывать о том, что таких маршрутизаторов у провайдера должно быть несколько. Поэтому у нас два MX960 в работе и один MX960 — на складе. 

Switch Control Board

Платы SCB являются сердцем маршрутизатора, которые отвечают за обмен данными между платами с сетевыми интерфейсами. В эти платы устанавливаются Route Engine, количество и модель этих плат влияют на пропускную способность маршрутизатора. Существуют 4 поколения плат SCB, которые отличаются пропускной способностью (данные приведены для MX960): SCB-MX (2.6 Tbps), SCBE-MX (5.25 Tbps), SCBE2-MX (10.56) и SCBE3-MX (33 Tbps). Для некоторых линейных плат, например MPC10E-15C-MRATE (в которые подключаются порты) для получения максимальной производительности рекомендуется устанавливать три SCBE3-MX.

Route Engine

Route Engine — мозг маршрутизатора, чем быстрей процессор и чем больше памяти в Route Engine, тем больше маршрутов он может содержать и быстрей будет работать под большой нагрузкой. Если вы принимаете Full View от нескольких операторов, то скорее всего вам не хватит RE с 4 Gb памяти. Чтобы просмотреть информацию об объёме памяти и модели Route Engine, выполните команду:

MX960> show chassis routing-engine 
Routing Engine status:
  Slot 0:
    Current state                  Master
    Election priority              Master (default)
    Temperature                 31 degrees C / 87 degrees F
    CPU temperature             27 degrees C / 80 degrees F
    DRAM                      32715 MB (32768 MB installed)
    Memory utilization          11 percent
    5 sec CPU utilization:
      User                       1 percent
      Background                 0 percent
      Kernel                     3 percent
      Interrupt                  1 percent
      Idle                      96 percent
    1 min CPU utilization:
      User                       1 percent
      Background                 0 percent
      Kernel                     2 percent
      Interrupt                  1 percent
      Idle                      96 percent
    5 min CPU utilization:
      User                       1 percent
      Background                 0 percent
      Kernel                     2 percent
      Interrupt                  1 percent
      Idle                      96 percent
    15 min CPU utilization:
      User                       1 percent
      Background                 0 percent
      Kernel                     2 percent
      Interrupt                  1 percent
      Idle                      96 percent
    Model                          RE-S-1800x4
    Serial ID                      9009212414
    Start time                     2023-11-22 16:35:05 EET
    Uptime                         3 days, 2 hours, 37 minutes, 37 seconds
    Last reboot reason             Router rebooted after a normal shutdown.
    Load averages:                 1 minute   5 minute  15 minute
                                       0.17       0.22       0.17

Multiservice Dense Port Concentrator (MS-DPC)

Плата Juniper MS-DPC не имеет портов для подключения и используется для анализа и подсчёта трафика, проходящего через другие платы. Кроме этого плата используется для stateless firewall при борьбе с SYN, ICMP, UDP flood и ping-of-death-атаками. Более производительной и современной платой является MS-MPC-128G. MS-DPC не подходит для фильтрации современных DDoS-атак, так как при объёме SYN-флуда в миллион пакетов в секунду начинает тормозить, а при объеме в два миллиона пакетов маршрутизатор становится недоступным. Поэтому эту карту мы используем только для получения статистики о загрузке каналов. Плату MS-MPC-128G мы еще не тестировали, как только появится информация — обновим статью.

Если статья оказалась полезной, не забудьте сохранить ссылку на неё, так как она будет обновляться и пополняться новой информацией.