Маршрутизатор Juniper MX960

Стаття допоможе розібратися в обладнанні маршрутизаторів Juniper серії MX 240, 480, 960 та новіших моделей MX2020. На Хостингу Україна використовується два маршрутизатори MX960 та один MX480, тому для розгляду візьмемо модель MX960.

Перевагою маршрутизаторів Juniper серії MX є ліцензування базових функцій, а також зворотна сумісність плат розширення зі старими версіями обладнання. Це дозволяє модифікувати старі маршрутизатори, додаючи в них нові плати, або, навпаки — використовуючи старі плати в нових маршрутизаторах.

Маршрутизатор Juniper MX960 займає в серверній шафі 16U та важить 68 кг без плат розширення. Заповнена модулями та платами вага маршрутизатора може досягати 150 кг.

Модулі

Маршрутизатори Juniper MX240, MX480 та MX960 побудовані за модульною схемою. Усі компоненти підключаються до центральної шини: блоки живлення, вентилятори та модулі. У маршрутизатори MX встановлюються дві плати керування Route Engine і додатково в залежності від моделі додаються 2 (MX240), 6 (MX480) та 12 модулів (MX960). Модулі можна розділити на такі види:

• Інтерфейсні модулі — плати з мережевими інтерфейсами, що підтримують швидкість від 1 до 400 Gbps.
• Модулі, які призначені для підключення інших модулів і є додатковим прошарком. Наприклад, SCB-карти, в які необхідно встановити Route Engine. Або MPC3E, в які встановлюється кілька плат із портами 40G або 100G.
• Допоміжні модулі, що розширюють функціонал маршрутизатора, при цьому кабелі до них не підключаються. Наприклад, MS-MPC, MS-DPC, які дозволяють знімати SFlow та боротися з атаками.

На фотографії нижче зліва направо встановлені модулі:

1. Порожній слот із заглушкою.
2. Лінійна картка 4 x 10G.
3. Лінійна картка 32 x 10G.
4. Лінійна картка 4 x 10G.
5. Порожній слот.
6. MS-DPC (для активації функцій SFlow та захисту від DDoS, див. опис нижче).
7. SCB-MX із встановленим у нього Route Engine.
8. SCB-MX без резервного модуля Route Engine. Є в наявності, його тестують в іншому маршрутизаторі.
9. Порожній слот.
10. Порожній слот.
11. MX-MPC-3E-3D із встановленими двома платами, у кожній із яких інтерфейси 2 x 40G.
12. MX-MPC-3E-3D із встановленими двома платами, у кожній із яких інтерфейси 2 x 40G.
13. Лінійна картка 4 x 10G.
14. Порожній слот.

Центральна шина Juniper MX960 Midplane

Центральна шина, яка називається в документації midplane і відображається в конфігурації як backplane, використовується для об’єднання всіх компонентів системи, обміну даними між платами на швидкості до 800 Gbps та отримання електроживлення. Backplane буває двох типів — звичайний і вдосконалений. Enhanced — це нова модель бекплейну з пропускною здатністю 1.5 Tbps. Центральна шина — це єдина частина маршрутизатора, яка не дублюється, підвищена надійність на ній забезпечується дублюванням доріжок і підключень до плат. Враховуючи, що на цій платі немає нічого, крім доріжок та конекторів, то поломка може бути лише від фізичної дії.

Блоки живлення

Чотири блоки живлення встановлюються ззаду маршрутизатора і нумеруються ліворуч від 0 до 3 (якщо дивитися на встановлені блоки живлення). При використанні стандартних блоків живлення для роботи маршрутизатора знадобиться щонайменше 3 працюючі блоки. При використанні посилених блоків живлення потужністю 4.1 кВт достатньо двох працюючих блоків. Це збільшує надійність системи, але необхідно врахувати той факт, що працюючі блоки живлення повинні перебувати в сусідніх комірках. Коли ставите маршрутизатор у дата-центрі, який забезпечує два плечі живлення, важливо правильно підключити блоки живлення, підключивши 0 і 1 блок до першого введення і 2 і 3 — до другого. Маршрутизатор не працюватиме, якщо живлення подавати лише на 0 та 2 або 1 та 3 блоки живлення. Зверніть увагу, що деякі плати працюють тільки з посиленими блоками живлення.

У 2023 році під час роботи з електрообладнанням доводилося відключати одну з ліній живлення, яку заздалегідь розвантажили. Але не зважили на правильність підключення блоків живлення, через що маршрутизатор вимкнувся. Добре маршрутизатор працював у парі з іншим і це не позначилося на роботі мережі.

Система охолодження

Охолодження здійснюється двома блоками вентиляторів, один із яких знаходиться внизу, другий — вгорі. Блоки вентиляторів бувають звичайні та підвищеної потужності. У звичайному блоці встановлено 6 вентиляторів, у блоці вентиляторів підвищеної потужності — 12. При встановленні в маршрутизатор мережевих карток високої продуктивності (з портами 40 і 100 Gbps) варто враховувати вимоги до охолодження плати, оскільки вона може не запуститися через те, що їй потрібний посилений вентиляторний блок або просто видаватиме помилку.

На фотографії видно два посилені модулі з вентиляторами FFANTRAY-MX960-HC перед встановленням у маршрутизатор.

Надійність

Маршрутизатор побудований так, що вихід із ладу будь-якого компонента не призводить до виходу з ладу інших компонентів. Так, наприклад, коли в одному слоті виходить з ладу карта, інші слоти продовжують працювати. Тому намагайтеся підключати одне оптичне з’єднання в одну плату, друге — в іншу з урахуванням надмірності каналів зв’язку. Це підвищить надійність роботи мережі.

Цю теорію ми також перевірили на своєму досвіді, коли вийшла з ладу одна з плат на 32 порти по 10G, через що вийшли з ладу деякі паритети. Завдяки тому, що у нас багато підключень, більшість клієнтів це не помітили, а ті, хто працював на паритетах, що відключилися, довелося чекати кілька хвилин, поки перебудується BGP.

За всіх плюсів надійності не варто забувати про те, що таких маршрутизаторів у провайдера має бути кілька. Тому у нас два MX960 у роботі та один MX960 — на складі.

Switch Control Board

Плати SCB є серцем маршрутизатора, які відповідають за обмін даними між платами з мережевими інтерфейсами. У ці плати встановлюються Route Engine, кількість та модель цих плат впливають на пропускну спроможність маршрутизатора. Існують 4 покоління плат SCB, які відрізняються пропускною здатністю (дані наведені для MX960): SCB-MX (2.6 Tbps), SCBE-MX (5.25 Tbps), SCBE2-MX (10.56) та SCBE3-MX (33 Tbps). Для деяких лінійних плат, наприклад MPC10E-15C-MRATE (до яких підключаються порти) для отримання максимальної продуктивності рекомендується встановлювати три SCBE3-MX.

Route Engine

Route Engine — мозок маршрутизатора, чим швидше процесор і чим більше пам’яті в Route Engine, тим більше маршрутів він може містити і швидше працюватиме під великим навантаженням. Якщо ви приймаєте Full View від кількох операторів, то, швидше за все, вам не вистачить RE з 4 Gb пам'яті. Щоб переглянути інформацію про об’єм пам’яті та модель Route Engine, виконайте команду:

MX960> show chassis routing-engine 
Routing Engine status:
  Slot 0:
    Current state                  Master
    Election priority              Master (default)
    Temperature                 31 degrees C / 87 degrees F
    CPU temperature             27 degrees C / 80 degrees F
    DRAM                      32715 MB (32768 MB installed)
    Memory utilization          11 percent
    5 sec CPU utilization:
      User                       1 percent
      Background                 0 percent
      Kernel                     3 percent
      Interrupt                  1 percent
      Idle                      96 percent
    1 min CPU utilization:
      User                       1 percent
      Background                 0 percent
      Kernel                     2 percent
      Interrupt                  1 percent
      Idle                      96 percent
    5 min CPU utilization:
      User                       1 percent
      Background                 0 percent
      Kernel                     2 percent
      Interrupt                  1 percent
      Idle                      96 percent
    15 min CPU utilization:
      User                       1 percent
      Background                 0 percent
      Kernel                     2 percent
      Interrupt                  1 percent
      Idle                      96 percent
    Model                          RE-S-1800x4
    Serial ID                      9009212414
    Start time                     2023-11-22 16:35:05 EET
    Uptime                         3 days, 2 hours, 37 minutes, 37 seconds
    Last reboot reason             Router rebooted after a normal shutdown.
    Load averages:                 1 minute   5 minute  15 minute
                                       0.17       0.22       0.17

Multiservice Dense Port Concentrator (MS-DPC)

Плата Juniper MS-DPC не має портів для підключення та використовується для аналізу та підрахунку трафіку, що проходить через інші плати. Крім цього плата використовується для stateless firewall при боротьбі з SYN, ICMP, UDP flood та ping-of-death-атаками. Більш продуктивною та сучасною платою є MS-MPC-128G. MS-DPC не підходить для фільтрації сучасних DDoS-атак, тому що при об’ємі SYN-флуду в мільйон пакетів на секунду починає гальмувати, а при об’ємі в два мільйони пакетів маршрутизатор стає недоступним. Тому цю карту ми використовуємо лише для отримання статистики про завантаження каналів. Плату MS-MPC-128G ми ще не тестували, як тільки з’явиться інформація — оновимо статтю.

Якщо стаття виявилася корисною, не забудьте зберегти посилання на неї, оскільки вона оновлюватиметься та поповнюватиметься новою інформацією.