Найбольш распаўсюджаным інструментам для маніторынгу сеткі і ліквідацыі непаладак сёння з'яўляецца Switch Port Analyzer (SPAN), таксама вядомы як люстраванне порта. Гэта дазваляе нам кантраляваць сеткавы трафік у пазапалосным рэжыме абыходу, не перашкаджаючы службам у жывой сетцы, і адпраўляе копію кантраляванага трафіку на лакальныя або аддаленыя прылады, уключаючы Sniffer, IDS або іншыя тыпы інструментаў аналізу сеткі.
Некаторыя тыповыя спосабы выкарыстання:
• Ліквідацыю сеткавых праблем шляхам адсочвання кадраў кіравання/дадзеных;
• Аналіз затрымкі і дрыгацення шляхам маніторынгу пакетаў VoIP;
• Аналіз затрымкі шляхам маніторынгу сеткавых узаемадзеянняў;
• Выяўленне анамалій шляхам маніторынгу сеткавага трафіку.
Трафік SPAN можа лакальна адлюстроўвацца на іншыя парты на той жа зыходнай прыладзе або выдалена адлюстроўвацца на іншых сеткавых прыладах, прылеглых да ўзроўню 2 зыходнай прылады (RSPAN).
Сёння мы пагаворым аб тэхналогіі аддаленага маніторынгу інтэрнэт-трафіку пад назвай ERSPAN (Encapsulated Remote Switch Port Analyzer), якая можа перадавацца праз тры ўзроўні IP. Гэта пашырэнне SPAN для Encapsulated Remote.
Асноўныя прынцыпы працы ERSPAN
Спачатку давайце паглядзім на функцыі ERSPAN:
• Копія пакета з зыходнага порта адпраўляецца на сервер прызначэння для аналізу праз Generic Routing Encapsulation (GRE). Фізічнае размяшчэнне сервера не абмежавана.
• З дапамогай функцыі вызначанага карыстальнікам поля (UDF) чыпа любое зрушэнне ад 1 да 126 байт ажыццяўляецца на аснове базавага дамена праз пашыраны спіс экспертнага ўзроўню, а ключавыя словы сеанса супастаўляюцца для рэалізацыі візуалізацыі сеансу, напрыклад, трохбаковае рукапацісканне TCP і сеанс RDMA;
• Падтрымка ўстаноўкі частаты дыскрэтызацыі;
• Падтрымка даўжыні перахопу пакетаў (Packet Slicing), зніжаючы нагрузку на мэтавы сервер.
З дапамогай гэтых функцый вы можаце зразумець, чаму сёння ERSPAN з'яўляецца важным інструментам для маніторынгу сетак у цэнтрах апрацоўкі дадзеных.
Асноўныя функцыі ERSPAN можна абагульніць у двух аспектах:
• Бачнасць сеанса: выкарыстоўвайце ERSPAN для збору ўсіх створаных новых сеансаў TCP і аддаленага прамога доступу да памяці (RDMA) на серверны сервер для адлюстравання;
• Ліквідацыя непаладак у сетцы: фіксуе сеткавы трафік для аналізу няспраўнасцей пры ўзнікненні праблемы з сеткай.
Каб зрабіць гэта, зыходная сеткавая прылада павінна адфільтраваць цікавы для карыстальніка трафік з масіўнага патоку даных, зрабіць копію і інкапсуляваць кожны кадр копіі ў спецыяльны «кантэйнер суперкадра», які нясе дастаткова дадатковай інфармацыі, каб ён мог быць правільна накіраваны на прыёмную прыладу. Больш за тое, уключыце прыёмную прыладу для здабывання і поўнага аднаўлення зыходнага кантраляванага трафіку.
Атрымальнай прыладай можа быць іншы сервер, які падтрымлівае дэкапсуляцыю пакетаў ERSPAN.
Аналіз тыпаў і фарматаў пакетаў ERSPAN
Пакеты ERSPAN інкапсулююцца з дапамогай GRE і перанакіроўваюцца ў любы адрасаваны IP-адрас праз Ethernet. У цяперашні час ERSPAN у асноўным выкарыстоўваецца ў сетках IPv4, а падтрымка IPv6 будзе неабходнай у будучыні.
Для агульнай структуры інкапсуляцыі ERSAPN наступны люстраны захоп пакетаў ICMP:
Пратакол ERSPAN развіваўся на працягу доўгага перыяду часу, і з пашырэннем яго магчымасцей было сфарміравана некалькі версій, якія называюцца "Тыпы ERSPAN". Розныя тыпы маюць розныя фарматы загалоўкаў кадраў.
Ён вызначаецца ў першым полі Version загалоўка ERSPAN:
Акрамя таго, поле "Тып пратаколу" ў загалоўку GRE таксама паказвае ўнутраны тып ERSPAN. Поле тыпу пратаколу 0x88BE паказвае ERSPAN тыпу II, а 0x22EB паказвае ERSPAN тыпу III.
1. Тып I
Кадр ERSPAN тыпу I інкапсулюе IP і GRE непасрэдна над загалоўкам зыходнага фрэйма люстэрка. Гэтая інкапсуляцыя дадае 38 байт да зыходнага кадра: 14 (MAC) + 20 (IP) + 4 (GRE). Перавага гэтага фармату ў тым, што ён мае кампактны памер загалоўка і зніжае кошт перадачы. Аднак, паколькі ён усталёўвае для палёў GRE Flag і Version значэнне 0, ён не змяшчае ніякіх пашыраных палёў, а Type I не выкарыстоўваецца шырока, таму няма неабходнасці пашыраць далей.
Фармат загалоўка GRE тыпу I выглядае наступным чынам:
2. ІІ тып
У тыпе II усе палі C, R, K, S, S, Recur, Flags і Version у загалоўку GRE маюць 0, акрамя поля S. Такім чынам, поле парадкавага нумара адлюстроўваецца ў загалоўку GRE тыпу II. Гэта значыць, тып II можа забяспечыць парадак атрымання пакетаў GRE, так што вялікая колькасць пакетаў GRE, якія не адпавядаюць парадку, не можа быць адсартаваная з-за збою сеткі.
Фармат загалоўка GRE тыпу II выглядае наступным чынам:
Акрамя таго, фармат кадра ERSPAN тыпу II дадае 8-байтавы загаловак ERSPAN паміж загалоўкам GRE і зыходным люстраным кадрам.
Фармат загалоўка ERSPAN для тыпу II выглядае наступным чынам:
Нарэшце, адразу пасля зыходнага кадра выявы знаходзіцца стандартны 4-байтны код цыклічнай залішняй праверкі Ethernet (CRC).
Варта адзначыць, што ў рэалізацыі люстраны фрэйм не ўтрымлівае поля FCS зыходнага фрэйма, замест гэтага новае значэнне CRC пералічваецца на аснове ўсяго ERSPAN. Гэта азначае, што прымаючая прылада не можа праверыць правільнасць CRC зыходнага кадра, і мы можам толькі меркаваць, што адлюстроўваюцца толькі непашкоджаныя кадры.
3. ІІІ тып
Тып III прадстаўляе большы і больш гнуткі кампазітны загаловак для разгляду ўсё больш складаных і разнастайных сцэнарыяў маніторынгу сеткі, уключаючы, але не абмяжоўваючыся імі, кіраванне сеткай, выяўленне ўварванняў, аналіз прадукцыйнасці і затрымкі і многае іншае. Гэтыя сцэны павінны ведаць усе зыходныя параметры рамы люстэрка і ўключаць тыя, якіх няма ў самой арыгінальнай раме.
Кампазітны загаловак ERSPAN тыпу III уключае абавязковы 12-байтавы загаловак і дадатковы 8-байтавы падзагаловак для пэўнай платформы.
Фармат загалоўка ERSPAN для тыпу III выглядае наступным чынам:
Зноў жа, пасля зыходнага кадра люстэрка варта 4-байт CRC.
Як відаць з фармату загалоўка тыпу III, у дадатак да захавання палёў Ver, VLAN, COS, T і ідэнтыфікатара сеансу на аснове тыпу II дадаецца шмат спецыяльных палёў, такіх як:
• BSO: выкарыстоўваецца для ўказання цэласнасці загрузкі кадраў даных, якія перадаюцца праз ERSPAN. 00 - добры кадр, 11 - дрэнны кадр, 01 - кароткі кадр, 11 - вялікі кадр;
• Пазнака часу: экспартуецца з апаратных гадзіннікаў, сінхранізаваных з сістэмным часам. Гэта 32-бітнае поле падтрымлівае не менш за 100 мікрасекунд дэталізацыі меткі часу;
• Тып кадра (P) і тып кадра (FT): першы выкарыстоўваецца, каб вызначыць, ці перадае ERSPAN кадры пратаколу Ethernet (кадры PDU), а другі выкарыстоўваецца, каб вызначыць, перадае ERSPAN кадры Ethernet або IP-пакеты.
• HW ID: унікальны ідэнтыфікатар рухавіка ERSPAN у сістэме;
• Gra (Драбністасць меткі часу): вызначае дэталізацыю меткі часу. Напрыклад, 00B прадстаўляе дэталізацыю ў 100 мікрасекунд, 01B - дэталізацыю ў 100 нанасекунд, 10B - дэталізацыю IEEE 1588, а 11B патрабуе падзагалоўкаў для канкрэтнай платформы для дасягнення больш высокай дэталізацыі.
• Platf ID супраць Platform Specific Info: поля Platf Specific Info маюць розныя фарматы і змест у залежнасці ад значэння Platf ID.
Варта адзначыць, што розныя палі загалоўкаў, якія падтрымліваюцца вышэй, можна выкарыстоўваць у звычайных праграмах ERSPAN, нават адлюстроўваючы кадры памылак або кадры BPDU, захоўваючы зыходны пакет магістралі і ідэнтыфікатар VLAN. Акрамя таго, падчас люстранога адлюстравання да кожнага кадра ERSPAN можна дадаваць ключавыя звесткі пра час і іншыя інфармацыйныя палі.
З дапамогай уласных загалоўкаў функцый ERSPAN мы можам дасягнуць больш дакладнага аналізу сеткавага трафіку, а потым проста змантаваць адпаведны ACL у працэсе ERSPAN, каб ён адпавядаў сеткаваму трафіку, які нас цікавіць.
ERSPAN рэалізуе бачнасць сесіі RDMA
Давайце возьмем прыклад выкарыстання тэхналогіі ERSPAN для дасягнення візуалізацыі сеансу RDMA ў сцэнарыі RDMA:
RDMA: Аддалены прамы доступ да памяці дазваляе сеткаваму адаптару сервера A чытаць і запісваць памяць сервера B з дапамогай інтэлектуальных сеткавых інтэрфейсных карт (inics) і камутатараў, дасягаючы высокай прапускной здольнасці, нізкай затрымкі і нізкага выкарыстання рэсурсаў. Ён шырока выкарыстоўваецца ў сцэнарыях вялікіх даных і высокапрадукцыйных размеркаваных сховішчаў.
RoCEv2: RDMA праз канвергентны Ethernet, версія 2. Даныя RDMA інкапсулююцца ў загалоўку UDP. Нумар порта прызначэння - 4791.
Штодзённая эксплуатацыя і тэхнічнае абслугоўванне RDMA патрабуе збору вялікай колькасці даных, якія выкарыстоўваюцца для збору штодзённых апорных ліній узроўню вады і ненармальных сігналаў трывогі, а таксама асновы для выяўлення ненармальных праблем. У спалучэнні з ERSPAN можна хутка захапіць масіўныя даныя для атрымання мікрасекундных даных якасці перасылкі і стану ўзаемадзеяння пратакола камутацыйнага чыпа. З дапамогай статыстыкі і аналізу даных можна атрымаць ацэнку і прагноз якасці скразной перасылкі RDMA.
Каб дасягнуць візуалізацыі сеанса RDAM, нам патрэбны ERSPAN для супадзення ключавых слоў для сеансаў узаемадзеяння RDMA пры адлюстраванні трафіку, і нам трэба выкарыстоўваць пашыраны спіс экспертаў.
Вызначэнне палёў пашыранага спісу на ўзроўні эксперта:
UDF складаецца з пяці палёў: ключавое слова UDF, базавае поле, поле зрушэння, поле значэння і поле маскі. Абмежавана ёмістасцю апаратных запісаў, у агульнай складанасці можна выкарыстоўваць восем UDF. Адзін UDF можа адпавядаць максімум двум байтам.
• Ключавое слова UDF: UDF1... UDF8 Змяшчае восем ключавых слоў адпаведнага дамена UDF
• Базавае поле: вызначае пачатковую пазіцыю поля супадзення UDF. Наступнае
L4_header (дастасавальна да RG-S6520-64CQ)
L5_header (для RG-S6510-48VS8Cq)
• Зрушэнне: паказвае зрушэнне на аснове базавага поля. Значэнне вагаецца ад 0 да 126
• Поле значэння: адпаведнае значэнне. Яе можна выкарыстоўваць разам з полем маскі для канфігурацыі канкрэтнага значэння, якое павінна быць супастаўлена. Дапушчальны біт - два байты
• Поле маскі: маска, сапраўдны біт складае два байта
(Дадаць: калі ў адным і тым жа полі супадзення UDF выкарыстоўваецца некалькі запісаў, палі базы і зрушэння павінны быць аднолькавымі.)
Два ключавыя пакеты, звязаныя са станам сеанса RDMA, - гэта пакет апавяшчэння аб перагрузцы (CNP) і адмоўнае пацверджанне (NAK):
Першае генеруецца прымачом RDMA пасля атрымання паведамлення ECN, адпраўленага камутатарам (калі буфер eout дасягае парогавага значэння), якое змяшчае інфармацыю аб патоку або QP, якія выклікаюць перагрузку. Апошняе выкарыстоўваецца для таго, каб паказаць, што перадача RDMA мае паведамленне аб страце пакета.
Давайце паглядзім, як супаставіць гэтыя два паведамленні з дапамогай пашыранага спісу экспертнага ўзроўню:
экспертны спіс доступу пашыраны rdma
дазвол udp любы любы любы любы экв. 4791udf 1 l4_header 8 0x8100 0xFF00(Адпавядае RG-S6520-64CQ)
дазвол udp любы любы любы любы экв. 4791udf 1 l5_header 0 0x8100 0xFF00(Адпавядае RG-S6510-48VS8CQ)
экспертны спіс доступу пашыраны rdma
дазвол udp любы любы любы любы экв. 4791udf 1 l4_header 8 0x1100 0xFF00 udf 2 l4_header 20 0x6000 0xFF00(Адпавядае RG-S6520-64CQ)
дазвол udp любы любы любы любы экв. 4791udf 1 l5_header 0 0x1100 0xFF00 udf 2 l5_header 12 0x6000 0xFF00(Адпавядае RG-S6510-48VS8CQ)
У якасці апошняга кроку вы можаце візуалізаваць сеанс RDMA, усталяваўшы спіс пашырэнняў экспертаў у адпаведны працэс ERSPAN.
Пішыце ў апошнім
ERSPAN з'яўляецца адным з незаменных інструментаў у сучасных сетках цэнтраў апрацоўкі дадзеных, якія становяцца ўсё больш буйнымі, сеткавым трафікам становіцца ўсё больш складаным, і патрабаваннямі да эксплуатацыі і абслугоўвання сеткі становяцца ўсё больш дасканалымі.
З павелічэннем ступені аўтаматызацыі эксплуатацыі і абслугоўвання такія тэхналогіі, як Netconf, RESTconf і gRPC, папулярныя сярод студэнтаў эксплуатацыі і абслугоўвання ў сеткавай аўтаматычнай эксплуатацыі і абслугоўванні. Выкарыстанне gRPC у якасці базавага пратаколу для адпраўкі зваротнага люстранога трафіку таксама мае шмат пераваг. Напрыклад, заснаваны на пратаколе HTTP/2, ён можа падтрымліваць механізм перадачы струменевай перадачы пры тым жа злучэнні. З дапамогай кадавання ProtoBuf памер інфармацыі памяншаецца ўдвая ў параўнанні з фарматам JSON, што робіць перадачу даных больш хуткай і эфектыўнай. Толькі ўявіце, калі вы выкарыстоўваеце ERSPAN для адлюстравання зацікаўленых патокаў, а затым адпраўляеце іх на сервер аналізу на gRPC, ці значна гэта палепшыць магчымасці і эфектыўнасць аўтаматычнай працы і абслугоўвання сеткі?
Час публікацыі: 10 мая 2022 г
