Найбольш распаўсюджаным інструментам для маніторынгу сеткі і ліквідацыі непаладак сёння з'яўляецца аналізатар партоў камутатара (SPAN), таксама вядомы як люстраное адлюстраванне партоў. Ён дазваляе нам кантраляваць сеткавы трафік у рэжыме абыходу пазачастачнага рэжыму, не ўмешваючыся ў службы ў актыўнай сетцы, і адпраўляе копію кантраляванага трафіку на лакальныя або аддаленыя прылады, у тым ліку Sniffer, IDS або іншыя тыпы інструментаў аналізу сеткі.
Некаторыя тыповыя спосабы выкарыстання:
• Ухіленне праблем у сетцы шляхам адсочвання кадраў кіравання/дадзеных;
• Аналіз затрымкі і ваганняў сігналу шляхам маніторынгу VoIP-пакетаў;
• Аналізаваць затрымку шляхам маніторынгу сеткавых узаемадзеянняў;
• Выяўляць анамаліі шляхам маніторынгу сеткавага трафіку.
Трафік SPAN можа лакальна адлюстроўвацца на іншыя парты на той жа прыладзе-крыніцы або дыстанцыйна адлюстроўвацца на іншыя сеткавыя прылады, якія знаходзяцца побач з узроўнем 2 прылады-крыніцы (RSPAN).
Сёння мы пагаворым пра тэхналогію дыстанцыйнага маніторынгу інтэрнэт-трафіку пад назвай ERSPAN (Encapsulated Remote Switch Port Analyzer), якая можа перадавацца праз тры ўзроўні IP-адрасоў. Гэта пашырэнне SPAN для Encapsulated Remote.
Асноўныя прынцыпы працы ERSPAN
Спачатку давайце разгледзім асаблівасці ERSPAN:
• Копія пакета з порта крыніцы адпраўляецца на сервер прызначэння для аналізу праз Generic Routing Encapsulation (GRE). Фізічнае месцазнаходжанне сервера не абмежавана.
• З дапамогай функцыі карыстальніцкага поля (UDF) чыпа любы зрушэнне ад 1 да 126 байт выконваецца на аснове базавага дамена праз пашыраны спіс экспертнага ўзроўню, а ключавыя словы сесіі супастаўляюцца для рэалізацыі візуалізацыі сесіі, напрыклад, трохбаковага падпісвання TCP і сесіі RDMA;
• Падтрымка налады частаты дыскрэтызацыі;
• Падтрымлівае даўжыню перахопу пакетаў (разразанне пакетаў), што зніжае нагрузку на мэтавы сервер.
Дзякуючы гэтым функцыям вы можаце зразумець, чаму ERSPAN з'яўляецца важным інструментам для маніторынгу сетак у цэнтрах апрацоўкі дадзеных сёння.
Асноўныя функцыі ERSPAN можна абагульніць у двух аспектах:
• Бачнасць сесіі: выкарыстоўвайце ERSPAN для збору ўсіх створаных новых сесій TCP і аддаленага прамога доступу да памяці (RDMA) на серверы для адлюстравання;
• Ухіленне непаладак у сетцы: захоплівае сеткавы трафік для аналізу няспраўнасцей пры ўзнікненні праблемы з сеткай.
Для гэтага зыходная сеткавая прылада павінна адфільтраваць з велізарнага патоку дадзеных трафік, які цікавіць карыстальніка, зрабіць копію і інкапсуляваць кожны кадр копіі ў спецыяльны «суперкадр-кантэйнер», які змяшчае дастатковую колькасць дадатковай інфармацыі, каб яе можна было правільна накіраваць на прыладу-прымач. Акрамя таго, дазволіць прыладзе-прымачу здабываць і цалкам аднаўляць зыходны кантраляваны трафік.
Прыёмнай прыладай можа быць іншы сервер, які падтрымлівае дэкапсуляцыю пакетаў ERSPAN.
Аналіз тыпаў і фарматаў пакетаў ERSPAN
Пакеты ERSPAN інкапсулююцца з дапамогай GRE і перасылаюцца любому IP-адрасаванаму прызначэнню праз Ethernet. ERSPAN у цяперашні час у асноўным выкарыстоўваецца ў сетках IPv4, і падтрымка IPv6 будзе абавязковай у будучыні.
Для агульнай структуры інкапсуляцыі ERSAPN ніжэй прыведзены люстраны захоп ICMP-пакетаў:
Пратакол ERSPAN развіваўся на працягу доўгага часу, і з пашырэннем яго магчымасцей было сфарміравана некалькі версій, якія называюцца «тыпамі ERSPAN». Розныя тыпы маюць розныя фарматы загалоўкаў кадраў.
Яна вызначаецца ў першым полі Version загалоўка ERSPAN:
Акрамя таго, поле «Тып пратакола» ў загалоўку GRE таксама паказвае ўнутраны тып ERSPAN. Поле «Тып пратакола» 0x88BE паказвае ERSPAN тыпу II, а 0x22EB — ERSPAN тыпу III.
1. Тып I
Кадр ERSPAN тыпу I інкапсулюе IP і GRE непасрэдна паверх загалоўка зыходнага кадра люстранога тыпу. Гэтая інкапсуляцыя дадае 38 байтаў да зыходнага кадра: 14 (MAC) + 20 (IP) + 4 (GRE). Перавага гэтага фармату заключаецца ў кампактным памеры загалоўка і зніжэнні кошту перадачы. Аднак, паколькі палі GRE Flag і Version ён усталёўвае ў 0, ён не ўтрымлівае ніякіх пашыраных палёў, і тып I не выкарыстоўваецца шырока, таму няма неабходнасці пашыраць далей.
Фармат загалоўка GRE тыпу I наступны:
2. Тып II
У тыпе II палі C, R, K, S, S, Recur, Flags і Version у загалоўку GRE роўныя 0, акрамя поля S. Такім чынам, поле Sequence Number адлюстроўваецца ў загалоўку GRE тыпу II. Гэта значыць, тып II можа гарантаваць парадак атрымання пакетаў GRE, так што вялікая колькасць пакетаў GRE, якія знаходзяцца па-за парадкам, не можа быць адсартавана з-за збою ў сетцы.
Фармат загалоўка GRE тыпу II наступны:
Акрамя таго, фармат кадра ERSPAN тыпу II дадае 8-байтавы загаловак ERSPAN паміж загалоўкам GRE і зыходным люстраным кадрам.
Фармат загалоўка ERSPAN для тыпу II наступны:
Нарэшце, адразу пасля зыходнага кадра выявы, ідзе стандартны 4-байтавы код цыклічнай праверкі надмернасці (CRC) Ethernet.
Варта адзначыць, што ў рэалізацыі люстраны кадр не ўтрымлівае поле FCS зыходнага кадра, замест гэтага новае значэнне CRC пералічваецца на аснове ўсяго ERSPAN. Гэта азначае, што прыёмная прылада не можа праверыць правільнасць CRC зыходнага кадра, і мы можам толькі выказаць здагадку, што адлюстроўваюцца толькі непашкоджаныя кадры.
3. Тып III
Тып III уводзіць большы і больш гнуткі састаўны загаловак для вырашэння ўсё больш складаных і разнастайных сцэнарыяў маніторынгу сеткі, уключаючы, але не абмяжоўваючыся, кіраванне сеткай, выяўленне ўварванняў, аналіз прадукцыйнасці і затрымак і многае іншае. Гэтыя сцэны павінны ведаць усе зыходныя параметры кадра люстранога адлюстравання і ўключаць тыя, якіх няма ў самым зыходным кадры.
Кампазітны загаловак ERSPAN тыпу III уключае абавязковы 12-байтавы загаловак і дадатковы 8-байтавы падзагаловак, спецыфічны для платформы.
Фармат загалоўка ERSPAN для тыпу III наступны:
Зноў жа, пасля зыходнага кадра люстранога адлюстравання ідзе 4-байтавы CRC.
Як відаць з фармату загалоўка тыпу III, акрамя захавання палёў Ver, VLAN, COS, T і Session ID на аснове тыпу II, дадаецца шмат спецыяльных палёў, такіх як:
• BSO: выкарыстоўваецца для абазначэння цэласнасці загрузкі кадраў дадзеных, якія перадаюцца праз ERSPAN. 00 — добры кадр, 11 — дрэнны кадр, 01 — кароткі кадр, 11 — вялікі кадр;
• Часавая метка: экспартуецца з апаратнага гадзінніка, сінхранізаванага з сістэмным часам. Гэта 32-бітнае поле падтрымлівае дэталізацыю часавай меткі не менш за 100 мікрасекунд;
• Тып кадра (P) і тып кадра (FT): першы выкарыстоўваецца для ўказання таго, ці перадае ERSPAN кадры пратаколу Ethernet (кадры PDU), а другі выкарыстоўваецца для ўказання таго, ці перадае ERSPAN кадры Ethernet або IP-пакеты.
• HW ID: унікальны ідэнтыфікатар рухавіка ERSPAN у сістэме;
• Gra (грануляцыя часовай меткі): вызначае грануляцыю часовай меткі. Напрыклад, 00B азначае грануляцыю 100 мікрасекунд, 01B — 100 нанасекунд, 10B — грануляцыю IEEE 1588, а 11B патрабуе спецыфічных для платформы падзагалоўкаў для дасягнення больш высокай грануляцыі.
• Ідэнтыфікатар платформы ў параўнанні з інфармацыяй, спецыфічнай для платформы: палі інфармацыі, спецыфічнай для платформы, маюць розныя фарматы і змест у залежнасці ад значэння ідэнтыфікатара платформы.
Варта адзначыць, што розныя палі загалоўкаў, якія падтрымліваюцца вышэй, могуць выкарыстоўвацца ў звычайных праграмах ERSPAN, нават пры люстраным адлюстраванні кадраў памылак або кадраў BPDU, захоўваючы пры гэтым зыходны пакет магістральнай сеткі і ідэнтыфікатар VLAN. Акрамя таго, падчас люстранога адлюстравання да кожнага кадра ERSPAN можна дадаць інфармацыю аб часовых метках ключа і іншыя інфармацыйныя палі.
З дапамогай уласных загалоўкаў функцый ERSPAN мы можам атрымаць больш дакладны аналіз сеткавага трафіку, а затым проста падключыць адпаведны ACL у працэсе ERSPAN у адпаведнасці з сеткавым трафікам, які нас цікавіць.
ERSPAN рэалізуе бачнасць сеансу RDMA
Давайце разгледзім прыклад выкарыстання тэхналогіі ERSPAN для візуалізацыі сесіі RDMA ў сцэнарыі RDMA:
РДМААддалены прамы доступ да памяці дазваляе сеткаваму адаптару сервера А чытаць і запісваць інфармацыю ў памяць сервера Б з дапамогай інтэлектуальных сеткавых інтэрфейсных карт (iNIC) і камутатараў, што дазваляе дасягнуць высокай прапускной здольнасці, нізкай затрымкі і нізкага выкарыстання рэсурсаў. Ён шырока выкарыстоўваецца ў сцэнарах вялікіх дадзеных і высокапрадукцыйных размеркаваных сховішчаў дадзеных.
RoCEv2RDMA праз канвергентны Ethernet версіі 2. Дадзеныя RDMA інкапсулююцца ў загалоўку UDP. Нумар порта прызначэння — 4791.
Штодзённая эксплуатацыя і абслугоўванне RDMA патрабуе збору вялікай колькасці дадзеных, якія выкарыстоўваюцца для збору штодзённых эталонных ліній узроўню вады і анамальных сігналаў трывогі, а таксама з'яўляюцца асновай для выяўлення анамальных праблем. У спалучэнні з ERSPAN можна хутка сабраць вялікую колькасць дадзеных для атрымання мікрасекундных дадзеных аб якасці перасылкі і статусу ўзаемадзеяння пратаколаў камутацыйнага чыпа. Дзякуючы статыстыцы і аналізу дадзеных можна атрымаць ацэнку і прагноз якасці перасылкі RDMA ад пачатку да канца.
Каб дасягнуць візуалізацыі сеансаў RDAM, нам патрэбен ERSPAN для супастаўлення ключавых слоў для сеансаў узаемадзеяння RDMA пры люстраванні трафіку, і нам трэба выкарыстоўваць пашыраны спіс экспертаў.
Вызначэнне поля супастаўлення пашыранага спісу на экспертным узроўні:
UDF складаецца з пяці палёў: ключавое слова UDF, базавае поле, поле зрушэння, поле значэння і поле маскі. З-за абмежаванняў ёмістасці апаратных запісаў можна выкарыстоўваць у агульнай складанасці восем UDF. Адна UDF можа адпавядаць максімум двум байтам.
• Ключавое слова UDF: UDF1... UDF8 Змяшчае восем ключавых слоў адпаведнага дамена UDF
• Базавае поле: вызначае пачатковую пазіцыю поля супастаўлення UDF. Наступнае
L4_загаловак (дастасоўна да RG-S6520-64CQ)
L5_загаловак (для RG-S6510-48VS8Cq)
• Зрушэнне: паказвае зрушэнне адносна базавага поля. Значэнне знаходзіцца ў дыяпазоне ад 0 да 126
• Поле значэння: значэнне, якое адпавядае патрабаванням. Яго можна выкарыстоўваць разам з полем маскі для налады канкрэтнага значэння, якое будзе адпавядаць. Дапушчальны біт складае два байты.
• Поле маскі: маска, сапраўдны біт — два байты
(Дададзена: калі ў адным і тым жа полі супастаўлення UDF выкарыстоўваецца некалькі запісаў, базавыя палі і палі зрушэння павінны быць аднолькавымі.)
Два ключавыя пакеты, звязаныя са статусам сесіі RDMA, - гэта пакет апавяшчэння аб перагрузцы (CNP) і адмоўнае пацверджанне (NAK):
Першы генеруецца прыёмнікам RDMA пасля атрымання паведамлення ECN, адпраўленага камутатарам (калі буфер eout дасягае парога), якое змяшчае інфармацыю аб патоку або QP, што выклікае перагрузку. Другі выкарыстоўваецца для ідэнтыфікацыі таго, што перадача RDMA мае паведамленне адказу аб страце пакетаў.
Давайце паглядзім, як супаставіць гэтыя два паведамленні з дапамогай пашыранага спісу экспертнага ўзроўню:
пашыраны rdma экспертнага спісу доступу
дазвол udp любы любы любы любы eq 4791udf 1 l4_header 8 0x8100 0xFF00(Падыходзіць для RG-S6520-64CQ)
дазвол udp любы любы любы любы eq 4791udf 1 l5_header 0 0x8100 0xFF00(Падыходзіць для RG-S6510-48VS8CQ)
пашыраны rdma экспертнага спісу доступу
дазвол udp любы любы любы любы eq 4791udf 1 l4_header 8 0x1100 0xFF00 udf 2 l4_header 20 0x6000 0xFF00(Падыходзіць для RG-S6520-64CQ)
дазвол udp любы любы любы любы eq 4791udf 1 l5_header 0 0x1100 0xFF00 udf 2 l5_header 12 0x6000 0xFF00(Падыходзіць для RG-S6510-48VS8CQ)
У якасці апошняга кроку вы можаце візуалізаваць сеанс RDMA, падключыўшы спіс пашырэнняў эксперта да адпаведнага працэсу ERSPAN.
Напішыце ў апошнім
ERSPAN — адзін з незаменных інструментаў у сучасных усё больш буйных сетках цэнтраў апрацоўкі дадзеных, усё больш складаным сеткавым трафікам і ўсё больш складаных патрабаваннях да эксплуатацыі і абслугоўвання сеткі.
З ростам ступені аўтаматызацыі эксплуатацыі і абслугоўвання (O&M) сярод студэнтаў, якія вывучаюць O&M, у галіне аўтаматычнай эксплуатацыі і абслугоўвання сетак, папулярнымі сталі такія тэхналогіі, як Netconf, RESTconf і gRPC. Выкарыстанне gRPC у якасці базавага пратаколу для адпраўкі люстранога трафіку таксама мае шмат пераваг. Напрыклад, заснаваны на пратаколе HTTP/2, ён можа падтрымліваць механізм струменевай перадачы дадзеных у межах аднаго злучэння. З дапамогай кадавання ProtoBuf памер інфармацыі памяншаецца ўдвая ў параўнанні з фарматам JSON, што робіць перадачу дадзеных хутчэйшай і больш эфектыўнай. Толькі ўявіце, калі вы выкарыстоўваеце ERSPAN для люстравання зацікаўленых патокаў, а затым адпраўляеце іх на сервер аналізу на gRPC, ці значна палепшыць гэта магчымасці і эфектыўнасць аўтаматычнай працы і абслугоўвання сеткі?
Час публікацыі: 10 мая 2022 г.
