Дэдуплікацыя дадзеных — гэта папулярная тэхналогія захоўвання дадзеных, якая аптымізуе ёмістасць сховішча. Яна ліквідуе лішнія дадзеныя, выдаляючы дублікаты дадзеных з набору дадзеных, пакідаючы толькі адну копію. Як паказана на малюнку ніжэй. Гэтая тэхналогія можа значна знізіць патрэбу ў фізічнай прасторы для захоўвання дадзеных, каб задаволіць расце попыт на захоўванне дадзеных. Тэхналогія дэдуплікацыі можа прынесці шмат практычных пераваг, у тым ліку наступныя аспекты:
| (1) | Адпавядаць патрабаванням ROI (рэнтабельнасць інвестыцый)/TCO (агульны кошт валодання); |
| (2) | Хуткі рост дадзеных можна эфектыўна кантраляваць; |
| (3) | Павялічце эфектыўную прастору для захоўвання і палепшыце эфектыўнасць захоўвання; |
| (4) | Зэканомце агульныя выдаткі на захоўванне і кіраванне; |
| (5) | Эканомце прапускную здольнасць сеткі пры перадачы дадзеных; |
| (6) | Зэканомце выдаткі на эксплуатацыю і абслугоўванне, такія як прастора, блок харчавання і астуджэнне. |
Тэхналогія дэдуплікацыі шырока выкарыстоўваецца ў сістэмах рэзервовага капіявання і архівавання дадзеных, паколькі пасля некалькіх рэзервовых копій застаецца шмат дублікатаў дадзеных, што вельмі падыходзіць для гэтай тэхналогіі. Фактычна, тэхналогія дэдуплікацыі можа выкарыстоўвацца ў многіх сітуацыях, у тым ліку для захоўвання дадзеных у рэжыме рэальнага часу, дадзеных блізкага доступу і афлайн-сістэм захоўвання дадзеных. Яна можа быць рэалізавана ў файлавых сістэмах, менеджарах тамоў, NAS і SAN. Dedupe таксама можа выкарыстоўвацца для аднаўлення дадзеных пасля збояў, перадачы і сінхранізацыі дадзеных, а таксама для ўпакоўкі дадзеных у якасці тэхналогіі сціску дадзеных. Тэхналогія Dedupe можа дапамагчы многім праграмам скараціць аб'ём захоўвання дадзеных, зэканоміць прапускную здольнасць сеткі, павысіць эфектыўнасць захоўвання, скараціць акно рэзервовага капіявання і зэканоміць выдаткі.
Дэдуплікацыя мае два асноўныя вымярэнні: каэфіцыенты дэдуплікацыі і прадукцыйнасць. Прадукцыйнасць дэдуплікацыі залежыць ад канкрэтнай тэхналогіі рэалізацыі, у той час як хуткасць дэдуплікацыі вызначаецца характарыстыкамі саміх дадзеных і шаблонамі прыкладанняў, як паказана ў табліцы ніжэй. Пастаўшчыкі сховішчаў дадзеных у цяперашні час паведамляюць аб хуткасцях дэдуплікацыі ад 20:1 да 500:1.
| Высокі ўзровень дэдуплікацыі | Нізкі ўзровень дэдуплікацыі |
| Дадзеныя, створаныя карыстальнікам | Дадзеныя з прыроднага свету |
| Нізкая хуткасць змяненняў дадзеных | Высокая хуткасць змяненняў дадзеных |
| Даведачныя дадзеныя, неактыўныя дадзеныя | Актыўныя дадзеныя |
| Прыкладанне з нізкай хуткасцю змены дадзеных | Прыкладанне з высокай хуткасцю змены дадзеных |
| Поўнае рэзервовае капіраванне дадзеных | Паступовае рэзервовае капіраванне дадзеных |
| Доўгатэрміновае захоўванне дадзеных | Кароткатэрміновае захоўванне дадзеных |
| Шырокі спектр прымянення дадзеных | Невялікі дыяпазон прыкладанняў для перадачы дадзеных |
| Бесперапынная апрацоўка бізнес-дадзеных | Агульная апрацоўка бізнес-дадзеных |
| Невялікая сегментацыя дадзеных | Сегментацыя вялікіх дадзеных |
| Падоўжаная сегментацыя дадзеных | Сегментацыя дадзеных фіксаванай даўжыні |
| Успрыманы змест дадзеных | Змест дадзеных невядомы |
| Дэдуплікацыя дадзеных часу | Дэдуплікацыя прасторавых дадзеных |
Пункты рэалізацыі дэдуплікацыі
Пры распрацоўцы або ўжыванні тэхналогіі Dedupe варта ўлічваць розныя фактары, бо гэтыя фактары непасрэдна ўплываюць на яе прадукцыйнасць і эфектыўнасць.
| (1) | Што | Якія дадзеныя падвяргаюцца дэвагаванню? |
| (2) | Калі | Калі вага знікне? |
| (3) | Дзе | Дзе ж скіданне вагі? |
| (4) | Як | Як знізіць вагу? |
Тэхналогія дэдуплікацыі ключоў
Працэс дэдуплікацыі сістэмы захоўвання дадзеных у цэлым выглядае наступным чынам: спачатку файл дадзеных падзяляецца на набор дадзеных, для кожнага блока дадзеных вылічваецца адбітак пальца, а затым на аснове ключавых слоў пошуку хэша адбітка пальца супадае з дадзенымі для дублікатаў блокаў дадзеных, захоўваецца толькі індэксны нумар блока дадзеных, інакш гэта азначае, што блок дадзеных з'яўляецца адзінай часткай новага блока дадзеных, захоўваецца блок дадзеных і ствараецца адпаведная метаінфармацыя. Такім чынам, фізічны файл у сістэме захоўвання адпавядае лагічнаму прадстаўленню набору метададзеных FP. Пры чытанні файла спачатку чытаецца лагічны файл, затым, у адпаведнасці з паслядоўнасцю FP, вымаецца адпаведны блок дадзеных з сістэмы захоўвання, аднаўляецца копія фізічнага файла. З вышэйапісанага працэсу відаць, што ключавыя тэхналогіі Deduplicate ў асноўным ўключаюць сегментацыю блокаў дадзеных файла, вылічэнне адбіткаў пальцаў блокаў дадзеных і атрыманне блокаў дадзеных.
(1) Сегментацыя блокаў дадзеных файла
(2) Разлік адбіткаў пальцаў блока дадзеных
(3) Атрыманне блокаў дадзеных
Каб знайсці гэтыя рэкамендаваныя мадэлі для пачатку дэдуплікацыі сеткавых пакетаў:
Брокер сеткавых пакетаў Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбіт/с
Брокер сеткавых пакетаў Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 плюс 48*10GE/25GE SFP28, макс. 1,8 Тбіт/с
Брокер сеткавых пакетаў Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ плюс 2*40GE QSFP, макс. 560 Гбіт/с
Брокер сеткавых пакетаў Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, макс. 480 Гбіт/с, функцыянальнасць Plus
Брокер сеткавых пакетаў Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, макс. 480 Гбіт/с
Брокер сеткавых пакетаў Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, макс. 240 Гбіт/с, функцыя DPI
Брокер сеткавых пакетаў Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбіт/с
Час публікацыі: 18 кастрычніка 2022 г.
