Дэдуплікацыя даных - гэта папулярная і папулярная тэхналогія захавання, якая аптымізуе ёмістасць захоўвання. Яна ліквідуе лішнія даныя, выдаляючы дублікаты даных з набору даных, пакідаючы толькі адну копію. Як паказана на малюнку ніжэй. Гэтая тэхналогія можа значна скараціць патрэбу ў фізічным сховішчы прастора для задавальнення растучага попыту на захоўванне даных. Тэхналогія Dedupe можа прынесці шмат практычных пераваг, у асноўным уключаючы наступныя аспекты:
| (1) | Адпавядаюць патрабаванням ROI (рэнтабельнасць інвестыцый) / TCO (сукупны кошт валодання); |
| (2) | Хуткі рост даных можна эфектыўна кантраляваць; |
| (3) | Павелічэнне эфектыўнага месца для захоўвання і павышэнне эфектыўнасці захоўвання; |
| (4) | Эканомія агульных выдаткаў на захоўванне і кіраванне; |
| (5) | Эканомія прапускной здольнасці сеткі перадачы дадзеных; |
| (6) | Эканомія выдаткаў на эксплуатацыю і тэхнічнае абслугоўванне, такіх як месца, электразабеспячэнне і астуджэнне. |
Тэхналогія дэдуплявання шырока выкарыстоўваецца ў сістэмах рэзервовага капіявання і архівавання даных, таму што пасля шматразовага рэзервовага капіравання даных утвараецца шмат дублікатаў даных, што вельмі падыходзіць для гэтай тэхналогіі. Фактычна, тэхналогію дэдуплявання можна выкарыстоўваць у многіх сітуацыях, у тым ліку для анлайн-даных, даныя паблізу лініі, а таксама аўтаномныя сістэмы захоўвання даных. Яе можна рэалізаваць у файлавых сістэмах, дыспетчарах томаў, NAS і sans.Dedupe таксама можа выкарыстоўвацца для аварыйнага аднаўлення даных, перадачы і сінхранізацыі даных, паколькі тэхналогія сціску даных можа выкарыстоўвацца для ўпакоўкі даных. Тэхналогія Dedupe можа дапамагчы многім праграмам скараціць захаванне даных, эканомія прапускной здольнасці сеткі, павышэнне эфектыўнасці захоўвання, скарачэнне акна рэзервовага капіявання і эканомія выдаткаў.
Дэдуплікацыя мае два асноўныя вымярэнні: каэфіцыент дэдуплікацыі і прадукцыйнасць. Прадукцыйнасць дэдуплікацыі залежыць ад канкрэтнай тэхналогіі ўкаранення, у той час як хуткасць дэдуплікацыі вызначаецца характарыстыкамі саміх даных і мадэлямі прыкладанняў, як паказана ў табліцы ніжэй. У цяперашні час пастаўшчыкі сховішчаў паведамляюць пра хуткасць дэдуплікацыі ў дыяпазоне ад 20:1 да 500:1.
| Высокая хуткасць дэдуплікацыі | Нізкі ўзровень дэдуплікацыі |
| Дадзеныя, створаныя карыстальнікам | Дадзеныя са свету прыроды |
| Нізкая хуткасць змены дадзеных | Высокая хуткасць змены дадзеных |
| Даведачныя даныя, неактыўныя даныя | Актыўныя дадзеныя |
| Прыкладанне з нізкай хуткасцю змены даных | Дадатак з высокай хуткасцю змены даных |
| Поўнае рэзервовае капіраванне дадзеных | Інкрэментнае рэзервовае капіраванне даных |
| Доўгатэрміновае захоўванне дадзеных | Кароткачасовае захоўванне дадзеных |
| Шырокі спектр прыкладанняў для перадачы дадзеных | Невялікі дыяпазон прыкладанняў для перадачы дадзеных |
| Бесперапынная бізнес-апрацоўка дадзеных | Агульная бізнес-апрацоўка дадзеных |
| Невялікая сегментацыя дадзеных | Сегментацыя вялікіх дадзеных |
| Падоўжыць сегментацыю даных | Сегментацыя дадзеных фіксаванай даўжыні |
| Успрыняты змест даных | Змест даных невядомы |
| Дэдуплікацыя даных часу | Дэдуплікацыя прасторавых даных |
Пункты рэалізацыі дэдуплявання
Пры распрацоўцы або прымяненні тэхналогіі Dedupe варта ўлічваць розныя фактары, паколькі гэтыя фактары непасрэдна ўплываюць на яе прадукцыйнасць і эфектыўнасць.
| (1) | Што | Якія даныя абясцэньваюцца? |
| (2) | Калі | Калі вага будзе ліквідаваны? |
| (3) | дзе | Дзе ліквідацыя вагі? |
| (4) | як | Як знізіць вагу? |
Тэхналогія дэдуплявання ключа
Працэс дэдуплікацыі сістэмы захоўвання ў цэлым такі: перш за ўсё файл даных дзеліцца на набор даных, для кожнага блока даных вылічваецца адбітак пальца, а затым на аснове ключавых слоў пошуку хэша адбітка пальца супадзенне паказвае даныя для дубліката. блокі даных, захоўвае толькі індэксны нумар блока даных, у адваротным выпадку гэта азначае, што блок даных з'яўляецца адзінай часткай новага, захоўвання блока даных і стварае адпаведную метаінфармацыю. Такім чынам, фізічны файл у сістэме захоўвання адпавядае лагічнаму прадстаўленню набору метаданых FP. Пры чытанні файла спачатку прачытайце лагічны файл, затым у адпаведнасці з паслядоўнасцю FP выміце адпаведны блок даных з сістэмы захоўвання, аднавіце копію фізічнага файла. Гэта відаць з вышэй працэсу, што ключавыя тэхналогіі Dedupe у асноўным ўключаюць у сябе сегментацыю блокаў даных файлаў, разлік адбіткаў пальцаў блокаў даных і пошук блокаў даных.
(1) Сегментацыя блока дадзеных файла
(2) Разлік адбіткаў пальцаў блока даных
(3) Выманне блока даных
Каб знайсці гэтыя рэкамендаваныя мадэлі для запуску дэдуплікацыі сеткавых пакетаў:
Mylinking™ Брокер сеткавых пакетаў (NPB) ML-NPB-640048*10GE SFP+ плюс 4*40GE/100GE QSFP28, Макс. 880 Гбіт/с
Mylinking™ Брокер сеткавых пакетаў (NPB) ML-NPB-56606*40GE/100GE QSFP28 плюс 48*10GE/25GE SFP28, макс. 1,8 Тбіт/с
Mylinking™ Брокер сеткавых пакетаў (NPB) ML-NPB-506048*10GE SFP+ плюс 2*40GE QSFP, макс. 560 Гбіт/с
Mylinking™ Брокер сеткавых пакетаў (NPB) ML-NPB-486048*10GE SFP+, макс. 480 Гбіт/с, функцыя Plus
Mylinking™ Брокер сеткавых пакетаў (NPB) ML-NPB-481048*10GE SFP+, Макс. 480 Гбіт/с
Mylinking™ Брокер сеткавых пакетаў (NPB) ML-NPB-2410P24*10GE SFP+, макс. 240 Гбіт/с, функцыя DPI
Mylinking™ Брокер сеткавых пакетаў (NPB) ML-NPB-6400
48*10GE SFP+ плюс 4*40GE/100GE QSFP28, Макс. 880 Гбіт/с
Час публікацыі: 18 кастрычніка 2022 г
