حذف داده‌های تکراری (Data De-duplication) یک فناوری ذخیره‌سازی محبوب و پرطرفدار است که ظرفیت ذخیره‌سازی را بهینه می‌کند. این فناوری با حذف داده‌های تکراری از مجموعه داده‌ها، داده‌های اضافی را حذف می‌کند و تنها یک نسخه از آن‌ها باقی می‌ماند. همانطور که در شکل زیر نشان داده شده است، این فناوری می‌تواند نیاز به فضای ذخیره‌سازی فیزیکی را برای برآوردن تقاضای رو به رشد برای ذخیره‌سازی داده‌ها تا حد زیادی کاهش دهد. فناوری Dedupe می‌تواند مزایای عملی بسیاری را به همراه داشته باشد، که عمدتاً شامل جنبه‌های زیر است:
| (1) | الزامات ROI (بازگشت سرمایه)/TCO (هزینه کل مالکیت) را برآورده کنید؛ |
| (2) | رشد سریع داده‌ها را می‌توان به طور مؤثر کنترل کرد؛ |
| (3) | افزایش فضای ذخیره‌سازی مؤثر و بهبود راندمان ذخیره‌سازی؛ |
| (4) | کل هزینه ذخیره‌سازی و هزینه مدیریت را صرفه‌جویی کنید. |
| (5) | پهنای باند شبکه انتقال داده را ذخیره کنید. |
| (6) | صرفه‌جویی در هزینه‌های بهره‌برداری و نگهداری مانند فضا، منبع تغذیه و خنک‌کننده. |
فناوری Dedupe به طور گسترده در سیستم‌های پشتیبان‌گیری و بایگانی داده‌ها استفاده می‌شود، زیرا پس از پشتیبان‌گیری‌های متعدد از داده‌ها، داده‌های تکراری زیادی وجود دارد که برای این فناوری بسیار مناسب است. در واقع، فناوری Dedupe می‌تواند در بسیاری از موقعیت‌ها، از جمله داده‌های آنلاین، داده‌های نزدیک به خط و سیستم‌های ذخیره‌سازی داده‌های آفلاین، مورد استفاده قرار گیرد. این فناوری را می‌توان در سیستم‌های فایل، مدیران حجم، NAS و sans پیاده‌سازی کرد. Dedupe همچنین می‌تواند برای بازیابی داده‌ها در مواقع اضطراری، انتقال داده‌ها و همگام‌سازی استفاده شود، زیرا یک فناوری فشرده‌سازی داده‌ها می‌تواند برای بسته‌بندی داده‌ها استفاده شود. فناوری Dedupe می‌تواند به بسیاری از برنامه‌ها در کاهش ذخیره‌سازی داده‌ها، صرفه‌جویی در پهنای باند شبکه، بهبود کارایی ذخیره‌سازی، کاهش پنجره پشتیبان‌گیری و صرفه‌جویی در هزینه‌ها کمک کند.
Dedupe دو بُعد اصلی دارد: نسبت‌های deduplocation و عملکرد. عملکرد Dedupe به فناوری پیاده‌سازی خاص بستگی دارد، در حالی که نرخ Dedupe توسط ویژگی‌های خود داده‌ها و الگوهای برنامه تعیین می‌شود، همانطور که در جدول زیر نشان داده شده است. فروشندگان ذخیره‌سازی در حال حاضر نرخ‌های deduplication را از 20:1 تا 500:1 گزارش می‌دهند.
| نرخ بالای حذف داده‌های تکراری | نرخ پایین حذف داده‌های تکراری |
| داده‌های ایجاد شده توسط کاربر | داده‌هایی از دنیای طبیعی |
| نرخ پایین تغییر داده‌ها | نرخ بالای تغییر داده‌ها |
| داده‌های مرجع، داده‌های غیرفعال | داده‌های فعال |
| کاربرد نرخ تغییر داده پایین | کاربرد نرخ تغییر داده بالا |
| پشتیبان‌گیری کامل از داده‌ها | پشتیبان‌گیری افزایشی از داده‌ها |
| ذخیره‌سازی بلندمدت داده‌ها | ذخیره‌سازی کوتاه‌مدت داده‌ها |
| طیف گسترده‌ای از کاربردهای داده | طیف کوچک کاربردهای داده |
| پردازش مداوم داده‌ها در کسب و کار | پردازش عمومی داده‌ها در کسب و کار |
| تقسیم‌بندی داده‌های کوچک | تقسیم‌بندی کلان‌داده |
| تقسیم‌بندی داده‌ها به صورت طولانی | قطعه‌بندی داده‌ها با طول ثابت |
| محتوای داده درک شده | محتوای داده‌ها ناشناخته است |
| حذف داده‌های تکراری از زمان | حذف داده‌های تکراری مکانی |
نقاط پیاده‌سازی ددوپه
هنگام توسعه یا به‌کارگیری فناوری Dedupe، عوامل مختلفی باید در نظر گرفته شوند، زیرا این عوامل مستقیماً بر عملکرد و اثربخشی آن تأثیر می‌گذارند.
| (1) | چه | چه داده‌هایی وزن‌دهی نمی‌شوند؟ |
| (2) | چه زمانی | چه زمانی وزن حذف خواهد شد؟ |
| (3) | کجا | حذف وزن کجاست؟ |
| (4) | چگونه | چگونه وزن را کاهش دهیم؟ |
فناوری کلید ددوپه
فرآیند حذف داده‌های تکراری در سیستم ذخیره‌سازی به طور کلی به این صورت است: ابتدا فایل داده به مجموعه‌ای از داده‌ها تقسیم می‌شود، برای هر بلوک داده، اثر انگشت محاسبه می‌شود و سپس بر اساس کلمات کلیدی جستجوی هش اثر انگشت، تطبیق داده‌ها برای بلوک‌های داده تکراری نشان داده می‌شود، فقط شماره شاخص بلوک داده را ذخیره می‌کند، در غیر این صورت به این معنی است که بلوک داده تنها قطعه جدیدی از یک بلوک داده جدید است که اطلاعات متای مربوطه را ایجاد می‌کند. بنابراین، یک فایل فیزیکی در سیستم ذخیره‌سازی با نمایش منطقی مجموعه‌ای از فراداده‌های FP مطابقت دارد. هنگام خواندن فایل، ابتدا فایل منطقی را بخوانید، سپس طبق توالی FP، بلوک داده مربوطه را از سیستم ذخیره‌سازی خارج کنید و کپی فایل فیزیکی را بازیابی کنید. از فرآیند فوق می‌توان دریافت که فناوری‌های کلیدی Dedupe عمدتاً شامل تقسیم‌بندی بلوک داده فایل، محاسبه اثر انگشت بلوک داده و بازیابی بلوک داده هستند.
(1) تقسیم‌بندی بلوک داده‌های فایل
(2) محاسبه اثر انگشت بلوک داده
(3) بازیابی بلوک داده
برای یافتن این مدل‌های پیشنهادی برای شروع Network Packet Deduplication:
کارگزار بسته شبکه Mylinking™ (NPB) ML-NPB-6400۴۸*۱۰GE SFP+ به علاوه ۴*۴۰GE/۱۰۰GE QSFP28، حداکثر ۸۸۰ گیگابیت بر ثانیه
کارگزار بسته شبکه Mylinking™ (NPB) ML-NPB-56606 * 40GE/100GE QSFP28 به همراه 48 * 10GE/25GE SFP28، حداکثر 1.8Tbps
کارگزار بسته شبکه Mylinking™ (NPB) ML-NPB-5060۴۸*۱۰GE SFP+ به همراه ۲*۴۰GE QSFP، حداکثر ۵۶۰ گیگابیت بر ثانیه
کارگزار بسته شبکه Mylinking™ (NPB) ML-NPB-486048*10GE SFP+، حداکثر 480 گیگابیت بر ثانیه، عملکرد پلاس
کارگزار بسته شبکه Mylinking™ (NPB) ML-NPB-481048 * 10GE SFP+، حداکثر 480 گیگابیت بر ثانیه
کارگزار بسته شبکه Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+، حداکثر 240 گیگابیت بر ثانیه، عملکرد DPI
کارگزار بسته شبکه Mylinking™ (NPB) ML-NPB-6400
۴۸*۱۰GE SFP+ به علاوه ۴*۴۰GE/۱۰۰GE QSFP28، حداکثر ۸۸۰ گیگابیت بر ثانیه
زمان ارسال: ۱۸ اکتبر ۲۰۲۲
