طراحی شبکه (Top of Rack) ToR در مقابل EoR (End of Row) برای دیتاسنترها (پارت اول)

این مقاله دو شیوه معمول در طراحی فیزیکی دیتاسنترها یعنی روش ToR و EoR را به شکل دقیق بررسی و مقایسه می-کند. همچنین یک طرح جایگزین جدید با استفاده از Fabric Extenders بررسی می شود و با نگاهی سریع به نحوه سازگاری سیستم محاسبه یکپارچه سیسکو (Cisco Unified Computing System) با این نوع از طراحی، پایان می یابد.

در طراحی ToR، سرورها به یک یا دو سوئیچ اترنت که در داخل رک نصب شده متصل می شوند. البته اگرچه اصطلاح “بالای رک” (top of rack) برای این نوع از طراحی جا افتاده، اما در واقعیت، مکان فیزیکی سوئیچ ها لزوما در بالای رک نیست. سوئیچ ها می توانند در پایین یا وسط رک قرار بگیرند. با این حال، بالای قفسه به دلیل دسترسی آسان تر و کابل کشی تمیزتر، رایج تر است. این طراحی گاهی اوقات “In-Rack” هم نامیده می شود. سوییچ ToR اترنت معمولا از نوع کمتر شناخته شده (1RU-2RU) و دارای پیکربندی ثابت است.

ویژگی اصلی و جذابیت  طراحی ToR این است که تمام کابل-کشی مسی از سرور به سوییچها با استفاده از کابل نسبتا کوتاه RJ45 و در داخل رک قرار می گیرد. سوئیچ اترنت، رک را از طریق فیبر نوری و بطور مستقیم به یک منطقه مجتمع مشترک در دیتاسنتر مرتبط می کند که به سوئیچ های مدولار و تراکم بالای اترنت متصل شده است.


هر رله با فیبر نوری به دیتاسنتر متصل است. بنابراین، نیازی به زیرساخت های سنگین و گران قیمت کابل کشی بین رک ها و در سراسر دیتاسنتر وجود ندارد. مقادیر زیاد کابل مسی باعث بار اضافی بر امکانات مرکز تحمیل می کند زیرا توده حجیم کابل مسی مسیریابی را دشوار می کند، می تواند جریان هوا را مختل کند، و به طور کلی نیازمند رک ها و زیرساخت های بیشتری است که به پچینگ و مدیریت کابل کشی اختصاص دارد.

کابل های طولانی twisted pair  مسی ممکن است محدودیت هایی در سرعت دسترسی به سرور و تکنولوژی شبکه ایجاد کنند. طراحی ToR دیتاسنتر از آنجا که نیازی به زیرساخت های کابل کشی بزرگ ندارد با چنین مسائلی روبرو نیست.

این مهمتری عامل در ترجیح و انتخاب طراحی ToR در برابر طراحی EoR است.
هر رک را می توان به عنوان یک واحد فردی و مدولار در دیتاسنتر مدیریت کرد. تغییر یا ارتقای تکنولوژی دسترسی به سرور بصورت رک به رک خیلی راحت است. هر گونه ارتقای شبکه یا هر اشکالی در سوئیچ های رک،  فقط روی سرورهای واقع در درون همان رک تاثیر می گذارد و کاری به ردیف سرورها ندارد. با توجه به این که سرور با کابلهای مسی بسیار کوتاه در داخل رک متصل می شود، انعطاف پذیری و گزینه های بیشتری از نظر نوع  کابل و سرعت ارتباطی که می تواند پشتیبانی کند وجود دارد. برای مثال، یک کابل مسی 10GBASE-CX1 می تواند برای تامین یک اتصال کم هزینه و کم قدرت 10 گیگابایت به سرور استفاده شود. کابل 10GBASE-CX1  فاصله  تا 7 متر را پشتیبانی می کند که برای طراحی ToR مناسب است.


اتصال فیبر نوری به هر رک، به دلیل توانایی منحصر به فرد فیبر نوری برای انتقال سیگنال های پهنای باند بالاتر در فاصله های طولانی، دارای انعطاف پذیری بیشتر و سرمایه گذاری بهتری نسبت به کابل مسی است. در آینده، انتقالهای  40 گیگابایت و 100 گیگابایت  به راحتی روی زیرساخت فیبر نوری پشتیبانی خواهد شد. با توجه به چالش های فعلی برای انتقال 10 گیگابیت بر روی کابل twisted pair مسی (10GBASE-T)، هر گونه پشتیبانی از  40 یا 100 گیگابایت بر روی twisted pair در آینده، به احتمال زیاد دارای محدودیت فاصله های بسیار کوتاه خواهد بود (فاصله های درون رک). این هم یک عامل کلیدی دیگر که نشان می دهد چرا ToR بهتر از EoR است.

سازگاری سروهای تیغه ای (Blade server) با ماژول های سوئیچ مجتمع باعث شده است که رک های متصل با فیبر نوری با انتقال مفهوم «ToR» به داخل محفظه تیغه ای، رایج تر باشند. محفظه سرور تیغه ای ممکن است حاوی 2، 4 یا تعداد بیشتری ماژول سوئیچینگ اترنت یا سوئیچ های FC چندگانه باشد که باعث افزایش تعداد سوئیچ ها برای مدیریت می شود.
یکی از نکات برجسته طراحی ToR ، افزایش دامنه مدیریت است به دلیل این که هر سوئیچ رک، خود یک نمونه منحصر به فرد کنترل است که باید مدیریت شود. در یک دیتاسنتر بزرگ با تعداد رک های بسیار، طراحی  ToR، به دلیل اضافه کردن تعداد زیادی سوئیچ به دیتا سنتر که هر یک به صورت جداگانه مدیریت می شود ، می تواند به سرعت به یک مشکل مدیریتی تبدیل شود. 

به عنوان مثال، در یک دیتاسنتر با 40 رک، که در آن هر رک شامل (2) سوییچ ToR است، تعداد 80 سوییچ  وجود دارد که فقط  کار ارائه اتصالات دسترسی به سرور را(بدون احتساب سوییچهای  توزیع و هسته) انجام می-دهند.  این یعنی 80 نسخه از نرم افزار سوئیچ که نیاز به بروز رسانی دارد، 80 فایل پیکربندی که باید ایجاد و بایگانی شوند، 80 سوییچ متفاوت در لایه 2 توپولوژی درخت پوشا، و80 موقعیت مختلف که یک پیکربندی ممکن است به اشتباه اختیار کند.
 هنگامی که یک سوئیچ ToR خراب می شود، فردی که سوییچ را تعویض می کند نیاز دارد به پیکربندی این سوییچ در آرشیو دسترسی لازم را داشته و بتواند آن را تعویض کنید (فرض می شود که به درستی و به تازگی آرشیو شده).


این فرد همچنین ممکن است لازم داشته باشد برخی از آزمایش های بازبینی و عیب یابی را انجام دهد. همه اینها به فردی با  مهارت بالا نیاز دارد که ممکن است همیشه در دسترس نباشد (یا اینکه به قیمت بالا بدست آید)، به ویژه در یک میزبان راه دور “چراغ خاموش (lights out)” .


طراحی ToR  به طور معمول نیاز به تراکم پورت بالا در سوئیچ های مجتمع دارد. برگردیم به مثال 80 سوئیچ، با هر سوئیچ دارای یک اتصال تکی به هر سوئیچ مجتمع اضافی، هرسوئیچ مجتمع به 80 پورت نیاز دارد. هرچقدر پورت های بیشتری در مجتمع سوییچ ها وجود داشته باشد، بیشتر احتمال دارد با محدودیت های مقیاس پذیری احتمالی مواجه شوید.

یکی از این محدودیت ها ممکن است، مثلا، پورت منطقی STP باشد، که محصول پورت های مجتمع و VLAN ها است. برای مثال، اگر قرار باشد تعداد  100 VLAN در دامنه L2 را با فرض PVST در تمام 80 پورت سوئیچهای موجود در مجتمع پیشتیبانی کنید، این قضیه منجر به 8000 پورت منطقی STP  در هر سوئیچ مجتمع می شود. قوی ترین سوئیچ های مدولار می توانند از عهده این تعداد برآیند. به عنوان مثال، Catalyst 6500 از 10،000 نمونه PVST در مجموع و 1800 عدد در هر کارت خط پشتیبانی می کند. و Nexus 7000 از 16،000 نمونه PVST در کل و بدون محدودیت در کارت خط پشتیبانی می کند.

بهرحال با این حال، این ها مواردی است باید همزمان با توسعه دیتاسنتر ازنظر تعداد پورت و VLAN در نظر بگیرید.
 یکی دیگر از محدودیت های مقیاس پذیری، پورت های فیزیکی خام است – آیا سوئیچ مجتمع ظرفیت  کافی برای پشتیبانی تمام سوئیچ های ToR را دارد؟ در مورد پشتیبانی از اتصالات 10 گیگابیت  به هر سوئیچ ToR چطور؟، سوئیچ مجتمع چطور در پورتهای 10 گیگابیت درجه بندی می شود ؟

خلاصه ای از مزایای ToR (نکات مثبت):


مس “داخل رک” باقی می ماند. هیچ زیرساخت کابل کشی مسی و بزرگ نیاز نیست.
• هزینه های کابل کشی پایین تر.  زیرساخت اختصاصی کمتر برای کابل کشی و پچینگ. مدیریت کابل کشی تمیزتر.
• معماری مدولار و انعطاف پذیر “در هر رک”. ارتقا/ تغییرات آسان “در هر رک”.
• زیربنای فیبر نوری قابل استفاده در آینده، حفظ انتقال به 40G و 100G.
• کابل کشی مسی کوتاه به سرورها اجازه می دهد تا در آینده برای انتقال کم قدرت، کم هزینه 10G (10GBASE-CX1)، 40G.
• آمادگی  برای unified fabric در حال حاضر.

خلاصه ای از معایب ToR (نکات منفی):


تعداد سوئیچ های بیشتر برای مدیریت. پورت های بیشتر مورد نیاز در مجتمع.
• نگرانی های مقیاس پذیری بالقوه (پورت های منطقی STP، تراکم سوئیچ مجتمع).
• ترافیک بیشتر سرور-به-سرور لایه 2 در مجتمع
• رک های متصل در لایه 2. موارد بیشتر STP برای مدیریت.
• کنترل منحصر به فرد در هر 48 پورت (در هر سوئیچ)، مجموعه مهارت های بالاتر مورد نیاز برای تعویض سوئیچ.

پاسخ دهید

آدرس ایمیل شما منتشر نخواهد شد. فیلدهای اجباری مشخص شده اند *
شما می توانید از این تگ های HTML و ویژگی ها استفاده کنید: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>