مشتریان گرامی مبین هاست
با توجه به مشکلات متعدد و جدی در تأمین برق مرکز مخابرات بهشتی که بخشی از زیرساختهای مبین هاست از طریق شرکت افرانت در آن مستقر است، این مجموعه ناگزیر به اتخاذ تصمیم برای مهاجرت و انتقال تمامی تجهیزات، سرورها و سرویسهای خود به سایر مراکز داده طرف قرارداد خود شده است.
مرکز مخابرات بهشتی یکی از مراکز استراتژیک حوزه ارتباطات کشور محسوب میشود و در گذشته نیز چندین مرتبه با مشکلات و اختلالات مختلف مواجه بوده است. با این حال، در رخدادهای پیشین معمولا مشکلات در مدت زمان کوتاهی پایش، بررسی و برطرف میشد.
اما این اینسیدنت، از نگاه فنی، از یک قطعی یا حادثه معمول فراتر رفته و بیشتر بیانگر وجود چالشهای جدی در مدیریت بوده است. طی هفته گذشته، سرویسهای مستقر در این مرکز در سه نوبت و در اثر قطعی برق با اختلال مواجه شدند و در هر مرتبه، بین ۱۵ تا ۳۰ دقیقه قطع کامل برق را تجربه کردیم.
از نخستین لحظات بروز این رخداد، تیم مدیریت فنی مبین هاست به صورت کامل درگیر مدیریت این اینسیدنت شد و تمامی ظرفیت فنی مجموعه برای عبور از این بحران، حفظ پایداری سرویسها و کاهش آثار آن به کار گرفته شد. همزمان، بررسیهای فنی نیز برای شناسایی عوامل مؤثر در بروز این رخداد آغاز شد.
برق به چه دلایلی قطع شد؟
بدون تردید، وقوع اینسیدنتها و اختلالات در صنعت مراکز داده، بخشی از ماهیت این حوزه است و هیچ ارائهدهنده خدماتی نمیتواند وقوع تمامی رخدادها را به صفر برساند. با این حال، از دیدگاه ما، رخدادهایی که منشأ آنها به ضعف در مدیریت، نگهداری یا بهرهبرداری از زیرساخت بازگردد، برای هیچ مشترک یا تأمینکننده خدماتی قابل پذیرش نیست و ما نیز به عنوان یک سرویس دهنده پایین دستی امروز درگیر ضعف مدیریت در لایه های بالاتر هستیم.
در جریان بررسیهای فنی و حضور میدانی تیم مبین هاست، موارد متعددی مشاهده و همچنین موضوعات مختلفی مطرح شد که میتواند در تحلیل این حادثه مؤثر باشد.
یکی از موضوعات مطرحشده، احتمال ارتباط قطعی برق با مسائل مرتبط با تأمین برق و پرداخت هزینههای آن بود. با این حال، به دلیل نبود شفافیت کافی و عدم دسترسی مبین هاست به اطلاعات رسمی، امکان تأیید یا رد این موضوع برای ما وجود ندارد و صرفا به عنوان یکی از موارد مطرحشده در جریان بررسی حادثه بیان میشود.
موضوع دیگر، این بود که با وجود قرار داشتن در گرمترین روزهای سال و افزایش قابل پیشبینی فشار بر شبکه برق، بخشی از تجهیزات تولید برق اضطراری در وضعیت آمادگی کامل قرار نداشتند. همچنین به نظر میرسید یکی از دیزلژنراتورها در زمان وقوع این رخداد جهت انجام تعمیرات اساسی از مرکز خارج شده بود. از دیدگاه فنی در صورت صحت این مشاهدات، چنین شرایطی میتواند بر آمادگی زیرساخت در زمان بحران تأثیرگذار باشد.
در طول این مدت، تیم فنی مبین هاست به صورت ۲۴ ساعته در مرکز مخابرات بهشتی مستقر بود و در چارچوب اختیارات و مسئولیتهای خود، تمامی پیگیریهای لازم را برای جلوگیری از تکرار این رخداد انجام داد.
بدون تردید، بیشترین آسیب چنین رخدادهایی متوجه مشتریان است و ما این موضوع را کاملا درک میکنیم. اما به عنوان یک ارائهدهنده زیرساخت که امروز میزبان بخش قابل توجهی از سرویسهای مهم کشور است، معتقدیم هیچ ارائهدهنده خدمات زیرساختی نباید حتی نگران این موضوع باشد که آیا برق ورودی مرکز داده برقرار است یا خیر.
تأمین سامانههای UPS و باتریهای پشتیبان، بخشی از الزامات مراکز داده است و این تجهیزات برای جبران قطعیهای کوتاهمدت طراحی شدهاند. اما نبود برق شهری برای بازههای زمانی طولانی، شرایطی نیست که بتوان آن را برای یک مرکز داده استاندارد قابل قبول دانست.
از دیدگاه مبین هاست، موارد زیر در صورت صحت، برای بهرهبرداری از یک مرکز داده قابل پذیرش نیست:
- عدم تأمین پایدار برق
- عدم پرداخت هزینه برق (در صورت صحت این موضوع)
- عدم انجام سرویس و نگهداری دورهای دیزلژنراتورها
- خارج بودن تجهیزات حیاتی از مدار در شرایط بحرانی
- استفاده از دیزلژنراتورهایی با ظرفیت کمتر از نیاز مصرفی
- استفاده از روشهای اضطراری مانند ژنراتور پرتابل یا استفاده از شلنگ آب برای خنکسازی تجهیزات تولید برق در زمان بهرهبرداری سنگین
در جریان بررسیهای فنی، به نظر میرسد بخشی از عوامل مؤثر در بروز این اختلال به نحوه مدیریت زیرساخت و عملکرد متولیان مرکز مخابرات بهشتی، شرکت کاراشاب و شرکت افرانت در حوزه مسئولیت آنها مرتبط بوده باشد. با این حال، تعیین مسئولیت نهایی هر یک از مجموعههای مرتبط، مستلزم دسترسی به گزارشهای رسمی و اطلاعات فنی کامل خواهد بود.
علیرغم پیگیریهای مکرر مبین هاست و با وجود اینکه خدمات دریافتی از این مجموعهها بر اساس قراردادهای تجاری ارائه میشود، از دیدگاه ما راهکار عملی مؤثری برای جلوگیری از تکرار این رخداد ارائه نشد و پاسخهای دریافتشده متناسب با ابعاد این بحران نبود.
بر همین اساس، مبین هاست تصمیم قطعی خود را برای مهاجرت کامل تجهیزات، سرورها و سرویسهای مستقر در مرکز مخابرات بهشتی اتخاذ کرده است. این تصمیم، با وجود هزینههای قابل توجه، پیچیدگیهای فنی و فشار عملیاتی بسیار بالا، با هدف حفظ پایداری سرویسها، کاهش ریسک و صیانت از منافع مشتریان اتخاذ شده است و فرآیند برنامهریزی و اجرای آن در کوتاهترین زمان ممکن آغاز خواهد شد.
گزارش اقدامات انجام شده
در پی اختلال توضیح داده شده که به دلیل مشکلات زیرساختی در این مرکز داده لازم میدانیم گزارشی از وضعیت، اقدامات انجامشده و تصمیمات آتی این مجموعه را به اطلاع شما برسانیم.
از زمان وقوع این رخداد تاکنون، با پیگیریهای مستمر تیم فنی مبین هاست و همچنین عدم تکرار قطعی برق شهری، این اختلال مجددا تکرار نشده است. با این حال، بررسیهای فنی و ارزیابی ریسک انجامشده نشان میدهد که زیرساخت فعلی همچنان با مخاطراتی همراه بوده و احتمال وقوع مجدد چنین رخدادهایی به طور کامل برطرف نشده است.
با توجه به مسئولیت حرفهای و تعهد مبین هاست نسبت به حفظ پایداری سرویسهای مشتریان، تصمیم بر آن شده است که فرآیند مهاجرت کامل زیرساخت از مرکز داده فعلی در کوتاهترین زمان ممکن برنامهریزی و اجرا شود. این تصمیم، علیرغم پیچیدگیهای فنی، هزینههای عملیاتی و فشار بالای اجرایی، با هدف کاهش ریسک، افزایش پایداری سرویسها و جلوگیری از تکرار حوادث مشابه اتخاذ شده است.
از تمامی مشتریان گرامی بابت مشکلات و دغدغههای ایجادشده صمیمانه پوزش میطلبیم و اطمینان میدهیم که تمامی اقدامات لازم برای بازگرداندن سرویسها به شرایط پایدار و ارتقای کیفیت زیرساخت در حال انجام است.
مخاطرات ناشی از قطعی برق در مراکز داده
قطعی برق در یک مرکز داده، صرفا منجر به اختلال در دسترسپذیری سرویسها نمیشود، بلکه میتواند خسارات فنی قابل توجهی نیز به همراه داشته باشد. از جمله مهمترین پیامدهای چنین رخدادهایی میتوان به موارد زیر اشاره کرد:
- احتمال آسیبدیدگی یا از دست رفتن بخشی از اطلاعات
- آسیب به تجهیزات سختافزاری و سرورها
- افزایش احتمال خرابی تجهیزات ذخیرهسازی از جمله هارددیسکها و SSDها
- افزایش ریسک بروز خطا در زیرساختهای مجازیسازی و ذخیرهسازی
متاسفانه در جریان این حادثه، یکی از سرویسهای مرتبط با زیرساخت مجازیسازی دچار از بین رفتن بخشی از اطلاعات شد. این موضوع برای مجموعه مبین هاست نیز کاملاً تأسفبرانگیز است.
بر اساس مفاد توافقنامه سطح خدمات SLA، برای کاربران آسیبدیده سرویس جایگزین ارائه خواهد شد و در نتیجه،کاربران میبایست اطلاعات خود را از نسخههای پشتیبان بازیابی کنند.. از این رو، همانند گذشته، توصیه اکید ما نگهداری منظم و مستقل از نسخههای پشتیبان اطلاعات است.
قدردانی از تلاش تیم فنی
لازم میدانیم از تمامی همکاران فنی مبین هاست که از نخستین دقایق وقوع حادثه به صورت شبانهروزی در محل حضور داشتند، صمیمانه قدردانی کنیم.
مدیریت چنین شرایطی مستلزم تصمیمگیری سریع، هماهنگی عملیاتی گسترده و فعالیت مستمر در شرایط پراسترس است. تلاش بیوقفه این تیم موجب شد بخش عمده سرویسها در کوتاهترین زمان ممکن به چرخه ارائه خدمات بازگردند و آثار حادثه به حداقل برسد.
اعتماد مشتریان، بزرگترین سرمایه مبین هاست است. به همین دلیل، حتی با وجود دشواریهای فنی و اجرایی، تصمیم به مهاجرت کامل زیرساخت با هدف ایجاد بستری پایدارتر و مطمئنتر برای ارائه خدمات اتخاذ شده است.
از صبوری، همراهی و اعتماد شما سپاسگزاریم و متعهد هستیم که روند اجرای این برنامه و هرگونه اطلاعیه تکمیلی را از طریق کانالهای رسمی مبین هاست به صورت شفاف اطلاعرسانی کنیم.
توضیح پایانی
لازم به تأکید است بخشی از موارد مطرحشده در این گزارش، حاصل مشاهدات میدانی، بررسیهای فنی و اطلاعاتی است که در زمان مدیریت این اینسیدنت در اختیار تیم مبین هاست قرار گرفته است.
با توجه به نبود شفافیت کافی از سوی مجموعههای ذیربط و عدم دسترسی مبین هاست به تمامی اطلاعات، گزارشهای فنی و مستندات رسمی، امکان تأیید یا رد قطعی برخی از موارد مطرحشده وجود ندارد. طرح این موارد صرفا با هدف شفافسازی ابعاد حادثه، ارائه تصویری از شرایط موجود و آگاهیبخشی به مشتریان محترم مبین هاست انجام شده و به منزله اعلام نظر قطعی درباره تمامی عوامل مؤثر در بروز این رخداد نیست.
