فروردین ۱۴ ۱۳۹۷

تسکی که به خیر گذشت.

توی شرکت به این نتیجه رسیده بودیم که یه تعداد از فایل‌هایی که روی سرور داریم اضافی هست و باید کلاً پاک بشن. من که می‌گم یه تعداد شما خودتون یه تعداد خیلی بالا رو در نظر بگیرید. برای این کار از طرف یه تیم دیگه لیست فایل‌هایی که برامون مهم هستن و باید بمونن رو بهم ارسال کرده بودن (لیست A) و من باید همه‌ی فایل‌های غیر از اونها رو از روی استوریج پاک می‌کردم.

سناریوی خیلی پیچیده‌ای نیست کافیه من لیست فا‌یل‌های موجود رو تهیه کنم (لیست B)، فایل‌هایی از لیست ‌B که داخل لیست A هستن رو حذف کنم و لیست C رو بسازم و دونه دونه‌ی فایل‌های موجود توی لیست C رو حذف کنم. 🙂 خب من هم همین کار رو کردم. طبیعتاً این کار رو دستی انجام نمی‌دم و انتخاب اوّلم برای انجامش اسکریپت Bash بود. یه حلقه‌ی while که خطوط لیست B رو دونه دونه می‌خوند و توی لیست A دنبال اون می‌گشت اگر پیداش نمی‌کرد اون رو به یه فایل دیگه تحت عنوان فایل‌های لیست C اضافه می‌کرد.

از اونجایی که آدم خیلی محتاطی هستم و عملاً امکان تهیه‌ی نسخه‌ی پشتیبان نداشتم (حجم و تعداد فایل‌ها این اجازه رو به ما نمی‌داد!) حداقل‌ها رو برای کاهش خطا انجام دادم. در مرحله‌ی اوّل تعداد فایل لیست‌ها رو با یه جمع و تفریق ساده بررسی کردم چون اصولاً باید

(تعداد فایل‌های لیست B) – (تعداد فایل‌های لیست A) = (تعداد فایل‌ها لیست C)

حداقل دوّم این بود که چند تا از فایل‌های توی لیست C رو به صورت رندم توی لیست A چک کنم تا مبادا (احتمال خیلی خیلی پایین) اسکریپت اشتباه کرده باشه.

من در مرحله‌ی جمع و تفریق به مشکل خوردم. این معادله برقرار نبود!!!! تعداد اختلاف خیلی خیلی بالا بود. اسکریپت به خوبی و بدون خطا داشت اجرا می‌شد، بدون خطا تموم می‌شد ولی خروجی اون چیزی نبود که باید باشه. چیزای مختلفی رو چک کردم. کنار لیست C یه لیست دیگه به اسم D ساختم تا شروط به شکل if … else بررسی بشن و دقیقاً عملکرد اسکریپت رو ببینم ولی نتیجه تفاوتی نداشت. انواع لاگ‌ها رو فعال کردم ولی چیزی عایدم نشد. اسکریپت بدون خطا تموم می‌شد ولی جمع و تفریق اختلاف خیلی خیلی زیادی با مقادیر مورد انتظار داشت. در نهایت به صورت تصادفی متوجه شدم اسکپریت داخل لیست B از یه خطی جلوتر نمی‌ره و فقط ۱۵۰هزار تا (البته حدوداً چون مقدار واقعی یه خورده کمتر بود!) فایل رو چک می‌کنه!! هنوز نمی‌دونم مشکل چی بوده ولی خیلی مسخره بود. پس این اسکریپت رو بی‌خیال شدم و رفتم سراغ پایتون. خیلی بهتر از Bash عمل کرد و کار رو یک سره کرد برام.

بعد از اینکه دوتا حداقل احتیاطی رو رد کردم لیست واقعی فایل‌هایی که باید حذف می‌شدن جلوی روم بود. اقدام احتیاطی سوّم این بود که به جای حذف فایل‌ها اونها رو به یه دایرکتوری دیگه منتقل کنم و مثلاً چند روز منتظر بمونم اگر داد کسی در نیومد در نهایت یه جا پاکشون کنم ولی حجم فایل‌ها، تعداد فایل‌ها، ددلاین و فشار‌های کاری دیگه این اجازه رو بهم ندادن و مجبورم کردن مستقیم وارد پرسه‌ی حذف بشم و تا تموم شدن اون و حتی تا چند روز بعد از اون استرسش تحمل کنم. الان که دیگه همه چیز به خوبی و خوشی تموم شده به این نتیجه رسیدم اگر بار دیگه همچین تسکی داشته باشم و حتی اگر حجم و تعداد فایل‌ها اجازه‌ی تهیه‌ی پشیبان رو ندن به این صورت عمل کنم که همه‌ی فایل‌ها رو به شکل کاملاً ترتیبی تغییر نام بدم تا اگر فایلی به اشتباه داخل این لیست بود بتونم به راحتی ریکاورش کنم (البته به شرطی که اون «فشار‌های کاری دیگه» که بالا گفتم وجود نداشته باشن.)

چون آدم فراموشکاری هستم اینها رو نوشتم تا اون «دفعه‌ی بعد» بدونم چه تصمیماتی داشتم. شما چه ایده‌/تجربه‌ای دارید؟


اسفند ۱۴ ۱۳۹۶

آموزش Backup و Restore دیتابیس Couchbase server

Couchbase_logo

در مطالب قبلی روش نصب دیتابیس Couchbase Server و همچنین نحوه ی کلاستر کردن Couchbase Server  آموزش داده شد.در این مطلب قصد دارم تا نحوه ی تهیه نسخه ی پشتیبان (Backup) و همچنین روش بازیابی (Restore) کردن نسخه ی پشتیبان Couchbase Server نسخه ی ۴٫۱ آموزش داده شود.

 

تهیه نسخه پشتیبان (Backup) :

 

ابتدا یک پوشه برای نگهداری نسخه های پشتیبان ایجاد کنید :

 

#mkdir /data/backup

 

زمانی که Couchbase server به صورت Cluster باشد و بخواهید از تمامی Node های کلاستر و تمامی Bucket ها پشتیبان گیری کنید کافیست تا این دستور را اجرا کنید :

 

#/opt/couchbase/bin/cbbackup http://HOST:8091 /data/backup -u Administrator -p password

  • بجای HOST باید hostname یا IP سرور couchbase server خود را وارد کنید.
  • بجای data/backup/ باید مسیر مورد نظر خود جهت ذخیره نسخه ی backup را بنویسید.
  • بجای Administrator و password باید مشخصات کاربر couchbase server خود را بنویسید.

 

 

اگر بخواهید از یک Bucket بر روی تمامی Node های کلاستر backup بگیرید کافیست تا از این دستور استفاده کنید :

 

 

#/opt/couchbase/bin/cbbackup http://HOST:8091 /data/backup -u Administrator -p password -b default

 

نکته اینکه در دستور بالا default نام Bucket می باشد که شما می توانید نام Bucket مورد نظر خود را بنویسید.

 

اگر دیتابیس Couchbase Server شما فقط یک Node باشد و بخواهید از تمامی Bucket های آن Backup بگیرید کافیت تا از این دستور استفاده کنید :

 

#/opt/couchbase/bin/cbbackup http://HOST:8091 /data/backup -u Administrator -p password --single-node

 

 

 

بازیابی نسخه ی پشتیبان (Restore) :

 

جهت بازیابی یک Bucket بر روی کلاستر couchbase server کافیست تا از این دستور استفاده کنید :

 

 

#/opt/couchbase/bin/cbrestore /data/backup http://Administrator:password@HOST:8091 --bucket-source=myBucket

 

نکته اینکه بجای myBucket باید نام bucket مورد نظر خود را بنویسید.

 

 

برای بازیابی یک bucket بر روی یک bucket ذیگر بر روی کلاستر couchbase server کافیست تا از دستور پایین استفاده کنید :

 

#/opt/couchbase/bin/cbrestore /data/backup http://Administrator:password@HOST:8091 --bucket-source=sBucket --bucket-destination=dBucket

 

 

نکته اینکه بجای sBucket باید نام bucket مبدا خود و بجای dBucket باید نام bucket مقصد خود را بنویسید.