با AutoTrade شروع کنید

محسین پاتل

مهندس اصلی پایگاه داده در Auto Trader UK

یادداشت ویرایشگر: ما امروز از طریق Auto Trader ، بزرگترین بازار آنلاین خودرو در انگلستان می شنویم. Auto Trader قصد دارد روند خرید و فروش وسایل نقلیه در انگلستان را بهبود بخشد و بستری را برای مصرف کنندگان فراهم کند تا با خرده فروشان و تولید کنندگان ارتباط برقرار کنند. در اینجا نحوه استفاده از Auto Trader از Cloud SQL Google در سفر مهاجرت پایگاه داده خود از محل به داخل ابر استفاده کرد.

شما می توانید بگویید که نوآوری در DNA ما در Trader Auto است - ما نزدیک به 40 سال در حال رشد و تحول راه حل های تجاری خود در کنار مشتریان هستیم. Auto Trader که در سال 1977 به عنوان یک مجله چاپی تأسیس شد ، در سال 2013 کاملاً دیجیتال شد و از آن زمان به یکی از مارک های پیشرو دیجیتال در انگلستان تبدیل شده است. در حال حاضر ، Trader Auto حدود 50 میلیون برداشت از پلتفرم در ماه به ارمغان می آورد و سهم 75 ٪ از تمام دقیقه های صرف شده در سیستم عامل های طبقه بندی شده خودرو را در اختیار دارد.

هرچه رشد کردیم ، خودمان را پیدا کردیم که سریعتر حرکت کنیم. با گذشت سالها ، ما در زیرساخت های داخلی خود سرمایه گذاری زیادی کرده بودیم و از آنجا که شروع به انتقال به ابر کردیم ، گام های مهمی در اطمینان از املاک ما بومی انجام داده بودیم. با این وجود ، قابلیت هایی وجود داشت که بدون تعمیرات اساسی قابل توجه ، تحقق آن به طور فزاینده ای دشوار می شد. در سال 2018 ، ما تصمیم گرفتیم که به Google Cloud برویم و Google Kubeetes Engine (GKE) را پذیرفتیم زیرا احساس کردیم می توانیم با استفاده از این راه حل ها ، برخی از اهداف توسعه خود را سریعتر باز کنیم. برای تیم ما ، این به معنای تمرکز بیشتر بر روی خدمات و بانکهای اطلاعاتی است تا ساختمان روزانه و مدیریت زیرساخت ها.

از اختصاصی تا منبع باز

از نظر تاریخی ، ما یک پایگاه داده گسترده Oracle در محل داشتیم که در آن همه خدمات خود را تثبیت کردیم-در کل 200. در حالی که این کار برای توسعه برنامه های یکپارچه خوب کار می کرد ، مشخص شد که ما نیاز به تجزیه این پایگاه داده های بزرگ در تکه های کوچکتر داریم ، که محکم تر با خدمات خودشان ادغام شده است. چشم انداز بلند مدت ما همیشه این بوده است که بیشتر پایگاه داده-آگنوستیک باشد تا از قفل شدن در یک فروشنده واحد جلوگیری شود. در نتیجه ، ما قبلاً ردپای PL/SQL بسیار کم داشتیم. Google Cloud SQL برای ما مناسب طبیعی بود و اکنون در قلب استراتژی فروشگاه داده ما قرار دارد.

خدمات کاملاً مدیریت شده Cloud SQL سردرد نگهداری پایگاه داده را از بین می برد که به طور معمول انرژی زیادی را به خود اختصاص می دهد. ما می توانیم به Google اعتماد کنیم تا با مدیریت پشت صحنه از به روزرسانی ها ، پشتیبان گیری ، تکه ها یا خرابی ها مقابله کنیم و به مهندسان داده ما این امکان را می دهد تا زمان بیشتری را در یادگیری و تنظیم عملکرد سرمایه گذاری کنند.

تا به امروز ، ما حدود 65 ٪ از ردپای Oracle خود را به Cloud SQL مهاجرت کرده ایم ، تقریباً 2TB (13 ٪ از اندازه قبل از مهاجرت) داده ها هنوز برای تغییر چندین سرویس باقی مانده است. مهاجرت و حرکت از ردپای اوراکل ما در سال 2021 یک اولویت استراتژیک برای ما است.

خدمات کاملاً مدیریت شده Cloud SQL سردرد نگهداری پایگاه داده را از بین می برد که به طور معمول انرژی زیادی را به خود اختصاص می دهد.

تغییر ذهنیت با مهاجرت

هدف بلند مدت ما دور شدن از معماری پایگاه داده تلفیقی است که در آن سرویس ها باید یک موتور پایگاه داده را به اشتراک بگذارند. یک سرویس فقط باید بتواند به فروشگاه های داده خود دسترسی پیدا کند و نه پایگاه داده های سایر خدمات. تمام دسترسی های دیگر باید از طریق یک لایه سرویس باشد.

Trader Auto برای مهاجرت از موقعیت خوبی برخوردار بود و بیش از 60 ٪ از خدمات ما قبلاً "بومی ابر" ، قبل از انتقال به خوشه های GKE ، روی ابر خصوصی ما کار می کردند. خدمات باقیمانده برای ابر مجدداً مهندسی شدند و وابستگی به ذخیره سازی محلی محلی را از بین بردند و از مقیاس پذیری افقی اطمینان حاصل کردند. ما مجموعه ای از قوانین روشن در مورد چگونگی خدمات هر ردیف یا انتقادی برای اجرای در محیط ابر خود داریم. تاکنون ، ما 14 نمونه با حمایت MySQL داریم که از 63 سرویس و 11 نمونه PostgreSQL که 17 سرویس دارند پشتیبانی می کنند. این موارد از سرویس داده های مهم وسیله نقلیه ما پشتیبانی می کند ، که شامل جزئیات مربوط به هر وسیله نقلیه و خدمات موجودی ما است. نکته جالب توجه این است که ما از زمان مهاجرت شاهد پیشرفت عملکرد شدیدی هستیم. ما همچنین اخیراً ثبت نام و خدمات ثبت نام خود را به Postgres با هیاهو یا درام بسیار کمی مهاجرت کردیم و از آن زمان منابع را در نمونه Cloud SQL برای این سرویس با سهولت در یک پنجره پنج دقیقه ای مقیاس داده ایم.

به عنوان بخشی از این مهاجرت ، ما همچنین در تلاش هستیم تا رفتار را برای کاربران خود تغییر دهیم. ما دسترسی مستقیم برنامه نویسی را برای هر چیزی غیر از سرویس مالکیت به پایگاه داده های Cloud SQL محدود می کنیم تا به جلوگیری از وابستگی های خارجی ناشناخته کمک کنیم ، چیزی که باعث شده است در هنگام اوراکل درد ما را از نظر تاریخی درد کند.

درعوض ، ما اکنون دسترسی به داده ها را از طریق Cloud Data Google ، که محور انتقال داده ها از فروشگاه های داده های عملیاتی است ، معمولاً در پایگاه داده های Cloud SQL ، با استفاده از Kafka به عنوان چارچوب پردازش جریان برای فرود داده ها در BigQuery ، انبار داده های شرکت Google Cloud تسهیل می کنیم. داده های منبع ذخیره شده در BigQuery سپس با استفاده از ابزاری به نام DBT (Data Build Tool) برای تمیز کردن و پیوستن به سایر مجموعه داده های مفید پردازش می شوند و دوباره به BigQuery ذخیره می شوند. Looker ، که ابزار هوش تجاری ما (BI) است ، سپس به BigQuery متصل می شود تا به همکاران اجازه دهد تا بینش های تجاری را کشف ، تجزیه و تحلیل و به اشتراک بگذارند.

Cloud SQL سرعت ، آزادی و نوآوری را ارائه می دهد

حرکت به Cloud SQL به طور قابل توجهی بر نحوه کار تیم های ما تأثیر گذاشته است و به ما کمک کرده است تا یک تجربه توسعه یکپارچه را ایجاد کنیم.

به عنوان مثال ، این بار بار نگهداری را از تیم ما حذف کرده است. ما قبلاً در خارج از ساعات کاری برنامه ریزی می کردیم که مهندس پایگاه داده را برای روزها به طور همزمان از بین می برد. افزودن حافظه و CPU و به طور کلی مقیاس گذاری به یک رویداد غیر رویداد تبدیل شده است و به ما امکان می دهد با سرعت بسیار سریعتر از نقطه تصمیم گیری تا عمل حرکت کنیم. مدیریت Cloud SQL بسیار ساده تر است و تیم دیگر نیازی به نگرانی در مورد صرف ساعت در تکه های تعمیر و نگهداری ندارد ، که باعث بهبود بهره وری کلی تیم شده است.

حرکت به Cloud SQL به طور قابل توجهی بر نحوه کار تیم های ما تأثیر گذاشته است و به ما کمک کرده است تا یک تجربه توسعه یکپارچه را ایجاد کنیم.

Cloud SQL همچنین نحوه ارائه نمونه های جدید برای توسعه دهندگان را تغییر داده است. قبل از مهاجرت ، ما حتی نمی توانیم به توسعه دهندگان این گزینه را ارائه دهیم که نمونه خود را داشته باشند. آنها بدون در نظر گرفتن آنچه که روی آن کار می کرد ، مجبور به استفاده از یک نمونه تلفیقی بودند. اکنون ، ما می توانیم یک نمونه اختصاصی جدید را در کمتر از یک ساعت با چند خط کد Terraform تهیه کنیم. توسعه دهندگان فضای و آزادی خود را برای کار بدون خطر تأثیرگذاری بر سایر خدمات دارند. ما همچنین می توانیم سریعتر مسائل را عیب یابی کنیم و حتی می توانیم توسعه دهندگان را مستقیماً به داشبورد گرافانا پیوند دهیم تا دید بهتری به آنها بدهد.

از زمان مدرن سازی به GKE ، Istio و Cloud SQL ، انتشار Cadence Auto Trader با بیش از 140 ٪ (سال گذشته) بهبود یافته است ، و این امکان را برای اوج چشمگیر 458 نسخه برای تولید در یک روز واحد فراهم می کند. پلت فرم تحویل سریع Trader Auto بیش از 36،000 نسخه در یک سال با نرخ موفقیت بهبود یافته 99. 87 ٪ مدیریت کرد و همچنان در حال رشد است.

برای کسب اطلاعات بیشتر در مورد چگونگی بهبود دیدگاه خودرو ، دید ، چابکی و امنیت با مهاجرت به Google Cloud ، حتما مطالعه موردی Auto Trader UK را بخوانید.