أنماط تصميم للتحقق من صحة العناوين ذات الحجم الكبير على Google Cloud Platform

الهدف

لقد ساعدك الدليل التعليمي التحقّق من صحة العناوين بكميات كبيرة في التعرّف على سيناريوهات مختلفة يمكن فيها استخدام ميزة التحقّق من صحة العناوين بكميات كبيرة. في هذا الدليل التعليمي، سنعرّفك على أنماط تصميم مختلفة ضمن Google Cloud Platform لتشغيل ميزة "التحقّق من العناوين" ذات الحجم الكبير.

سنبدأ بنظرة عامة على تنفيذ ميزة "التحقّق من العناوين" لعدد كبير من العناوين في Google Cloud Platform باستخدام Cloud Run أو Compute Engine أو Google Kubernetes Engine لتنفيذ عمليات لمرة واحدة. سنرى بعد ذلك كيف يمكن تضمين هذه الميزة كجزء من مسار بيانات.

بحلول نهاية هذه المقالة، من المفترض أن تكون قد اكتسبت فهمًا جيدًا للخيارات المختلفة لتشغيل ميزة "التحقّق من العنوان" بكميات كبيرة في بيئة Google Cloud.

البنية المرجعية على Google Cloud Platform

يتناول هذا القسم بالتفصيل أنماط التصميم المختلفة لميزة "التحقّق من العناوين" ذات الحجم الكبير باستخدام Google Cloud Platform. من خلال التشغيل على Google Cloud Platform، يمكنك الدمج مع العمليات الحالية وعمليات نقل البيانات.

تنفيذ عملية التحقّق من العناوين ذات الحجم الكبير مرة واحدة على Google Cloud Platform

في ما يلي بنية مرجعية حول كيفية إنشاء عملية دمج على Google Cloud Platform، وهي أكثر ملاءمةً للعمليات أو الاختبارات لمرة واحدة.

الصورة

في هذه الحالة، ننصحك بتحميل ملف CSV إلى حزمة Cloud Storage. يمكن بعد ذلك تشغيل نص التحقّق من العناوين ذات الحجم الكبير من بيئة Cloud Run. ومع ذلك، يمكنك تنفيذه في أي بيئة تشغيل أخرى، مثل Compute Engine أو Google Kubernetes Engine. يمكن أيضًا تحميل ملف CSV الناتج إلى حزمة Cloud Storage.

التشغيل كمسار بيانات في Google Cloud Platform

إنّ نمط النشر الموضّح في القسم السابق مثالي لاختبار ميزة "التحقّق من العناوين ذات الحجم الكبير" بسرعة لاستخدامها لمرة واحدة. ومع ذلك، إذا كنت بحاجة إلى استخدامه بانتظام كجزء من مسار بيانات، يمكنك الاستفادة بشكل أفضل من الإمكانات الأصلية في Google Cloud Platform لجعله أكثر فعّالية. تشمل بعض التغييرات التي يمكنك إجراؤها ما يلي:

الصورة

  • في هذه الحالة، يمكنك تفريغ ملفات CSV في حِزم Cloud Storage.
  • يمكن أن تلتقط مهمة Dataflow العناوين التي ستتم معالجتها ثم تخزينها مؤقتًا في BigQuery.
  • يمكن توسيع مكتبة Python في Dataflow لتوفير منطق للتحقّق من صحة العناوين ذات الحجم الكبير من وظيفة Dataflow.

تشغيل النص البرمجي من مسار بيانات كعملية متكرّرة طويلة الأمد

من الأساليب الشائعة الأخرى التحقّق من صحة مجموعة من العناوين كجزء من مسار بيانات البث كعملية متكررة. قد تكون العناوين لديك أيضًا في مستودع بيانات bigquery. في هذا النهج، سنرى كيفية إنشاء مسار بيانات متكرر (يجب تشغيله يوميًا أو أسبوعيًا أو شهريًا).

الصورة

  • حمِّل ملف CSV الأوّلي إلى حزمة Cloud Storage.
  • استخدِم Memorystore بصفتها مستودع بيانات دائمًا للحفاظ على الحالة الوسيطة للعملية التي تستغرق وقتًا طويلاً.
  • تخزين العناوين النهائية مؤقتًا في قاعدة بيانات BigQuery
  • يمكنك إعداد Cloud Scheduler لتشغيل النص البرمجي بشكل دوري.

تتمتع هذه البنية بالميزات التالية:

  • باستخدام Cloud Scheduler، يمكن إجراء عملية التحقّق من العنوان بشكل دوري. ننصحك بإعادة التحقّق من العناوين شهريًا أو التحقّق من أي عناوين جديدة شهريًا أو ربع سنويًا. وتساعد هذه البنية في حلّ حالة الاستخدام هذه.

  • إذا كانت بيانات العملاء في BigQuery، يمكن تخزين عناوين التحقق أو علامات التحقّق مؤقتًا فيها مباشرةً. ملاحظة: يمكن الاطّلاع على التفاصيل حول العناصر التي يمكن تخزينها مؤقتًا وكيفية تخزينها في مقالة التحقّق من العناوين ذات الحجم الكبير.

  • يوفر استخدام Memorystore قدرة أكبر على التحمل وإمكانية معالجة المزيد من العناوين. تضيف هذه الخطوات حالة إلى مسار المعالجة بالكامل، وهو أمر مطلوب لمعالجة مجموعات بيانات العناوين الكبيرة جدًا. يمكن أيضًا استخدام تقنيات قواعد بيانات أخرى، مثل Cloud SQL‏[https://cloud.google.com/sql] أو أي نوع آخر من قواعد البيانات تقدّمه Google Cloud Platform. ومع ذلك، نعتقد أنّ Memorystore يوازن بشكل مثالي بين احتياجات التوسّع والبساطة، وبالتالي يجب أن يكون الخيار الأول.

الخاتمة

من خلال تطبيق الأنماط الموضّحة هنا، يمكنك استخدام Address Validation API لحالات استخدام مختلفة ومن حالات استخدام مختلفة على Google Cloud Platform.

لقد كتبنا مكتبة Python مفتوحة المصدر لمساعدتك في بدء استخدام حالات الاستخدام الموضّحة أعلاه. يمكن تشغيله من سطر أوامر على جهاز الكمبيوتر أو من Google Cloud Platform أو من مزوّدي خدمات السحابة الإلكترونية الآخرين.

يمكنك الاطّلاع على مزيد من المعلومات عن كيفية استخدام المكتبة من خلال هذه المقالة.

الخطوات التالية

نزِّل ورقة البيانات تحسين الدفع والتسليم والعمليات باستخدام عناوين موثوقة ، وشاهِد البرنامج التعليمي على الويب تحسين الدفع والتسليم والعمليات باستخدام ميزة "التحقّق من العنوان" .

مراجع إضافية مقترَحة:

المساهمون

تُعدّ هذه المقالة من إعداد Google. كتب المساهمون التاليون هذه المقالة في الأصل.
المؤلفون الرئيسيون:

هنريك فالف | مهندس حلول
توماس أنغلارت | مهندس حلول
سارتاك غانغولي | مهندس حلول