أنماط تصميم للتحقق من صحة العناوين ذات الحجم الكبير على Google Cloud Platform

الهدف

يقدّم لك البرنامج التعليمي التحقّق من صحة العناوين بكميات كبيرة إرشادات حول سيناريوهات مختلفة يمكن فيها استخدام عمليات تحقّق عالية من العنوان. في هذا البرنامج التعليمي، سنقدم لك أنماط تصميم مختلفة في Google Cloud Platform لتشغيل "التحقّق من صحة العناوين بكميات كبيرة".

سنبدأ بإلقاء نظرة عامة على عملية "التحقّق من صحة العناوين كبيرة الحجم" في Google Cloud Platform باستخدام Cloud Run أو Compute Engine أو Google Kubernetes Engine لتنفيذ عمليات تنفيذ لمرة واحدة. سنرى بعد ذلك كيفية تضمين هذه الإمكانية كجزء من مسار البيانات.

بنهاية هذه المقالة، من المفترض أن تكون قد تعرّفت جيدًا على الخيارات المختلفة لتشغيل "التحقق من العنوان" بكميات كبيرة في بيئة Google Cloud.

البنية المرجعية في Google Cloud Platform

يتناول هذا القسم بشكل مفصّل أنماط التصميم المختلفة للتحقّق من العناوين بكميات كبيرة باستخدام Google Cloud Platform. من خلال استخدام Google Cloud Platform، يمكنك الدمج مع العمليات ومسارات البيانات الحالية.

إجراء التحقُّق من صحة العنوان بكميات كبيرة مرة واحدة على Google Cloud Platform

في ما يلي بنية مرجعية لكيفية إنشاء عملية دمج على Google Cloud Platform، وهي أكثر ملاءمةً للعمليات أو الاختبار لمرة واحدة.

الصورة

في هذه الحالة، ننصحك بتحميل ملف CSV إلى حزمة Cloud Storage. يمكن بعد ذلك تشغيل النص البرمجي للتحقق من صحة العناوين بكميات كبيرة من خلال بيئة تشغيل على السحابة الإلكترونية. ويمكنك تنفيذه في أي بيئة تشغيل أخرى، مثل Compute Engine أو Google Kubernetes Engine. يمكن أيضًا تحميل ملف CSV للناتج إلى حزمة Cloud Storage.

العمل كمسار بيانات في Google Cloud Platform

نمط النشر الموضح في القسم السابق رائع لاختبار التحقق من صحة العناوين ذات الحجم الكبير للاستخدام مرة واحدة بشكل سريع. ومع ذلك، إذا كنت بحاجة إلى استخدامها بانتظام كجزء من مسار البيانات، يمكنك الاستفادة بشكلٍ أفضل من إمكانات Google Cloud Platform الأصلية لجعلها أكثر فعالية. في ما يلي بعض التغييرات التي يمكنك إجراؤها:

الصورة

  • في هذه الحالة، يمكنك تفريغ ملفات CSV في حِزم Cloud Storage.
  • يمكن لمهمة تدفق البيانات اختيار العناوين التي ستتم معالجتها ثم تخزينها مؤقتًا في BigQuery.
  • يمكن توسيع مكتبة Python التابعة لـ Dataflow لتطبيق منطق "التحقق من العناوين ذات الحجم الكبير" من أجل التحقق من صحة العناوين من مهمة Dataflow.

تشغيل النص البرمجي من مسار بيانات كعملية متكررة طويلة الأمد

هناك نهج شائع آخر، وهو التحقّق من صحة مجموعة من العناوين كجزء من مسار نقل البيانات كعملية متكررة. قد يكون لديك أيضًا العناوين في مخزن بيانات bigquery. سنرى في هذا النهج كيفية إنشاء مسار متكرّر للبيانات (الذي يجب تشغيله يوميًا/أسبوعيًا/شهريًا)

الصورة

هذه البنية لها المزايا التالية:

  • باستخدام Cloud Scheduler، يمكن التحقّق من صحة العنوان بشكل دوري. يمكنك إعادة التحقق من العناوين على أساس شهري أو التحقق من صحة أي عناوين جديدة على أساس شهري أو ربع سنوي. تساعد هذه البنية في حل حالة الاستخدام هذه.

  • إذا كانت بيانات العملاء متوفرة في BigQuery، يمكن تخزين العناوين التي تم التحقّق منها أو علامات التحقّق مؤقتًا هناك مباشرةً. ملاحظة: ما الذي يمكن تخزينه مؤقتًا وكيف يمكن توضيحه بالتفصيل في مقالة التحقق من صحة العناوين ذات الأعداد الكبيرة

  • يوفر استخدام Memorystore مرونة أعلى وإمكانية معالجة المزيد من العناوين. تضيف هذه الخطوات حالة إلى مسار المعالجة بالكامل، وهو أمر ضروري للتعامل مع مجموعات بيانات العناوين الكبيرة جدًا. ويمكن استخدام تقنيات قواعد البيانات الأخرى، مثل Cloud SQL[https://cloud.google.com/sql] أو أي مجموعة أخرى من قواعد البيانات التي توفّرها Google Cloud Platform، هنا أيضًا. مع ذلك، نعتقد أنّ مخزن الذاكرة يعمل بشكل غير مثالي على تحقيق التوازن بين احتياجات التوسيع والبساطة، لذا يجب أن يكون الخيار الأول.

الخاتمة

من خلال تطبيق الأنماط الموضّحة هنا، يمكنك استخدام واجهة برمجة التطبيقات Address Checkation API لحالات الاستخدام المختلفة ومن حالات استخدام مختلفة على Google Cloud Platform.

لقد كتبنا مكتبة بايثون مفتوحة المصدر لمساعدتك في البدء في استخدام حالات الاستخدام الموضحة أعلاه. ويمكن استدعاؤها من سطر أوامر على جهاز الكمبيوتر أو من خلال Google Cloud Platform أو من مقدّمي خدمات السحابة الإلكترونية الآخرين.

يمكنك الاطّلاع على المزيد من المعلومات حول كيفية استخدام المكتبة من هذه المقالة.

الخطوات التالية

يمكنك تنزيل المستند الموجز تحسين الدفع والتسليم والعمليات باستخدام عناوين موثوقة وعرض البرنامج التعليمي على الويب تحسين الدفع والتسليم والعمليات باستخدام التحقّق من صحة العناوين .

قراءة إضافية مقترَحة:

المساهمون

تحتفظ Google بهذه المقالة. كتبه المساهمون التاليون في الأصل.
المؤلفون الرئيسيون:

هنريك فالف | مهندس الحلول
توماس Anglaret | مهندس الحلول
سارثاك غانغولي | مهندس حلول