الگوهای طراحی اعتبارسنجی نشانی با حجم بالا

هدف اصلی

آموزش اعتبارسنجی نشانی با حجم بالا شما را در سناریوهای مختلفی که می‌توان از اعتبارسنجی نشانی با حجم بالا استفاده کرد راهنمایی کرد. در این آموزش، الگوهای طراحی مختلفی را در Google Cloud Platform برای اجرای «اعتبارسنجی نشانی با حجم بالا» به شما معرفی می‌کنیم.

با نمای کلی اجرای «اعتبارسنجی نشانی با حجم بالا» در Google Cloud Platform با Cloud Run،‏ Compute Engine، یا Google Kubernetes Engine برای اجراهای یک‌باره شروع می‌کنیم. سپس خواهیم دید که چگونه این قابلیت می‌تواند به‌عنوان بخشی از خط لوله داده گنجانده شود.

در پایان این مقاله، باید درک خوبی از گزینه‌های مختلف برای اجرای «اعتبارسنجی نشانی» در حجم بالا در محیط Google Cloud خود داشته باشید.

معماری مرجع در Google Cloud Platform

این بخش به الگوهای طراحی مختلف برای «اعتبارسنجی نشانی با حجم بالا» بااستفاده از Google Cloud Platform می‌پردازد. با اجرا در Google Cloud Platform، می‌توانید با فرایندها و خطوط داده موجود خود ادغام شوید.

اجرای یک‌باره «اعتبارسنجی نشانی با حجم بالا» در Google Cloud Platform

در زیر معماری مرجعی برای نحوه ساختن ادغام در Google Cloud Platform نشان داده شده است که برای عملیات‌های یک‌باره یا آزمایش مناسب‌تر است.

تصویر

در این حالت، توصیه می‌کنیم فایل CSV را در یک مخزن فضای ذخیره‌سازی ابری بارگذاری کنید. سپس می‌توان دستورات «اعتبارسنجی نشانی با حجم بالا» را از محیط Cloud Run اجرا کرد. اما می‌توانید آن را در هر محیط زمان اجرای دیگری مثل Compute Engine یا Google Kubernetes Engine اجرا کنید. فایل CSV خروجی را می‌توان در سطل فضای ذخیره‌سازی ابری نیز بارگذاری کرد.

درحال اجرا به‌عنوان خط لوله داده Google Cloud Platform

الگوی استقرار نشان‌داده‌شده در بخش قبلی برای آزمایش سریع «اعتبارسنجی نشانی با حجم بالا» برای استفاده یک‌باره عالی است. بااین‌حال، اگر لازم است به‌طور منظم از آن به‌عنوان بخشی از خط لوله داده استفاده کنید، می‌توانید از قابلیت‌های بومی Google Cloud Platform برای تقویت آن استفاده کنید. برخی‌از تغییراتی که می‌توانید ایجاد کنید عبارت‌اند از:

تصویر

  • در این حالت، می‌توانید فایل‌های CSV را در باکت‌های فضای ذخیره‌سازی ابری تخلیه کنید.
  • کار Dataflow می‌تواند نشانی‌های موردنظر را برای پردازش انتخاب کند و سپس در BigQuery ذخیره موقت کند.
  • کتابخانه Dataflow Python را می‌توان گسترش داد تا منطق «اعتبارسنجی نشانی با حجم بالا» را برای اعتبارسنجی نشانی‌ها از کار Dataflow داشته باشد.

اجرای اسکریپت از خط لوله داده به‌عنوان فرایند تکرارشونده طولانی‌مدت

رویکرد رایج دیگر، اعتبارسنجی دسته‌ای از نشانی‌ها به‌عنوان بخشی از خط لوله داده‌های جاری به‌عنوان فرایندی تکرارشونده است. همچنین ممکن است نشانی‌ها را در یک پایگاه داده bigquery داشته باشید. در این رویکرد خواهیم دید که چگونه یک خط لوله داده تکرارشونده (که باید روزانه/هفتگی/ماهانه راه‌اندازی شود) بسازیم.

تصویر

  • فایل CSV اولیه را در یک سطل Cloud Storage بارگذاری کنید.
  • از Memorystore به‌عنوان یک پایگاه داده ماندگار برای حفظ وضعیت میانی برای فرایند طولانی‌مدت استفاده کنید.
  • نشانی‌های نهایی را در یک پایگاه داده BigQuery ذخیره کنید.
  • Cloud Scheduler را راه‌اندازی کنید تا متن را به‌صورت دوره‌ای اجرا کند.

این معماری مزایای زیر را دارد:

  • بااستفاده از Cloud Scheduler، اعتبارسنجی نشانی می‌تواند به‌صورت دوره‌ای انجام شود. شاید بخواهید نشانی‌ها را به‌صورت ماهانه دوباره اعتبارسنجی کنید یا نشانی‌های جدید را به‌صورت ماهانه/سه‌ماهه اعتبارسنجی کنید. این معماری به حل آن مورد استفاده کمک می‌کند.

  • اگر داده‌های مشتری در BigQuery باشد، نشانی‌های معتبرشده یا «پرچم‌های» اعتبارسنجی را می‌توان مستقیماً در آنجا ذخیره کرد. توجه: آنچه می‌تواند ذخیره شود و نحوه انجام آن به‌طور مفصل در مقاله «اعتبارسنجی نشانی با حجم بالا» شرح داده شده است

  • استفاده از Memorystore انعطاف‌پذیری و توانایی پردازش نشانی‌های بیشتری را فراهم می‌کند. این مراحل به کل خط لوله پردازش که برای مدیریت مجموعه داده‌های آدرس بسیار بزرگ لازم است، حالت‌مندی اضافه می‌کند. فناوری‌های پایگاه داده دیگر مانند SQL ابری [https://cloud.google.com/sql] یا هر نوع پایگاه داده دیگری که Google Cloud Platform ارائه می‌دهد نیز می‌تواند در اینجا استفاده شود. بااین‌حال، معتقدیم memorystore به‌طور بی‌نقصی بین نیازهای مقیاس‌بندی و سادگی توازن برقرار می‌کند، بنابراین باید انتخاب اول باشد.

نتیجه‌گیری

با اعمال الگوهای شرح‌داده‌شده در اینجا، می‌توانید از Address Validation API برای موارد استفاده مختلف و از موارد استفاده مختلف در Google Cloud Platform استفاده کنید.

ما یک کتابخانه Python متن‌باز نوشته‌ایم تا به شما کمک کنیم با موارد استفاده شرح‌داده‌شده در بالا شروع کنید. می‌توان آن را از خط فرمان در رایانه یا از Google Cloud Platform یا سایر ارائه‌دهندگان ابری فراخوانی کرد.

در این مقاله درباره نحوه استفاده از کتابخانه بیشتر بدانید.

مراحل بعدی

گزارش رسمی بهبود تسویه‌حساب، تحویل، و عملیات با نشانی‌های قابل‌اعتماد را بارگیری کنید و وبینار بهبود تسویه‌حساب، تحویل، و عملیات با «اعتبارسنجی نشانی» را مشاهده کنید.

مطالعه بیشتر پیشنهادی:

همیاران

Google این مقاله را نگهداری می‌کند. همیاران زیر در ابتدا آن را نوشته‌اند.
نویسندگان اصلی:

Henrik Valve | مهندس راهکارها
Thomas Anglaret | مهندس راهکارها
Sarthak Ganguly | مهندس راهکارها