รูปแบบการออกแบบการตรวจสอบที่อยู่ปริมาณมาก

วัตถุประสงค์

บทแนะนำเกี่ยวกับการตรวจสอบที่อยู่ปริมาณมากจะแนะนำสถานการณ์ต่างๆ ที่สามารถใช้การตรวจสอบที่อยู่ปริมาณมากได้ ในบทแนะนำนี้ เราจะแนะนำรูปแบบการออกแบบต่างๆ ภายใน Google Cloud Platform สำหรับการเรียกใช้ Address Validation ปริมาณมาก

เราจะเริ่มต้นด้วยภาพรวมเกี่ยวกับการเรียกใช้ Address Validation ปริมาณมากใน Google Cloud Platform ด้วย Cloud Run, Compute Engine หรือ Google Kubernetes Engine สำหรับการดำเนินการแบบครั้งเดียว จากนั้นเราจะมาดูวิธีรวมความสามารถนี้เป็นส่วนหนึ่งของ Data Pipeline

เมื่ออ่านบทความนี้จบ คุณควรมีความเข้าใจที่ดีเกี่ยวกับตัวเลือกต่างๆ ในการเรียกใช้ Address Validation ในปริมาณมากในสภาพแวดล้อม Google Cloud

สถาปัตยกรรมอ้างอิงใน Google Cloud Platform

ส่วนนี้จะเจาะลึกรูปแบบการออกแบบต่างๆ สำหรับ Address Validation ปริมาณมากโดยใช้ Google Cloud Platform การทำงานบน Google Cloud Platform ช่วยให้คุณผสานรวมกับกระบวนการและ Data Pipeline ที่มีอยู่ได้

การเรียกใช้ Address Validation ปริมาณมากแบบครั้งเดียวใน Google Cloud Platform

ด้านล่างนี้คือสถาปัตยกรรมอ้างอิงของวิธีสร้างการผสานรวมใน Google Cloud Platform ซึ่งเหมาะสำหรับการดำเนินการหรือการทดสอบแบบครั้งเดียวมากกว่า

รูปภาพ

ในกรณีนี้ เราขอแนะนําให้อัปโหลดไฟล์ CSV ไปยังที่เก็บข้อมูล Cloud Storage จากนั้นคุณจะเรียกใช้สคริปต์ High Volume Address Validation ได้จากสภาพแวดล้อม Cloud Run อย่างไรก็ตาม คุณสามารถเรียกใช้ในสภาพแวดล้อมรันไทม์อื่นๆ เช่น Compute Engine หรือ Google Kubernetes Engine ได้ นอกจากนี้ คุณยังอัปโหลด CSV เอาต์พุตไปยังที่เก็บข้อมูล Cloud Storage ได้ด้วย

ทำงานเป็น Data Pipeline ของ Google Cloud Platform

รูปแบบการติดตั้งใช้งานที่แสดงในส่วนก่อนหน้าเหมาะสำหรับการทดสอบ High Volume Address Validation อย่างรวดเร็วสำหรับการใช้งานครั้งเดียว อย่างไรก็ตาม หากคุณจำเป็นต้องใช้เป็นประจำโดยเป็นส่วนหนึ่งของ Data Pipeline คุณจะใช้ประโยชน์จากความสามารถแบบเนทีฟของ Google Cloud Platform ได้ดีขึ้นเพื่อให้มีประสิทธิภาพมากขึ้น การเปลี่ยนแปลงบางอย่างที่คุณทำได้มีดังนี้

รูปภาพ

  • ในกรณีนี้ คุณสามารถดัมพ์ไฟล์ CSV ในที่เก็บข้อมูล Cloud Storage ได้
  • งาน Dataflow สามารถเลือกที่อยู่ที่จะประมวลผลแล้วแคชใน BigQuery
  • ไลบรารี Dataflow Python สามารถขยายให้มีตรรกะสำหรับ Address Validation ปริมาณมากเพื่อตรวจสอบที่อยู่จากงาน Dataflow ได้

การเรียกใช้สคริปต์จาก Data Pipeline เป็นกระบวนการที่เกิดซ้ำเป็นเวลานาน

อีกวิธีหนึ่งที่พบบ่อยคือการตรวจสอบที่อยู่แบบเป็นกลุ่มโดยเป็นส่วนหนึ่งของ Data Pipeline แบบสตรีมมิงเป็นกระบวนการที่เกิดซ้ำ นอกจากนี้ คุณอาจมีที่อยู่ใน Datastore ของ BigQuery ด้วย ในแนวทางนี้ เราจะดูวิธีสร้าง Data Pipeline ที่เกิดซ้ำ (ซึ่งต้องทริกเกอร์ทุกวัน/สัปดาห์/เดือน)

รูปภาพ

  • อัปโหลดไฟล์ CSV เริ่มต้นไปยังที่เก็บข้อมูล Cloud Storage
  • ใช้ Memorystore เป็นพื้นที่เก็บข้อมูลถาวรเพื่อรักษาสถานะกลางสำหรับกระบวนการที่ทำงานเป็นเวลานาน
  • แคชที่อยู่สุดท้ายในที่เก็บข้อมูล BigQuery
  • ตั้งค่า Cloud Scheduler เพื่อเรียกใช้สคริปต์เป็นระยะๆ

สถาปัตยกรรมนี้มีข้อดีดังต่อไปนี้

  • คุณสามารถใช้ Cloud Scheduler เพื่อตรวจสอบที่อยู่เป็นระยะๆ ได้ คุณอาจต้องตรวจสอบที่อยู่อีกครั้งเป็นรายเดือน หรือตรวจสอบที่อยู่ใหม่เป็นรายเดือน/รายไตรมาส สถาปัตยกรรมนี้ช่วยแก้ปัญหากรณีการใช้งานดังกล่าวได้

  • หากข้อมูลลูกค้าอยู่ใน BigQuery คุณจะแคชที่อยู่ที่ตรวจสอบแล้วหรือแฟล็กการตรวจสอบได้โดยตรงที่นั่น หมายเหตุ: สิ่งที่แคชได้และวิธีแคชจะอธิบายไว้อย่างละเอียดในบทความ Address Validation ปริมาณมาก

  • การใช้ Memorystore จะช่วยเพิ่มความยืดหยุ่นและความสามารถในการประมวลผลที่อยู่ได้มากขึ้น ขั้นตอนนี้จะเพิ่มสถานะให้กับไปป์ไลน์การประมวลผลทั้งหมด ซึ่งจำเป็นสำหรับการจัดการชุดข้อมูลที่อยู่ขนาดใหญ่มาก เทคโนโลยีฐานข้อมูลอื่นๆ เช่น Cloud SQL[https://cloud.google.com/sql] หรือฐานข้อมูลประเภทอื่นๆ ที่ Google Cloud Platform มีให้บริการก็ใช้ที่นี่ได้เช่นกัน อย่างไรก็ตาม เราเชื่อว่า Memorystore มีความสมดุลอย่างสมบูรณ์แบบระหว่างความต้องการด้านการปรับขนาดและความเรียบง่าย จึงควรเป็นตัวเลือกแรก

บทสรุป

การใช้รูปแบบที่อธิบายไว้ที่นี่จะช่วยให้คุณใช้ Address Validation API สำหรับ Use Case ต่างๆ และจาก Use Case ต่างๆ ใน Google Cloud Platform ได้

เราได้เขียนไลบรารี Python แบบโอเพนซอร์สเพื่อช่วยให้คุณเริ่มต้นใช้งานกรณีการใช้งานที่อธิบายไว้ข้างต้น โดยสามารถเรียกใช้จากบรรทัดคำสั่งในคอมพิวเตอร์ หรือเรียกใช้จาก Google Cloud Platform หรือผู้ให้บริการคลาวด์รายอื่นๆ

ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีใช้คลังได้จากบทความนี้

ขั้นตอนถัดไป

ดาวน์โหลดเอกสารไวท์เปเปอร์เรื่องปรับปรุงการชำระเงิน การนำส่ง และการดำเนินการด้วยที่อยู่ที่เชื่อถือได้ และดูการสัมมนาผ่านเว็บเรื่องปรับปรุงการชำระเงิน การนำส่ง และการดำเนินการด้วย Address Validation

ข้อมูลเพิ่มเติมที่แนะนำให้อ่าน

ผู้ร่วมให้ข้อมูล

Google เป็นผู้ดูแลบทความนี้ ผู้เขียนต้นฉบับมีรายชื่อดังต่อไปนี้
ผู้เขียนหลัก:

Henrik Valve | วิศวกรโซลูชัน
Thomas Anglaret | วิศวกรโซลูชัน
Sarthak Ganguly | วิศวกรโซลูชัน