Mẫu thiết kế cho quy trình xác thực địa chỉ khối lượng lớn trên Google Cloud Platform

Mục tiêu

Hướng dẫn Xác thực địa chỉ với số lượng lớn đã hướng dẫn bạn qua nhiều tình huống mà bạn có thể sử dụng tính năng xác thực địa chỉ với số lượng lớn. Trong hướng dẫn này, chúng tôi sẽ giới thiệu cho bạn các mẫu thiết kế khác nhau trong Google Cloud Platform để chạy tính năng Xác thực địa chỉ với số lượng lớn.

Chúng ta sẽ bắt đầu bằng thông tin tổng quan về việc chạy quy trình Xác thực địa chỉ với số lượng lớn trong Google Cloud Platform bằng Cloud Run, Compute Engine hoặc Google Kubernetes Engine cho các lần thực thi một lần. Sau đó, chúng ta sẽ xem cách đưa tính năng này vào quy trình dữ liệu.

Đến cuối bài viết này, bạn sẽ hiểu rõ các lựa chọn để chạy dịch vụ Xác thực địa chỉ với số lượng lớn trong môi trường Google Cloud.

Kiến trúc tham chiếu trên Google Cloud Platform

Phần này đi sâu hơn vào các mẫu thiết kế khác nhau để Xác thực địa chỉ với số lượng lớn bằng Google Cloud Platform. Khi chạy trên Nền tảng Google Cloud, bạn có thể tích hợp với các quy trình và quy trình dữ liệu hiện có.

Chạy tính năng Xác thực địa chỉ với số lượng lớn một lần trên Google Cloud Platform

Dưới đây là một kiến trúc tham chiếu về cách xây dựng một quy trình tích hợp trên Google Cloud Platform, phù hợp hơn cho các hoạt động một lần hoặc thử nghiệm.

hình ảnh

Trong trường hợp này, bạn nên tải tệp CSV lên một vùng lưu trữ Cloud Storage. Sau đó, bạn có thể chạy tập lệnh Xác thực địa chỉ với số lượng lớn trong môi trường Cloud Run. Tuy nhiên, bạn có thể thực thi trong bất kỳ môi trường thời gian chạy nào khác, chẳng hạn như Compute Engine hoặc Google Kubernetes Engine. Bạn cũng có thể tải tệp CSV đầu ra lên bộ chứa Cloud Storage.

Chạy dưới dạng quy trình truyền dữ liệu của Google Cloud Platform

Mẫu triển khai được trình bày trong phần trước rất phù hợp để kiểm thử nhanh tính năng Xác thực địa chỉ có số lượng lớn cho một lần sử dụng. Tuy nhiên, nếu cần sử dụng thường xuyên trong quy trình dữ liệu, thì bạn có thể tận dụng tốt hơn các chức năng gốc của Google Cloud Platform để làm cho quy trình này mạnh mẽ hơn. Bạn có thể thực hiện một số thay đổi như:

hình ảnh

  • Trong trường hợp này, bạn có thể kết xuất các tệp CSV vào bộ chứa Cloud Storage.
  • Một công việc Dataflow có thể chọn các địa chỉ cần xử lý rồi lưu vào bộ nhớ đệm trong BigQuery.
  • Bạn có thể mở rộng thư viện Dataflow Python để có logic cho tính năng Xác thực địa chỉ với số lượng lớn nhằm xác thực các địa chỉ trong lệnh Dataflow.

Chạy tập lệnh từ một quy trình dữ liệu dưới dạng một quy trình định kỳ kéo dài

Một phương pháp phổ biến khác là xác thực một loạt địa chỉ trong quy trình truyền dữ liệu trực tuyến như một quy trình định kỳ. Bạn cũng có thể có địa chỉ trong kho dữ liệu bigquery. Trong phương pháp này, chúng ta sẽ xem cách xây dựng một quy trình dữ liệu định kỳ (cần được kích hoạt hằng ngày/hằng tuần/hằng tháng)

hình ảnh

  • Tải tệp CSV ban đầu lên một bộ chứa Cloud Storage.
  • Sử dụng Memorystore làm kho dữ liệu cố định để duy trì trạng thái trung gian cho quy trình chạy trong thời gian dài.
  • Lưu địa chỉ cuối cùng vào bộ nhớ dữ liệu BigQuery.
  • Thiết lập Cloud Scheduler để chạy tập lệnh định kỳ.

Cấu trúc này có những ưu điểm sau:

  • Bạn có thể định kỳ xác thực địa chỉ bằng Cloud Scheduler. Bạn nên xác thực lại địa chỉ hằng tháng hoặc xác thực mọi địa chỉ mới hằng tháng/hằng quý. Kiến trúc này giúp giải quyết trường hợp sử dụng đó.

  • Nếu dữ liệu khách hàng nằm trong BigQuery, thì các địa chỉ đã xác thực hoặc Cờ xác thực có thể được lưu vào bộ nhớ đệm ngay tại đó. Lưu ý: Những nội dung có thể được lưu vào bộ nhớ đệm và cách lưu được mô tả chi tiết trong bài viết Xác thực địa chỉ với số lượng lớn

  • Việc sử dụng Memorystore giúp tăng khả năng phục hồi và khả năng xử lý nhiều địa chỉ hơn. Bước này thêm trạng thái vào toàn bộ quy trình xử lý, cần thiết cho việc xử lý các tập dữ liệu địa chỉ rất lớn. Bạn cũng có thể sử dụng các công nghệ cơ sở dữ liệu khác như Cloud SQL [https://cloud.google.com/sql] hoặc bất kỳ loại cơ sở dữ liệu nào khác mà Google Cloud Platform cung cấp. Tuy nhiên, chúng tôi tin rằng memorystore cân bằng hoàn hảo giữa nhu cầu mở rộng quy mô và sự đơn giản, do đó nên là lựa chọn đầu tiên.

Kết luận

Bằng cách áp dụng các mẫu được mô tả ở đây, bạn có thể sử dụng Address Validation API cho nhiều trường hợp sử dụng và từ nhiều trường hợp sử dụng trên Google Cloud Platform.

Chúng tôi đã viết một thư viện Python nguồn mở để giúp bạn bắt đầu với các trường hợp sử dụng được mô tả ở trên. Bạn có thể gọi công cụ này từ một dòng lệnh trên máy tính hoặc từ Google Cloud Platform hoặc các nhà cung cấp dịch vụ đám mây khác.

Tìm hiểu thêm về cách sử dụng thư viện qua bài viết này.

Các bước tiếp theo

Tải Cải thiện quy trình thanh toán, giao hàng và hoạt động bằng địa chỉ đáng tin cậy Sách trắng và xem Cải thiện quy trình thanh toán, giao hàng và hoạt động bằng tính năng Xác thực địa chỉ Hội thảo trực tuyến.

Tài liệu đọc thêm được đề xuất:

Người đóng góp

Google duy trì bài viết này. Những người đóng góp sau đây là tác giả ban đầu của bài viết này.
Tác giả chính:

Henrik Valve | Kỹ sư giải pháp
Thomas Anglaret | Kỹ sư giải pháp
Sarthak Ganguly | Kỹ sư giải pháp