Google Cloud Platform에서 대용량 주소 검증을 위한 설계 패턴
컬렉션을 사용해 정리하기
내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.
목표
대량 주소 유효성 검사 튜토리얼에서는 대량 주소 유효성 검사를 사용할 수 있는 다양한 시나리오를 안내했습니다. 이 튜토리얼에서는 Google Cloud Platform 내에서 대량 주소 유효성 검사를 실행하기 위한 다양한 설계 패턴을 소개합니다.
일회성 실행을 위해 Cloud Run, Compute Engine 또는 Google Kubernetes Engine을 사용하여 Google Cloud Platform에서 대량 주소 유효성 검사를 실행하는 방법을 간략하게 살펴보겠습니다. 그런 다음 이 기능을 데이터 파이프라인의 일부로 포함하는 방법을 알아봅니다.
이 도움말을 끝까지 읽으면 Google Cloud 환경에서 주소 유효성 검사를 대량으로 실행하는 다양한 옵션을 잘 이해할 수 있습니다.
이 섹션에서는 Google Cloud Platform을 사용하여 대량 주소 유효성 검사를 위한 다양한 설계 패턴을 자세히 살펴봅니다. Google Cloud Platform에서 실행하면 기존 프로세스 및 데이터 파이프라인과 통합할 수 있습니다.
다음은 일회성 작업이나 테스트에 더 적합한 Google Cloud Platform에서 통합을 빌드하는 방법을 보여주는 참조 아키텍처입니다.
이 경우 CSV 파일을 Cloud Storage 버킷에 업로드하는 것이 좋습니다. 그런 다음 Cloud Run 환경에서 대량 주소 유효성 검사 스크립트를 실행할 수 있습니다.
하지만 Compute Engine 또는 Google Kubernetes Engine과 같은 다른 런타임 환경에서 실행할 수 있습니다.
출력 CSV를 Cloud Storage 버킷에 업로드할 수도 있습니다.
이전 섹션에 표시된 배포 패턴은 일회성 사용을 위해 대량 주소 유효성 검사를 빠르게 테스트하는 데 적합합니다.
하지만 데이터 파이프라인의 일부로 정기적으로 사용해야 하는 경우 Google Cloud Platform 네이티브 기능을 활용하여 더 강력하게 만들 수 있습니다. 다음과 같은 사항을 변경할 수 있습니다.
데이터 파이프라인에서 스크립트를 장기 반복 프로세스로 실행
또 다른 일반적인 방법은 스트리밍 데이터 파이프라인의 일부로 주소 일괄 처리를 반복적인 프로세스로 검증하는 것입니다.
BigQuery 데이터 스토어에 주소가 있을 수도 있습니다. 이 접근 방식에서는 매일/매주/매월 트리거해야 하는 반복 데이터 파이프라인을 빌드하는 방법을 알아봅니다.
이 아키텍처에는 다음과 같은 장점이 있습니다.
- Cloud Scheduler를 사용하면 주소 유효성 검사를 주기적으로 실행할 수 있습니다. 주소를 매월 재검증하거나 새 주소를 매월/분기별로 검증하는 것이 좋습니다. 이 아키텍처는 해당 사용 사례를 해결하는 데 도움이 됩니다.
고객 데이터가 BigQuery에 있는 경우 검증된 주소 또는 검증 플래그를 여기에 직접 캐시할 수 있습니다.
참고: 캐시할 수 있는 항목과 방법은 대량 주소 유효성 검사 도움말에 자세히 설명되어 있습니다.
Memorystore를 사용하면 복원력이 높아지고 더 많은 주소를 처리할 수 있습니다. 이 단계에서는 매우 큰 주소 데이터 세트를 처리하는 데 필요한 상태를 전체 처리 파이프라인에 추가합니다.
Cloud SQL[https://cloud.google.com/sql] 또는 Google Cloud Platform에서 제공하는 기타 데이터베이스 버전과 같은 다른 데이터베이스 기술도 여기에서 사용할 수 있습니다. 하지만 Memorystore는 확장성과 단순성 요구사항의 균형을 완벽하게 맞추므로 첫 번째 선택이 되어야 합니다.
결론
여기에 설명된 패턴을 적용하면 Google Cloud Platform에서 다양한 사용 사례에 대해 그리고 다양한 사용 사례에서 주소 유효성 검사 API를 사용할 수 있습니다.
위에서 설명한 사용 사례를 시작하는 데 도움이 되는 오픈소스 Python 라이브러리가 있습니다. 컴퓨터의 명령줄에서 호출하거나 Google Cloud Platform 또는 다른 클라우드 제공업체에서 호출할 수 있습니다.
라이브러리 사용 방법에 관한 자세한 내용은 이 도움말을 참고하세요.
다음 단계
신뢰할 수 있는 주소로 결제, 배송, 운영 개선 백서를 다운로드하고 주소 확인으로 결제, 배송, 운영 개선 웨비나를 시청하세요.
추천 추가 자료:
참여자
Google에서 이 도움말을 유지관리합니다. 다음 참여자가 원래 작성했습니다.
주요 저자:
헨리크 밸브 | 솔루션 엔지니어
토마스 앙글라레 | 솔루션 엔지니어
사르탁 강굴리 | 솔루션 엔지니어
달리 명시되지 않는 한 이 페이지의 콘텐츠에는 Creative Commons Attribution 4.0 라이선스에 따라 라이선스가 부여되며, 코드 샘플에는 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 Google Developers 사이트 정책을 참조하세요. 자바는 Oracle 및/또는 Oracle 계열사의 등록 상표입니다.
최종 업데이트: 2025-08-27(UTC)
[null,null,["최종 업데이트: 2025-08-27(UTC)"],[[["\u003cp\u003eThis guide provides various design patterns for performing high volume address validation using Google Cloud Platform, integrating with existing processes and pipelines.\u003c/p\u003e\n"],["\u003cp\u003eYou can leverage Cloud Run, Compute Engine, or Google Kubernetes Engine for one-time address validation tasks, uploading data to Cloud Storage for processing.\u003c/p\u003e\n"],["\u003cp\u003eFor recurring data pipelines, use Cloud Storage, Dataflow, and BigQuery to efficiently process and validate large address datasets regularly.\u003c/p\u003e\n"],["\u003cp\u003eTo implement a long-lasting recurring address validation process, use Memorystore for persistent storage, Cloud Scheduler for periodic triggers, and BigQuery for caching results.\u003c/p\u003e\n"],["\u003cp\u003eThis approach allows for periodic revalidation of existing addresses and validation of new ones, offering higher resiliency and the ability to process large datasets.\u003c/p\u003e\n"]]],["This content outlines how to perform high-volume address validation on Google Cloud Platform. It details running validation scripts from Cloud Run, Compute Engine, or Kubernetes Engine for one-time tasks. For data pipelines, it suggests using Cloud Storage for CSV files, Dataflow for processing, and BigQuery for caching. Recurring processes leverage Cloud Storage, Memorystore, and BigQuery, scheduled by Cloud Scheduler. It highlights an open-source Python library for implementation and provides resources for further learning.\n"],null,["Objective\n\nThe [High Volume Address Validation](https://developers.google.com/maps/architecture/high-volume-address-validation) tutorial guided you through different scenarios where high volume address validation can be used. In this tutorial, we will introduce you to different design patterns within Google Cloud Platform for running High Volume Address Validation.\n\nWe will start with an overview on running High Volume Address Validation in Google Cloud Platform with Cloud Run, Compute Engine or Google Kubernetes Engine for one time executions. We will then see how this capability can be included as part of a data pipeline.\n\nBy the end of this article you should have a good understanding of the different options for running Address Validation in high volume in your Google Cloud environment.\n| **Try now:** Visit cloud console and enable the [Address Validation API](https://console.cloud.google.com/marketplace/product/google/addressvalidation.googleapis.com?utm_source=architecture_high_volume).\n\nReference architecture on Google Cloud Platform\n\nThis section dives deeper into different design patterns for High Volume Address Validation using [Google Cloud Platform](https://cloud.google.com/). By running on Google Cloud Platform, you can integrate with your existing processes and data pipelines.\n\nRunning High Volume Address Validation one time on Google Cloud Platform\n\nShown below is a reference architecture of how to build an integration\non Google Cloud Platform which is more suitable for one off operations or testing.\n\nIn this case, we recommend uploading the CSV file to a [Cloud Storage](https://cloud.google.com/storage/docs/creating-buckets) bucket. The High Volume Address Validation script can then be run from a [Cloud Run](https://cloud.google.com/run) environment.\nHowever you can execute it any other runtime environment like [Compute Engine](https://cloud.google.com/compute) or [Google Kubernetes Engine](https://cloud.google.com/kubernetes-engine).\nThe output CSV can also be uploaded to the [Cloud Storage](https://cloud.google.com/storage/docs/creating-buckets) bucket.\n\nRunning as a Google Cloud Platform data pipeline\n\nThe deployment pattern shown in the previous section is great for quickly testing High Volume Address Validation for one time usage.\nHowever if you need to use it regularly as part of a data pipeline, then you can better leverage Google Cloud Platform native capabilities to make it more robust. Some of the changes which you can make include:\n\n- In this case, you can dump CSV files in [Cloud Storage](https://cloud.google.com/storage/docs/creating-buckets) buckets.\n- A [Dataflow](https://cloud.google.com/dataflow) job can pick up the addresses to be processed and then cache in [BigQuery](https://cloud.google.com/bigquery/docs/introduction).\n- The [Dataflow Python library](https://cloud.google.com/dataflow/docs/quickstarts/create-pipeline-python) can be be extended to have logic for High Volume Address Validation to validate the addresses from the Dataflow job.\n\nRunning the script from a data pipeline as a long lasting recurring process\n\nAnother common approach is to validate a batch of addresses as part of a streaming data pipeline as a recurring process.\nYou may also have the addresses in a bigquery datastore. In this approach we will see how to build out a recurring data pipeline (which needs to be triggered daily/weekly/monthly)\n\n- Upload the initial CSV file to a [Cloud Storage](https://cloud.google.com/storage/docs/creating-buckets) bucket.\n- Use [Memorystore](https://cloud.google.com/memorystore) as a persistent datastore to maintain intermediate state for the long running process.\n- Cache the final addresses in a [BigQuery](https://cloud.google.com/bigquery/docs/introduction) datastore.\n- Set up [Cloud Scheduler](https://cloud.google.com/scheduler) to run the script periodically.\n\nThis architecture has the following advantages:\n\n- Using [Cloud Scheduler](https://cloud.google.com/scheduler), address validation can be done periodically. You might want to revalidate the addresses on a monthly basis or validate any new addresses on a monthly/quarterly basis. This architecture helps solve that use case.\n- If customer data is in [BigQuery](https://cloud.google.com/bigquery/docs/introduction), then the validated addresses or the validation Flags can be cached directly there.\n Note: What can be cached and how is described in details in the [High Volume Address Validation article](https://developers.google.com/maps/architecture/high-volume-address-validation#caching_for_production_use)\n\n- Using [Memorystore](https://cloud.google.com/memorystore) provides higher resiliency and ability to process more addresses. This steps adds a statefulness to the whole processing pipeline which is needed for handling very large address datasets.\n Other database technologies like cloud SQL\\[https://cloud.google.com/sql\\] or any other [flavour of database](https://cloud.google.com/products/databases) which Google cloud Platform offers can be used here as well. However we believe memorystore perfectless balances the scaling and simplicity needs, thus should be the first choice.\n\nConclusion\n\nBy applying the patterns described here, you can use Address Validation API for different use cases and from different use cases on Google Cloud Platform.\n\nWe have written an open-source Python library to help you get started with the use cases described above. It can be invoked from a command line on your computer or it can be invoked from [Google Cloud Platform](https://cloud.google.com/) or other cloud providers.\n\nLearn more about how to use the library from this [article](https://developers.google.com/maps/architecture/high-volume-address-validation-library-oss).\n\nNext Steps\n\nDownload the [Improve checkout, delivery, and operations with reliable addresses](https://mapsplatform.withgoogle.com/address-validation-whitepaper/home.html?utm_source=architecture&utm_medium=website&utm_campaign=FY23-Q1-global-Maps-website-dl-GMP-AV-Whitepaper&utm_content=av_whitepaper)Whitepaper and view the [Improving checkout, delivery, and operations with Address Validation](https://mapsonair.withgoogle.com/events/improving-checkout-operations-with-address-validation-webinar?utm_source=architecture&utm_medium=website&utm_campaign=FY23-Q1-global-Maps-onlineevent-er-GMP-Improving-Ops-with-Address-Validation&utm_content=january_webinar)Webinar.\n\nSuggested further reading:\n\n- [Address Validation API Documentation](https://developers.google.com/maps/documentation/address-validation)\n- [Geocoding and Address Validation](https://developers.google.com/maps/architecture/geocoding-address-validation)\n- Explore the [Address Validation demo](https://developers.google.com/maps/documentation/address-validation/demo)\n\nContributors\n\nGoogle maintains this article. The following contributors originally wrote it. \n\nPrincipal authors:\n\n[Henrik Valve](https://www.linkedin.com/in/henrikvalve/) \\| Solutions Engineer \n\n[Thomas Anglaret](https://www.linkedin.com/in/thomas-anglaret/) \\| Solutions Engineer \n\n[Sarthak Ganguly](https://www.linkedin.com/in/sarthakganguly/) \\| Solutions Engineer"]]
