Objetivo
O tutorial Validação de endereços de alto volume orientou você em diferentes cenários em que a validação de endereços de alto volume pode ser usada. Neste tutorial, vamos apresentar diferentes padrões de design no Google Cloud Platform para executar a validação de endereço de alto volume.
Vamos começar com uma visão geral sobre como executar a Validação de endereço de alto volume no Google Cloud Platform com o Cloud Run, o Compute Engine ou o Google Kubernetes Engine para execuções únicas. Vamos ver como esse recurso pode ser incluído como parte de um pipeline de dados.
Ao final deste artigo, você vai entender bem as diferentes opções para executar a Validação de endereço em alto volume no seu ambiente do Google Cloud.
Arquitetura de referência no Google Cloud Platform
Esta seção aborda diferentes padrões de design para a validação de endereços de alto volume usando o Google Cloud Platform. Ao executar no Google Cloud Platform, você pode integrar os processos e pipelines de dados atuais.
Como executar a validação de endereços de alto volume uma vez no Google Cloud Platform
Confira abaixo uma arquitetura de referência sobre como criar uma integração no Google Cloud Platform que seja mais adequada para operações únicas ou testes.
Nesse caso, recomendamos fazer upload do arquivo CSV em um bucket do Cloud Storage. O script de validação de endereço de alto volume pode ser executado em um ambiente do Cloud Run. No entanto, é possível executá-lo em qualquer outro ambiente de execução, como o Compute Engine ou o Google Kubernetes Engine. O CSV de saída também pode ser enviado para o bucket do Cloud Storage.
Como executar como um pipeline de dados do Google Cloud Platform
O padrão de implantação mostrado na seção anterior é ótimo para testar rapidamente a Validação de endereço de alto volume para uso único. No entanto, se você precisar usá-lo regularmente como parte de um pipeline de dados, poderá aproveitar melhor os recursos nativos do Google Cloud Platform para torná-lo mais robusto. Estas são algumas das mudanças que você pode fazer:
- Nesse caso, é possível fazer o descarte de arquivos CSV em buckets do Cloud Storage.
- Um job do Dataflow pode selecionar os endereços a serem processados e armazenar em cache no BigQuery.
- A biblioteca Python do Dataflow pode ser estendida para ter a lógica de validação de endereços de alto volume para validar os endereços do job do Dataflow.
Executar o script de um pipeline de dados como um processo recorrente de longa duração
Outra abordagem comum é validar um lote de endereços como parte de um pipeline de dados de streaming como um processo recorrente. Você também pode ter os endereços em um repositório do BigQuery. Nesta abordagem, vamos conferir como criar um pipeline de dados recorrente (que precisa ser acionado diariamente/semanalmente/mensal)
- Faça upload do arquivo CSV inicial em um bucket do Cloud Storage.
- Use o Memorystore como um repositório de dados persistente para manter o estado intermediário do processo de longa duração.
- Armazene em cache os endereços finais em um repositório de dados do BigQuery.
- Configure o Cloud Scheduler para executar o script periodicamente.
Essa arquitetura tem as seguintes vantagens:
- Com o Cloud Scheduler, a validação de endereço pode ser feita periodicamente. Talvez seja necessário validar os endereços mensalmente ou validar novos endereços mensalmente/trimestralmente. Essa arquitetura ajuda a resolver esse caso de uso.
Se os dados do cliente estiverem no BigQuery, os endereços validados ou as flags de validação poderão ser armazenados em cache diretamente. Observação: o que pode ser armazenado em cache e como é descrito em detalhes no artigo sobre validação de endereços de alto volume
O uso do Memorystore oferece maior resiliência e capacidade de processar mais endereços. Essas etapas adicionam um estado a todo o pipeline de processamento, o que é necessário para processar conjuntos de endereços muito grandes. Outras tecnologias de banco de dados, como o Cloud SQL[https://cloud.google.com/sql], ou qualquer outro tipo de banco de dados que o Google Cloud Platform oferece, também podem ser usados aqui. No entanto, acreditamos que o memorystore perfectless equilibra a necessidade de escalonamento e simplicidade, por isso é a primeira escolha.
Conclusão
Ao aplicar os padrões descritos aqui, você pode usar a API Address Validation para diferentes casos de uso e de diferentes casos de uso na Plataforma Google Cloud.
Criamos uma biblioteca Python de código aberto para ajudar você a começar a usar os casos de uso descritos acima. Ele pode ser invocado em uma linha de comando no computador ou no Google Cloud Platform ou em outros provedores de nuvem.
Saiba mais sobre como usar a biblioteca neste artigo.
Próximas etapas
Baixe o documento técnico Melhorar a finalização da compra, o envio e as operações com endereços confiáveis e assista o webinar Como melhorar a finalização da compra, o envio e as operações com a validação de endereço .
Leitura adicional sugerida:
- Documentação da API Address Validation
- Geocodificação e validação de endereço
- Confira a demonstração da Address Validation.
Colaboradores
Este artigo é mantido pelo Google. Os seguintes colaboradores a escreveram originalmente.
Autores principais:
Henrik Valve | Engenheiro de soluções
Thomas Anglaret | Engenheiro de soluções
Sarthak Ganguly | Engenheiro de soluções