Começar

Ao trabalhar com seu contato de vendas ou suporte para configurar o acesso à Transferência de dados v2.0, você vai receber um nome de bucket. Você precisa fornecer ao contato de vendas um grupo do Google que permita controlar o acesso aos arquivos de dados no Google Cloud Storage.

Você pode acessar seus dados usando um utilitário ou escrever seu próprio código.

Acessar dados usando a gsutil

A ferramenta gsutil é um aplicativo de linha de comando escrito em Python que permite acessar seus dados sem precisar programar. Por exemplo, você pode usar a gsutil como parte de um script ou arquivo em lote em vez de criar aplicativos personalizados.

Para começar a usar o gsutil, leia a documentação do gsutil. A ferramenta vai pedir suas credenciais na primeira vez que você a usar e depois as armazenará para uso posterior.

Exemplos da gsutil

É possível listar todos os arquivos usando a gsutil da seguinte maneira:

A gsutil usa grande parte da mesma sintaxe do UNIX, incluindo o asterisco curinga (*). Assim, é possível listar todos os arquivos NetworkImpression:

Também é fácil baixar um arquivo:

Você pode copiar seus arquivos dos buckets dispersos do DT Google para seu próprio bucket do GCS da API Google usando um script shell do Unix. Há duas opções:

• No gsutil, se você estiver usando um sistema Unix, execute o seguinte para todos os seus buckets diariamente:

  $ day=$(date --date="1 days ago" +"%m-%d-%Y")
  $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

• Outra solução, um pouco mais complicada, é usar um arquivo bash:

  #!/bin/bash
  
  set -x
  
  buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
  day=$(date --date="1 days ago" +"%m-%d-%Y")
  for b in ${buckets[@]}; do /
      gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
  done

Acessar dados de maneira programática

O Google Cloud Storage tem APIs e amostras para muitas linguagens de programação que permitem acessar seus dados de forma programática. Confira abaixo as etapas específicas da Transferência de dados v2.0 que você precisa seguir para criar uma integração funcional.

Acessar uma conta de serviço

Para começar a usar a Transferência de dados v2.0, primeiro use a ferramenta de configuração, que orienta você na criação de um projeto no console de APIs do Google e na ativação da API.

Para configurar uma nova conta de serviço:

1. Clique em Criar credenciais > Chave da conta de serviço.
2. Escolha se você quer fazer o download da chave pública/privada da conta de serviço como um arquivo P12 padrão ou como um arquivo JSON, que pode ser carregado por uma biblioteca cliente da API do Google.

Seu novo par de chave pública/privada é gerado, e o download dele é feito na sua máquina. Essa é a única cópia da chave. Você é responsável por armazená-la com segurança.

Mantenha essa janela aberta. Você vai precisar do e-mail da conta de serviço na próxima etapa.

Adicionar uma conta de serviço ao grupo

• Acesse Grupo do Google.
• Clique em "Meus grupos" e selecione o grupo que você usa para gerenciar o acesso ao bucket do Cloud Storage do DT v2.0.
• Clique em Gerenciar.
• Não clique em "Convidar participantes".
• Clique em "Adicionar participantes diretamente".
• Copie o e-mail da conta de serviço da etapa anterior na caixa de membros.
• Selecione "Nenhum e-mail"
• Clique no botão "Adicionar".

Cliquei em "Convidar participantes" por engano

Escopo

Todos os escopos transmitidos ao Cloud Storage precisam ser somente leitura

Por exemplo, ao usar a biblioteca de cliente Java, o escopo correto é:

StorageScopes.DEVSTORAGE_READ_ONLY