Comenzar

Cuando trabajes con tu contacto de ventas o asistencia para configurar el acceso a la Transferencia de datos v2.0, se te proporcionará un nombre de bucket. Deberás proporcionarle a tu contacto de ventas un Grupo de Google que te permita controlar el acceso a tus archivos de datos en Google Cloud Storage.

Puedes acceder a tus datos con una utilidad o escribir tu propio código.

Accede a los datos con gsutil

La herramienta gsutil es una aplicación de línea de comandos escrita en Python que te permite acceder a tus datos sin necesidad de escribir código. Por ejemplo, puedes usar gsutil como parte de una secuencia de comandos o un archivo de lote en lugar de crear aplicaciones personalizadas.

Para comenzar a usar gsutil, lee la documentación de gsutil. La herramienta te solicitará tus credenciales la primera vez que la uses y, luego, las almacenará para que las uses más adelante.

Ejemplos de gsutil

Puedes enumerar todos tus archivos con gsutil de la siguiente manera:

gsutil usa gran parte de la misma sintaxis que UNIX, incluido el asterisco (*) comodín, por lo que puedes enumerar todos los archivos NetworkImpression:

También es fácil descargar un archivo:

Puedes copiar tus archivos de los buckets de Google DT dispersos a tu propio bucket de GCS de la API de Google con una secuencia de comandos de shell de Unix. Hay dos opciones:

• En gsutil, si usas un sistema Unix, ejecuta lo siguiente para todos tus buckets a diario:

  $ day=$(date --date="1 days ago" +"%m-%d-%Y")
  $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

• Como alternativa, una solución un poco más compleja es usar un archivo bash:

  #!/bin/bash
  
  set -x
  
  buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
  day=$(date --date="1 days ago" +"%m-%d-%Y")
  for b in ${buckets[@]}; do /
      gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
  done

Accede a los datos de forma programática

Google Cloud Storage tiene APIs y muestras para muchos lenguajes de programación que te permiten acceder a tus datos de forma programática. A continuación, se indican los pasos específicos de la versión 2.0 de la Transferencia de datos que debes seguir para crear una integración que funcione.

Obtener una cuenta de servicio

Para comenzar a usar la API de Data Transfer v2.0, primero debes emplear la herramienta de configuración, que te guiará para crear un proyecto en la Consola de APIs de Google y habilitar la API.

Para configurar una cuenta de servicio nueva, haz lo siguiente:

1. Haz clic en Crear credenciales > Clave de cuenta de servicio.
2. Elige si deseas descargar la clave pública o privada de la cuenta de servicio como un archivo P12 estándar o como un archivo JSON que pueda cargar una biblioteca cliente de la API de Google.

Ya se generó y descargó el nuevo par de claves pública y privada en tu equipo, que será la única copia. Tú eres responsable de almacenarla de forma segura.

Asegúrate de mantener esta ventana abierta, ya que necesitarás el correo electrónico de la cuenta de servicio en el siguiente paso.

Agrega una cuenta de servicio a tu grupo

• Ir al Grupo de Google
• Haz clic en Mis grupos y selecciona el grupo que usas para administrar el acceso a tu bucket de Cloud Storage de DT v2.0.
• Haz clic en Administrar.
• No hagas clic en Invitar a miembros.
• Haz clic en Agregar miembros directamente.
• Copia el correo electrónico de la cuenta de servicio del paso anterior en el cuadro de miembros.
• Selecciona Sin correo electrónico.
• Haz clic en el botón Agregar.

Hice clic en Invitar miembros por accidente

Alcance

Todos los permisos que se pasen a Cloud Storage deben ser de solo lectura

Por ejemplo, cuando se usa la biblioteca cliente de Java, el alcance correcto que se debe usar es el siguiente:

StorageScopes.DEVSTORAGE_READ_ONLY