Jetzt starten

Wenn Sie mit Ihrem Vertriebs- oder Supportkontakt zusammenarbeiten, um den Zugriff auf Data Transfer V2.0 einzurichten, erhalten Sie einen Bucket-Namen. Sie müssen Ihrem Vertriebsmitarbeiter eine Google-Gruppe zur Verfügung stellen, mit der Sie den Zugriff auf Ihre Datendateien in Google Cloud Storage steuern können.

Sie können entweder über ein Dienstprogramm auf Ihre Daten zugreifen oder eigenen Code schreiben.

Mit gsutil auf Daten zugreifen

Das gsutil-Tool ist eine in Python geschriebene Befehlszeilenanwendung, mit der Sie auf Ihre Daten zugreifen können, ohne programmieren zu müssen. Sie können gsutil beispielsweise in einem Skript oder einer Batchdatei verwenden, anstatt benutzerdefinierte Anwendungen zu erstellen.

Lesen Sie die gsutil-Dokumentation, um mit gsutil zu beginnen. Beim ersten Mal werden Sie vom Tool aufgefordert, Ihre Anmeldedaten einzugeben. Diese werden dann für die spätere Verwendung gespeichert.

gsutil-Beispiele

So können Sie alle Ihre Dateien mit gsutil auflisten:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil verwendet weitgehend dieselbe Syntax wie UNIX, einschließlich des Platzhalter-Sternchens (*). So können Sie alle NetworkImpression-Dateien auflisten:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

So laden Sie eine Datei herunter:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Sie können Ihre Dateien aus den verteilten Google-Buckets für Digital Transformation in Ihren eigenen Google API GCS-Bucket kopieren. Dazu haben Sie zwei Möglichkeiten:

  • Wenn Sie in gsutil ein Unix-System verwenden, führen Sie den folgenden Befehl täglich für alle Ihre Buckets aus:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
    $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/
  • Alternativ können Sie auch eine Bash-Datei verwenden. Das ist allerdings etwas komplizierter:

    #!/bin/bash
    
    set -x
    
    buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
    day=$(date --date="1 days ago" +"%m-%d-%Y")
    for b in ${buckets[@]}; do /
        gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
    done

Programmatisch auf Daten zugreifen

Google Cloud Storage bietet APIs und Beispiele für viele Programmiersprachen, mit denen Sie programmatisch auf Ihre Daten zugreifen können. Im Folgenden finden Sie die Schritte, die speziell für die Datenübertragung Version 2.0 erforderlich sind, um eine funktionierende Integration zu erstellen.

Dienstkonten abrufen

Damit Sie die Datenübertragung v2.0 verwenden können, müssen Sie zuerst mithilfe des Einrichtungstools ein Projekt in der Google API Console erstellen und die API aktivieren.

So richten Sie ein neues Dienstkonto ein:

  1. Klicken Sie auf Anmeldedaten erstellen > Dienstkontoschlüssel.
  2. Wählen Sie aus, ob Sie den öffentlichen/privaten Schlüssel des Dienstkontos als Standard-P12-Datei oder als JSON-Datei herunterladen möchten, die von einer Google API-Clientbibliothek geladen werden kann.

Ihr neues öffentliches/privates Schlüsselpaar wird generiert und auf Ihren Computer heruntergeladen. Dies ist die einzige Kopie dieses Schlüssels. Sie sind dafür verantwortlich, dass er sicher aufbewahrt wird.

Lassen Sie dieses Fenster geöffnet, da Sie die E-Mail-Adresse des Dienstkontos im nächsten Schritt benötigen.

Dienstkonto Ihrer Gruppe hinzufügen

  • Google-Gruppe aufrufen
  • Klicken Sie auf „Meine Gruppen“ und wählen Sie die Gruppe aus, mit der Sie den Zugriff auf Ihren Cloud Storage-Bucket für Data Transfer V2.0 verwalten.
  • Klicken Sie auf „Verwalten“.
  • Klicken Sie nicht auf „Mitglieder einladen“.
  • Klicken Sie auf „Mitglieder direkt hinzufügen“.
  • Kopieren Sie die E-Mail-Adresse des Dienstkontos aus dem vorherigen Schritt in das Feld „Mitglieder“.
  • „Keine E-Mail“ auswählen
  • Klicken Sie auf die Schaltfläche „Hinzufügen“.

Ich habe versehentlich auf „Mitglieder einladen“ geklickt

Umfang

Alle an Cloud Storage übergebenen Bereiche müssen schreibgeschützt sein

Wenn Sie beispielsweise die Java-Clientbibliothek verwenden, ist der richtige Bereich:

StorageScopes.DEVSTORAGE_READ_ONLY