Wenn Sie mit Ihrem Vertriebs- oder Supportkontakt zusammenarbeiten, um den Zugriff auf Data Transfer V2.0 einzurichten, erhalten Sie einen Bucket-Namen. Sie müssen Ihrem Vertriebsmitarbeiter eine Google-Gruppe zur Verfügung stellen, mit der Sie den Zugriff auf Ihre Datendateien in Google Cloud Storage steuern können.
Sie können entweder über ein Dienstprogramm auf Ihre Daten zugreifen oder eigenen Code schreiben.
Mit gsutil auf Daten zugreifen
Das gsutil-Tool ist eine in Python geschriebene Befehlszeilenanwendung, mit der Sie auf Ihre Daten zugreifen können, ohne programmieren zu müssen. Sie können gsutil beispielsweise in einem Skript oder einer Batchdatei verwenden, anstatt benutzerdefinierte Anwendungen zu erstellen.
Lesen Sie die gsutil-Dokumentation, um mit gsutil zu beginnen. Beim ersten Mal werden Sie vom Tool aufgefordert, Ihre Anmeldedaten einzugeben. Diese werden dann für die spätere Verwendung gespeichert.
gsutil-Beispiele
So können Sie alle Ihre Dateien mit gsutil auflisten:
gsutil ls gs://[bucket_name]/[object name/file name]
gsutil verwendet weitgehend dieselbe Syntax wie UNIX, einschließlich des Platzhalter-Sternchens (*). So können Sie alle NetworkImpression-Dateien auflisten:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
So laden Sie eine Datei herunter:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
Sie können Ihre Dateien aus den verteilten Google-Buckets für Digital Transformation in Ihren eigenen Google API GCS-Bucket kopieren. Dazu haben Sie zwei Möglichkeiten:
Wenn Sie in gsutil ein Unix-System verwenden, führen Sie den folgenden Befehl täglich für alle Ihre Buckets aus:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/
Alternativ können Sie auch eine Bash-Datei verwenden. Das ist allerdings etwas komplizierter:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs://
/ / done
Programmatisch auf Daten zugreifen
Google Cloud Storage bietet APIs und Beispiele für viele Programmiersprachen, mit denen Sie programmatisch auf Ihre Daten zugreifen können. Im Folgenden finden Sie die Schritte, die speziell für die Datenübertragung Version 2.0 erforderlich sind, um eine funktionierende Integration zu erstellen.
Dienstkonten abrufen
Damit Sie die Datenübertragung v2.0 verwenden können, müssen Sie zuerst mithilfe des Einrichtungstools ein Projekt in der Google API Console erstellen und die API aktivieren.
So richten Sie ein neues Dienstkonto ein:
- Klicken Sie auf Anmeldedaten erstellen > Dienstkontoschlüssel.
- Wählen Sie aus, ob Sie den öffentlichen/privaten Schlüssel des Dienstkontos als Standard-P12-Datei oder als JSON-Datei herunterladen möchten, die von einer Google API-Clientbibliothek geladen werden kann.
Ihr neues öffentliches/privates Schlüsselpaar wird generiert und auf Ihren Computer heruntergeladen. Dies ist die einzige Kopie dieses Schlüssels. Sie sind dafür verantwortlich, dass er sicher aufbewahrt wird.
Lassen Sie dieses Fenster geöffnet, da Sie die E-Mail-Adresse des Dienstkontos im nächsten Schritt benötigen.
Dienstkonto Ihrer Gruppe hinzufügen
- Google-Gruppe aufrufen
- Klicken Sie auf „Meine Gruppen“ und wählen Sie die Gruppe aus, mit der Sie den Zugriff auf Ihren Cloud Storage-Bucket für Data Transfer V2.0 verwalten.
- Klicken Sie auf „Verwalten“.
- Klicken Sie nicht auf „Mitglieder einladen“.
- Klicken Sie auf „Mitglieder direkt hinzufügen“.
- Kopieren Sie die E-Mail-Adresse des Dienstkontos aus dem vorherigen Schritt in das Feld „Mitglieder“.
- „Keine E-Mail“ auswählen
- Klicken Sie auf die Schaltfläche „Hinzufügen“.
Ich habe versehentlich auf „Mitglieder einladen“ geklickt
Umfang
Alle an Cloud Storage übergebenen Bereiche müssen schreibgeschützt sein
Wenn Sie beispielsweise die Java-Clientbibliothek verwenden, ist der richtige Bereich:
StorageScopes.DEVSTORAGE_READ_ONLY