Memulai

Saat Anda bekerja sama dengan kontak penjualan atau dukungan untuk menyiapkan akses ke Transfer Data v2.0, Anda akan diberi nama bucket. Anda harus memberikan Grup Google kepada kontak penjualan Anda agar Anda dapat mengontrol akses ke file data Anda di Google Cloud Storage.

Anda dapat memilih untuk mengakses data Anda menggunakan utilitas atau Anda dapat menulis kode Anda sendiri.

Mengakses data menggunakan gsutil

Alat gsutil adalah aplikasi command line, yang ditulis dalam Python, yang memungkinkan Anda mengakses data tanpa harus melakukan coding apa pun. Anda dapat, misalnya, menggunakan gsutil sebagai bagian dari skrip atau file batch, bukan membuat aplikasi kustom.

Untuk mulai menggunakan gsutil, baca dokumentasi gsutil. Alat ini akan meminta kredensial Anda saat pertama kali Anda menggunakannya, lalu menyimpannya untuk digunakan di lain waktu.

Contoh gsutil

Anda dapat mencantumkan semua file menggunakan gsutil sebagai berikut:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil menggunakan sebagian besar sintaksis yang sama dengan UNIX, termasuk tanda bintang (*) karakter pengganti, sehingga Anda dapat mencantumkan semua file NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Mendownload file juga mudah:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Anda dapat menyalin file dari bucket Google DT yang tersebar ke Bucket GCS Google API Anda sendiri menggunakan skrip shell Unix. Ada dua opsi:

  • Di gsutil, jika Anda menggunakan Sistem Unix, jalankan perintah berikut untuk semua bucket Anda setiap hari:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Atau, solusi yang sedikit lebih rumit adalah menggunakan file bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Mengakses data secara terprogram

Google Cloud Storage memiliki API dan contoh untuk banyak bahasa pemrograman yang memungkinkan Anda mengakses data secara terprogram. Berikut adalah langkah-langkah khusus untuk Transfer Data v2.0 yang harus Anda lakukan untuk membuat integrasi yang berfungsi.

Dapatkan akun layanan

Untuk mulai menggunakan Transfer Data v2.0, pertama-tama Anda harus menggunakan alat penyiapan, yang memandu Anda menyelesaikan pembuatan project di Konsol Google API dan mengaktifkan API.

Untuk menyiapkan akun layanan baru, lakukan hal berikut:

  1. Klik Create credentials > Service account key.
  2. Pilih apakah akan mendownload kunci publik/pribadi akun layanan sebagai file P12 standar, atau sebagai file JSON yang dapat dimuat oleh library klien Google API.

Pasangan kunci umum/pribadi baru Anda dibuat atau didownload ke komputer Anda, dan berfungsi sebagai satu-satunya salinan untuk kunci ini. Anda bertanggung jawab untuk menyimpannya dengan aman.

Pastikan jendela ini tetap terbuka, Anda akan memerlukan email akun layanan di langkah berikutnya.

Menambahkan akun layanan ke grup Anda

  • Buka Google Grup
  • Klik Grup Saya, lalu pilih grup yang Anda gunakan untuk mengelola akses ke Bucket Cloud Storage DT v2.0 Anda
  • Klik Kelola
  • Jangan klik Undang Anggota!
  • Klik Tambahkan anggota secara langsung
  • Salin email akun layanan dari langkah sebelumnya ke dalam kotak anggota
  • Pilih Tidak ada email
  • Klik tombol Tambahkan

Saya tidak sengaja mengklik Undang Anggota

Cakupan

Semua cakupan yang diteruskan ke Cloud Storage harus berupa Hanya Baca

Misalnya, saat menggunakan library klien Java, cakupan yang benar untuk digunakan adalah: 

StorageScopes.DEVSTORAGE_READ_ONLY