Rozpocznij

Gdy będziesz współpracować z osobą kontaktową z działu sprzedaży lub pomocy przy konfigurowaniu dostępu do narzędzia Przenoszenie danych w wersji 2.0, otrzymasz nazwę zasobnika. Musisz podać kontaktowi handlowemu grupę dyskusyjną Google, która umożliwia kontrolowanie dostępu do plików danych w Google Cloud Storage.

Możesz uzyskać dostęp do danych za pomocą narzędzia lub napisać własny kod.

Dostęp do danych za pomocą narzędzia gsutil

Narzędzie gsutil to aplikacja wiersza poleceń napisana w języku Python, która umożliwia dostęp do danych bez konieczności pisania kodu. Możesz na przykład używać gsutil w skrypcie lub pliku wsadowym zamiast tworzyć aplikacje niestandardowe.

Aby rozpocząć korzystanie z narzędzia gsutil, zapoznaj się z dokumentacją gsutil. Przy pierwszym użyciu narzędzia pojawi się prośba o podanie danych logowania, które zostaną zapisane do wykorzystania w przyszłości.

Przykłady użycia narzędzia gsutil

Aby wyświetlić listę wszystkich plików za pomocą narzędzia gsutil, wykonaj to polecenie:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil używa w dużej mierze tej samej składni co UNIX, w tym symbolu wieloznacznego w postaci gwiazdki (*), więc możesz wyświetlić listę wszystkich plików NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Pobieranie pliku jest również proste:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Możesz skopiować pliki z rozproszonych zasobników DT Google do własnego zasobnika GCS interfejsu Google API za pomocą skryptu powłoki systemu Unix. Masz 2 możliwości:

  • Jeśli używasz systemu Unix, w gsutil uruchamiaj codziennie to polecenie dla wszystkich zasobników:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Innym, nieco bardziej skomplikowanym rozwiązaniem jest użycie pliku bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Automatyczne uzyskiwanie dostępu do danych

Google Cloud Storage udostępnia interfejsy API i przykłady w wielu językach programowania, które umożliwiają programowy dostęp do danych. Poniżej znajdziesz czynności, które musisz wykonać, aby utworzyć działającą integrację z Przenoszeniem danych w wersji 2.0.

Uzyskiwanie konta usługi

Aby rozpocząć korzystanie z usługi przesyłania danych w wersji 2.0, musisz najpierw użyć narzędzia do konfiguracji, które przeprowadzi Cię przez proces tworzenia projektu w Konsoli interfejsów API Google i włączania interfejsu API.

Aby skonfigurować nowe konto usługi:

  1. Kliknij Utwórz dane logowania > Klucz konta usługi.
  2. Wybierz, czy chcesz pobrać klucz publiczny lub prywatny konta usługi jako standardowy plik P12, czy jako plik JSON, który można wczytać za pomocą biblioteki klienta interfejsu API Google.

Nowa para kluczy publicznych/prywatnych zostanie wygenerowana i pobrana na Twoje urządzenie. To jedyny egzemplarz tego klucza. Twoim obowiązkiem jest jego bezpieczne przechowywanie.

Nie zamykaj tego okna, ponieważ w następnym kroku będzie Ci potrzebny adres e-mail konta usługi.

Dodawanie konta usługi do grupy

  • Otwórz grupę dyskusyjną Google.
  • Kliknij Moje grupy i wybierz grupę, której używasz do zarządzania dostępem do zasobnika Cloud Storage narzędzia Przenoszenie danych w wersji 2.0.
  • Kliknij Zarządzaj.
  • Nie klikaj Zaproś członków!
  • Kliknij Dodaj członków bezpośrednio.
  • Skopiuj adres e-mail konta usługi z poprzedniego kroku do pola członków.
  • Wybierz Bez e-maili
  • Kliknij przycisk Dodaj.

Przez przypadek kliknąłem(-am) Zaproś członków

Zakres

Wszystkie zakresy przekazywane do Cloud Storage muszą mieć uprawnienia tylko do odczytu

Na przykład podczas korzystania z biblioteki klienta Java prawidłowy zakres to: 

StorageScopes.DEVSTORAGE_READ_ONLY