התחל בעבודה

כשעובדים עם איש הקשר במכירות או בתמיכה כדי להגדיר גישה לגרסה 2.0 של העברת נתונים, מקבלים שם של מאגר. תצטרכו לספק לאיש הקשר שלכם במכירות קבוצת Google שתאפשר לכם לשלוט בגישה לקובצי הנתונים שלכם ב-Google Cloud Storage.

אתם יכולים לגשת לנתונים באמצעות כלי או לכתוב קוד משלכם.

גישה לנתונים באמצעות gsutil

הכלי gsutil הוא אפליקציה לשורת הפקודה, שנכתבה ב-Python, שמאפשרת לכם לגשת לנתונים בלי שתצטרכו לכתוב קוד. לדוגמה, אפשר להשתמש ב-gsutil כחלק מסקריפט או מקובץ אצווה במקום ליצור אפליקציות בהתאמה אישית.

כדי להתחיל להשתמש ב-gsutil, כדאי לקרוא את התיעוד של gsutil. בפעם הראשונה שתשתמשו בכלי, תתבקשו להזין את פרטי הכניסה שלכם, והם יישמרו לשימוש בהמשך.

דוגמאות לשימוש ב-gsutil

כדי להציג רשימה של כל הקבצים באמצעות gsutil, מריצים את הפקודה הבאה:

gsutil ls gs://[bucket_name]/[object name/file name]

הכלי gsutil משתמש בתחביר דומה לזה של UNIX, כולל הכוכבית (*) כתו כללי לחיפוש, כך שאפשר לפרט את כל הקבצים מסוג NetworkImpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

קל גם להוריד קובץ:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

אתם יכולים להעתיק את הקבצים שלכם ממאגרי ה-DT המפוזרים של Google למאגר GCS של Google API משלכם באמצעות סקריפט של מעטפת Unix. יש שתי אפשרויות:

  • ב-gsutil, אם אתם משתמשים במערכת Unix, מריצים את הפקודה הבאה לכל הקטגוריות שלכם מדי יום:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • אפשרות אחרת, קצת יותר מסובכת, היא להשתמש בקובץ bash:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

גישה לנתונים באופן פרוגרמטי

ל-Google Cloud Storage יש ממשקי API ודוגמאות בשפות תכנות רבות שמאפשרים לכם לגשת לנתונים בצורה פרוגרמטית. בהמשך מפורטים השלבים הספציפיים לגרסה 2.0 של הכלי להעברת נתונים שצריך לבצע כדי ליצור שילוב תקין.

אחזור של חשבון שירות

כדי להתחיל להשתמש בכלי להעברת נתונים בגרסה 2.0, צריך קודם להשתמש בכלי ההגדרה, שמדריך אתכם בתהליך של יצירת פרויקט ב-Google API Console והפעלת ה-API.

כדי להגדיר חשבון שירות חדש:

  1. לוחצים על Create credentials > Service account key (יצירת אמצעי אימות > מפתח לחשבון שירות).
  2. בוחרים אם להוריד את המפתח הציבורי או הפרטי של חשבון השירות כקובץ P12 רגיל, או כקובץ JSON שאפשר לטעון באמצעות ספריית לקוח של Google API.

זוג המפתחות הציבורי/הפרטי החדש נוצר ומורד למחשב שלכם. זהו העותק היחיד של המפתח הזה. באחריותכם לאחסן אותו בצורה מאובטחת.

חשוב להשאיר את החלון הזה פתוח, כי תצטרכו את כתובת האימייל של חשבון השירות בשלב הבא.

הוספת חשבון שירות לקבוצה

  • עוברים אל קבוצת Google.
  • לוחצים על 'הקבוצות שלי' ובוחרים את הקבוצה שמשמשת לניהול הגישה לקטגוריה של Cloud Storage ב-DT v2.0.
  • לוחצים על 'ניהול'.
  • אל תלחצו על 'הזמנת חברים'!
  • לוחצים על 'צירוף אנשים ישירות'.
  • מעתיקים את כתובת האימייל של חשבון השירות מהשלב הקודם לתיבה members (חברים).
  • בוחרים באפשרות 'ללא אימייל'
  • לוחצים על לחצן ההוספה.

לחצתי בטעות על 'הזמנת חברים'

היקף

כל ההיקפים שמועברים אל Cloud Storage חייבים להיות קריאה בלבד

לדוגמה, כשמשתמשים בספריית הלקוח של Java, ההיקף הנכון לשימוש הוא: 

StorageScopes.DEVSTORAGE_READ_ONLY