שימוש בשרת SFTP כללי

שרת ה-SFTP של פיד כללי מאפשר להעלות כמה סוגי פידים לשרת SFTP יחיד לכל סביבה. במדריך הזה נסביר איך להשתמש בשרת SFTP כללי, ונספק קישורים למדריך המתאים לפיד שאתם מתכננים להשתמש בו.

שרת SFTP כללי מסתמך על שתי העלאות נפרדות:

1. קובץ תיאור: מתאר את סוג הפיד שאתם מעלים
2. קבצים של פידים: התוכן של הפיד עצמו

מבנה שדה התיאור

קובץ התיאור מועלה כדי ליידע את המערכת שלנו לגבי סוג הפיד שאתם מעלים. כך נוכל לאמת ולעבד את הפיד בצורה נכונה. צריך להעלות את קובץ התיאור לפני תוכן הפיד, והוא חייב לעמוד בדרישות הבאות לגבי שמות:

• צריך להשתמש בסיומת הקובץ .filesetdesc.json לקובץ התיאור.
• שם הקובץ של כל תיאור צריך להיות ייחודי, ואי אפשר לעשות בו שימוש חוזר בהעלאות שונות. מומלץ לכלול את חותמת הזמן של היצירה ואת שם הפיד בשם הקובץ.
  • דוגמה: offers_1524606581.filesetdesc.json
• בכל קובץ תיאור צריך לציין את כל קובצי הנתונים בפיד האחרון לפי שם הפיד הרלוונטי.

message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

הערכים האפשריים בשדה name כוללים:

בהמשך מופיעה דוגמה לקובץ תיאור בפורמט JSON לנתוני מבצעים עם שני רסיסים:

{
  "generation_timestamp": 1524606581,
  "name": "promote.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

מבנה תוכן הפיד

אחרי שמעלים את קובץ התיאור, מעלים את כל קובצי הפיד של סוג נתוני הפיד שמתאים לקובץ ההגדרות של הפיד, ששמו זהה לשם קובץ התיאור. שמות הקבצים והנתיבים (ביחס לשרת ה-SFTP) צריכים להיות זהים בדיוק למה שצוין בשדה data_file. אם קובץ כלשהו חסר, אם השם שלו לא תקין או אם הוא הועלה למיקום אחר, המערכת לא תעבד את הפיד כולו.

התוכן של קובצי נתוני הפיד האלה צריך להיות תואם למפרט הרלוונטי של הפיד שצוין בקובץ התיאור.

שם הקובץ של כל פיד צריך להיות ייחודי, ואי אפשר לעשות בו שימוש חוזר בהעלאות שונות. מומלץ לכלול בשם הקובץ את חותמת הזמן של היצירה ואת מספר הרסיס (מזהה עולה).

• דוגמה: offers_1524606581_1.json

גודל קובץ הפיד ותדירות ההעלאה

• גודל קובץ הפיד צריך להיות קטן מ-200MB (אחרי דחיסת נתונים).
• הגודל של כל קובץ נתונים לא דחוס צריך להיות קטן מ-2GB.
• ברוב השילובים, צריך להשתמש רק בשבר אחד. מומלץ להשתמש בכמה שפחות רסיסים. בכל פיד יכולים להיות עד 1,000 רסיסים.
• לא צריך לשלוח רשומות בודדות שנשלחו בשארד מסוים באותו מספר שארד בפידים עתידיים.
• כדי לשפר את הביצועים, כדאי לפצל את הנתונים באופן שווה בין הפצלים, כדי שגודל כל קובצי הפצלים יהיה דומה.
• אם יש צורך, אפשר להשתמש ב-gzip כדי לדחוס נתונים פידים. אבל צריך לעשות את זה לכל חלק של פיד בנפרד.

פתרון בעיות וניפוי באגים

אחרי שמעלים את הקבצים (קובץ התיאור וקובץ הפיד), עוברים אל הכלי לצפייה בהעלאות (מאמרי עזרה) בפורטל השותפים (עוברים אל העלאה > היסטוריה) כדי לעקוב אחרי התקדמות ההעלאה של הפיד.

מחפשים את הפיד בעמודה 'שם הפיד' לפי name שהזנתם בקובץ התיאור.

אחרי שהפיד נקלט (הסטטוס הוא Success או Fail), אפשר ללחוץ על השורה שלו כדי לראות את פרטי השגיאות והאזהרות.