Utiliser la boîte de dépôt du flux générique

La boîte de dépôt d'un flux générique permet d'importer plusieurs types de flux une seule boîte de dépôt par environnement. Ce guide vous explique comment utiliser Boîte de dépôt générique et fournir des liens vers le guide du produit concerné que vous prévoyez d'utiliser.

Un compte "Envoi sécurisé" générique nécessite deux importations distinctes:

1. Fichier descripteur:décrit le type de flux que vous allez utiliser. importation en cours
2. Fichier(s) de flux : contenu du flux

Structurer le champ descripteur

Le fichier descripteur est importé pour indiquer à notre système le type de flux sont en cours d'importation. Cela nous permet de valider et de traiter correctement le flux. La doit être importé avant le contenu du flux et doit respecter ces règles de dénomination:

• Utiliser l'extension de fichier .filesetdesc.json
• Chaque nom de fichier descripteur doit être unique et ne peut pas être réutilisé pour plusieurs importations. Mer recommandez d'inclure le code temporel de génération dans le nom du fichier.
  • Exemple: offer_1524606581.filesetdesc.json

message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Les valeurs possibles du champ name sont les suivantes:

Voici un exemple de fichier descripteur JSON pour un flux d'offres avec deux segments : disponibles ci-dessous:

{
  "generation_timestamp": 1524606581,
  "name": "promote.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Structurer le contenu du flux

Une fois le fichier de descripteur importé, vous devez importer tous les fichiers du flux. correspondant au type de données du flux correspondant au fichier de configuration du flux votre fichier descripteur. Les noms de fichiers et les emplacements des chemins d'accès (relatifs dans boîte de dépôt) doit correspondre exactement à ce qui a été inclus dans data_file. Si un fichier est manquant, mal nommé ou importé à un autre emplacement, l'ensemble du flux ne sera pas traités.

Le contenu de ces fichiers de données de flux doit être conforme aux spécifications applicables au flux spécifié dans le fichier descripteur.

Chaque nom de fichier de flux doit être unique et ne peut pas être réutilisé pour plusieurs importations. Nous vous recommandons y compris l'horodatage de la génération et le numéro de segment (ID incrémentiel) dans le nom de fichier.

• Exemple: offer_1524606581_1.json

Tailles des fichiers de flux et fréquence d'importation

• La taille du fichier de flux ne doit pas dépasser 200 Mo (après compression).
• La plupart des intégrations ne nécessitent qu'une seule partition. Vous devez utiliser comme le moins de segments possible. Le nombre de segments est limité à 1 000 par flux.
• Il n'est pas nécessaire que les enregistrements individuels envoyés dans un segment numéro de segment dans les futurs flux.
• Pour de meilleures performances, répartissez les données uniformément entre les segments la taille des fichiers segmentés est similaire.
• Si nécessaire, utilisez gzip pour compresser les flux. Toutefois, faites-le pour chaque chaque segment de flux.

Dépannage et débogage

Après avoir importé vos fichiers (fichiers de descripteur et de flux), accédez à Tableau de bord de l'historique du flux (documentation) sur le portail des partenaires (accédez à Historique > Flux) pour suivre la progression de l'ingestion de votre flux.

Recherchez le name saisi dans le fichier descripteur sous "Nom du flux". pour trouver votre flux.

Une fois le flux ingéré (état Success ou Fail), vous pouvez cliquer sur sa ligne pour afficher les détails des erreurs et des avertissements.