Déployer un connecteur de base de données

Vous pouvez configurer Google Cloud Search pour découvrir et indexer des données à l'aide du connecteur de base de données Google Cloud Search.

• Clé privée Google Workspace, qui contient également l'ID du compte de service. Pour savoir comment obtenir une clé privée, accédez à Configurer l'accès à Google Cloud Recherche dans l'API REST
• ID de la source de données Google Workspace. Pour savoir comment obtenir un ID de source de données, consultez Ajoutez une source de données pour la recherche.

Étape 1 : Télécharger et créer le logiciel du connecteur de base de données

1. Clonez le dépôt du connecteur depuis GitHub.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. Vérifiez la version souhaitée du connecteur:
   

   $ git checkout tags/v1-0.0.3

3. Créez le connecteur.

   $ mvn package

   Pour ignorer les tests lors de la création du connecteur, utilisez mvn package -DskipTests.
4. Copiez le fichier ZIP du connecteur dans votre répertoire d'installation local, puis décompressez-le:

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. Créez un fichier texte et nommez-le connector-config.properties (par défaut) ou un nom similaire. Ce que Google recommande que vous nommez les fichiers de configuration avec l'.properties ou .config et conservez le fichier dans le même répertoire que le connecteur. Si vous utilisez un autre nom ou chemin, vous devez spécifier le chemin d'accès lorsque vous exécutez le connecteur.
2. Ajoutez des paramètres sous forme de paires clé/valeur aux contenus des fichiers. Le fichier de configuration doit spécifier les paramètres d'accès à la source de données, à l'accès à la base de données, à une instruction SQL de balayage complet de la base de données, un titre de champ de contenu et des définitions de colonne. Vous pouvez également configurer d'autres comportements de connecteur avec des paramètres facultatifs. Par exemple:

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   Pour obtenir une description détaillée des paramètres spécifiques à la base de données, consultez la Référence des paramètres de configuration à la fin de cet article.

   Pour en savoir plus sur les paramètres communs à tous les environnements Cloud Search comme la configuration des métadonnées, les formats de date et d'heure ou les options de LCA, accédez à <ph type="x-smartling-placeholder"></ph> Paramètres de connecteur fournis par Google.

   Le cas échéant, spécifiez les propriétés de l'objet de schéma dans la requête SQL de balayage paramètres de requête. En général, vous pouvez ajouter des alias à la requête SQL . Par exemple, si vous avez un film base de données, tandis que le schéma de la source de données contient une définition de propriété nommée "ActorName", une instruction SQL peut prendre la forme suivante: SELECT …, last_name AS ActorName, … FROM … .

Étape 3 : Exécuter le connecteur de base de données

L'exemple suivant suppose que les composants requis se trouvent dans le répertoire sur un système Linux.

Pour exécuter le connecteur à partir de la ligne de commande, saisissez la commande suivante:

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

Où :

• google-cloud-search-database-connector-v1-0.0.3.jar correspond à Le fichier JAR du connecteur de base de données
• mysql-connector-java-5.1.41-bin.jar est le pilote JDBC utilisé. pour accéder à la base de données
• mysql.config est un fichier de configuration portant un nom personnalisé. Pour vous assurer que le connecteur reconnaît votre de configuration, spécifiez son chemin d'accès dans la ligne de commande. Sinon, le connecteur utilise connector-config.properties dans votre région comme nom de fichier par défaut.

Le connecteur signale les erreurs de configuration dès qu'il les détecte. Certaines erreurs sont signalées le connecteur s'initialise, par exemple lorsqu'une colonne de base de données est définie dans le contenu de l'enregistrement. (dans db.allColumns), mais elle n'est pas utilisée dans la requête SQL de balayage (dans db.allRecordsSql). Les autres erreurs ne sont détectées et signalées le connecteur tente d'accéder à la base de données pour le premier balayage (en cas de syntaxe d'instruction SQL incorrecte, par exemple).

Le connecteur exécute ces balayages selon le planning que vous avez défini dans les paramètres de planification de balayage.

Exemples de requêtes SQL de balayage

• Requête de balayage complet de base qui lit tous les enregistrements intéressants dans une base de données des employés à des fins d'indexation:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• Spécifiez la pagination par décalage et divisez un balayage complet en plusieurs requêtes.

  Pour SQL Server 2012 ou Oracle 12c (syntaxe SQL standard 2008):

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  ou, pour MySQL ou Google Cloud SQL:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• Requête de balayage complet qui applique des LCA individuelles avec alias:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• Requête de balayage incrémentiel de base:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• Requête de balayage incrémentiel qui applique des LCA individuelles avec alias:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• Requête de balayage incrémentiel utilisant le code temporel de la base de données plutôt que l'heure actuelle:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

Paramètres de définition des colonnes

Les paramètres suivants spécifient les colonnes à utiliser dans les instructions de balayage et à d'identifier de manière unique chaque enregistrement.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

Exemples de colonnes d'URL

Pour spécifier les colonnes utilisées dans les requêtes de balayage et le format de l'URL d'affichage:

• Pour utiliser une URL statique sans valeur d'enregistrement de base de données:

  url.format = https://www.example.com

• Pour utiliser une valeur de colonne unique correspondant à l'URL d'affichage:

  url.format = {0}
  url.columns = customer_id

• Pour utiliser une valeur de colonne unique remplacée dans l'URL d'affichage à la position {0}:

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• Pour créer l'URL d'affichage à l'aide de valeurs de colonnes multiples (les colonnes dépendent de l'ordre):

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

Champs de contenu

Utiliser les options de contenu pour définir les valeurs d'enregistrement doit être intégré au contenu inclus dans l'index de recherche.