Esegui il deployment di un connettore di database

Puoi configurare Google Cloud Search per rilevare e indicizzare i dati del database utilizzando il connettore di database di Google Cloud Search.

• Chiave privata di Google Workspace, che contiene anche l'ID account di servizio. Per scoprire come ottenere una chiave privata, vai a Configura l'accesso a Google Cloud Cerca nell'API REST.
• ID origine dati Google Workspace. Per scoprire come ottenere un ID origine dati, vai a Aggiungi un'origine dati per la ricerca.

Passaggio 1. Scarica e crea il software del connettore di database

1. Clona il repository del connettore da GitHub.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. Controlla la versione del connettore che ti interessa:
   

   $ git checkout tags/v1-0.0.3

3. Crea il connettore.

   $ mvn package

   Per saltare i test durante la creazione del connettore, utilizza mvn package -DskipTests.
4. Copia il file ZIP del connettore nella directory di installazione locale e decomprimilo:

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. Crea un file di testo e assegnagli il nome connector-config.properties (predefinito) o un nome simile. Google consiglia assegnare ai file di configurazione i nomi .properties o .config e mantieni il file nella stessa directory del connettore. Se utilizzi un nome o un percorso diverso, devi specificare il percorso quando esegui il connettore.
2. Aggiungi parametri come coppie chiave/valore ai contenuti del file. Il file di configurazione deve specificare i parametri per l'accesso all'origine dati, l'accesso al database, un'istruzione SQL database full traversal, un titolo per il campo di contenuti e le definizioni delle colonne. Puoi anche configurare altri comportamenti del connettore con parametri facoltativi. Ad esempio:

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   .

   Per descrizioni dettagliate dei parametri specifici del database, vai al Riferimento ai parametri di configurazione alla fine di questo articolo.

   Per conoscere i parametri comuni a tutti i servizi Cloud Search come la configurazione dei metadati, i formati data/ora e le opzioni ACL, vai a Parametri del connettore forniti da Google.

   Se applicabile, specifica le proprietà dell'oggetto schema nell'SQL di attraversamento parametri di ricerca. Di solito puoi aggiungere alias al prompt l'Informativa. Ad esempio, se hai un film e lo schema dell'origine dati contiene una definizione della proprietà denominata "ActorName", un'istruzione SQL potrebbe avere il formato: SELECT …, last_name AS ActorName, … FROM … .

Passaggio 3: Esegui il connettore di database

L'esempio seguente presuppone che i componenti richiesti si trovino nell'ambiente su un sistema Linux.

Per eseguire il connettore dalla riga di comando, inserisci questo comando:

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

Dove:

• google-cloud-search-database-connector-v1-0.0.3.jar è il file .jar del connettore di database
• mysql-connector-java-5.1.41-bin.jar è il driver JDBC che viene utilizzato per accedere al database
• mysql.config è un file di configurazione con nome personalizzato. Per assicurarti che il connettore riconosca di configurazione del deployment, specifica il relativo percorso nella riga di comando. In caso contrario, il connettore utilizza connector-config.properties nella tua località come nome file predefinito.

Il connettore segnala gli errori di configurazione non appena li rileva. Alcuni errori vengono segnalati quando inizializza il connettore, ad esempio quando viene definita una colonna di database come parte del contenuto del record (in db.allColumns), ma la colonna non viene utilizzata nella query SQL di attraversamento del (in db.allRecordsSql). Altri errori vengono rilevati e segnalati solo quando il connettore tenta di accedere al database per il primo attraversamento, ad esempio una sintassi dell'istruzione SQL non valida.

Il connettore esegue questi attraversamenti in base alle pianificazioni definite in parametri di pianificazione dell'attraversamento.

Esempi di query SQL di attraversamento

• Query di base full attraversal che legge ogni record di interesse in un database dei dipendenti per l'indicizzazione:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• Specifica l'impaginazione in base all'offset e suddividi un attraversamento completo in più query.

  Per SQL Server 2012 o Oracle 12c (sintassi SQL 2008 standard):

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  oppure per MySQL o Google Cloud SQL:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• Query attraversamento completo che applica singoli ACL con alias:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• Query di attraversamento incrementale di base:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• Query di attraversamento incrementale che applica singoli ACL con alias:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• Query di attraversamento incrementale che utilizza il timestamp del database anziché l'ora attuale:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

Parametri di definizione delle colonne

I seguenti parametri specificano le colonne che utilizzi nelle istruzioni di attraversamento e a identificare in modo univoco ciascun record.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

Esempi di colonne URL

Per specificare le colonne utilizzate nelle query di attraversamento e il formato dell'URL di visualizzazione:

• Per utilizzare un URL statico che non utilizza valori di record di database:

  url.format = https://www.example.com

• Per utilizzare un singolo valore della colonna che sia l'URL di visualizzazione:

  url.format = {0}
  url.columns = customer_id

• Per utilizzare un singolo valore della colonna che viene sostituito nell'URL di visualizzazione nella posizione {0}:

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• Per utilizzare più valori di colonna per creare l'URL di visualizzazione (le colonne dipendono dall'ordine):

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

Campi dei contenuti

Utilizza le opzioni dei contenuti per definire i valori dei record dovrebbero essere inserite nei contenuti disponibili per la ricerca.