Implementa un conector de bases de datos

Puedes configurar Google Cloud Search para descubrir e indexar datos de las redes bases de datos a través del conector de bases de datos de Google Cloud Search.

• Clave privada de Google Workspace, que también contiene el ID de la cuenta de servicio. Para aprender a obtener una clave privada, ve a Configura el acceso a Google Cloud Buscar en la API de REST
• ID de la fuente de datos de Google Workspace. Para aprender a obtener un ID de fuente de datos, ve a Agrega una fuente de datos para buscar.

Paso 1: Descarga y compila el software del conector de bases de datos

1. Clona el repositorio del conector desde GitHub.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. Revisa la versión deseada del conector:
   

   $ git checkout tags/v1-0.0.3

3. Compila el conector.

   $ mvn package

   Para omitir las pruebas cuando compiles el conector, usa mvn package -DskipTests.
4. Copia el archivo ZIP del conector en el directorio de instalación local y descomprímelo:

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. Crea un archivo de texto y asígnale el nombre connector-config.properties (predeterminado) o uno similar. Google recomienda que nombras los archivos de configuración con el .properties o .config , y mantén el archivo en el mismo directorio que el conector. Si usas un nombre o una ruta de acceso diferentes, debes especificar la ruta de acceso cuando ejecutes el conector.
2. Agrega parámetros como pares clave-valor al contenido del archivo. El archivo de configuración debe especificar los parámetros de acceso a la fuente de datos, acceso a la base de datos, una instrucción de SQL del recorrido completo de la base de datos un título de campo de contenido y definiciones de columnas. También puedes configurar otros comportamientos del conector con parámetros opcionales. Por ejemplo:

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   Para obtener descripciones detalladas de los parámetros específicos de la base de datos, consulte la Consulta la referencia de los parámetros de configuración al final de este artículo.

   Para conocer los parámetros comunes a todas las funciones de conectores, como la configuración de metadatos, los formatos de fecha y hora y las opciones de LCA, vaya a Parámetros de conectores que proporciona Google

   Si corresponde, especifica las propiedades del objeto de esquema en el SQL de recorrido parámetros de consulta. Por lo general, puedes agregar alias al SQL. declaración. Por ejemplo, si tienes una película y el esquema de fuente de datos contiene una definición de propiedad llamada “ActorName”, una instrucción de SQL podría tener la forma: SELECT …, last_name AS ActorName, … FROM … .

Paso 3: Ejecuta el conector de bases de datos

En el siguiente ejemplo, se da por sentado que los componentes obligatorios están ubicados en el directorio local en un sistema Linux.

Para ejecutar el conector desde la línea de comandos, ingresa el siguiente comando:

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

Aquí:

• google-cloud-search-database-connector-v1-0.0.3.jar es el archivo .jar del conector de bases de datos
• mysql-connector-java-5.1.41-bin.jar es el controlador de JDBC que se usa. para acceder a la base de datos
• mysql.config es un archivo de configuración con un nombre personalizado. Para asegurarte de que el conector reconozca tu de Terraform, especifica su ruta en la línea de comandos. De lo contrario, el conector usará connector-config.properties en tu ubicación local como nombre de archivo predeterminado.

El conector informa los errores de configuración a medida que los detecta. Algunos errores se informan cuando se inicializa el conector, como cuando una columna de base de datos se define como parte del contenido del registro (en db.allColumns), pero la columna no se usa en la consulta en SQL de recorrido de la base de datos (en db.allRecordsSql). Otros errores solo se detectan e informan cuando el conector intenta acceder a la base de datos para el primer recorrido, como una sintaxis de instrucción SQL no válida.

El conector ejecuta estos recorridos de acuerdo con los programas que definas en parámetros de programación de recorrido.

Ejemplos de consultas en SQL transversales

• Consulta básica de recorrido completo que lee cada registro de interés en una base de datos de empleados para la indexación:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• Especifica la paginación por desplazamiento y divide un recorrido completo en varias consultas.

  Para SQL Server 2012 u Oracle 12c (sintaxis de SQL estándar 2008):

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  o, para MySQL o Google Cloud SQL,

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• Consulta de recorrido completo que aplica LCA individuales con alias:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• Consulta básica de recorrido incremental:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• Consulta de recorrido incremental que aplica LCA individuales con alias:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• Consulta de recorrido incremental que usa la marca de tiempo de la base de datos en lugar de la hora actual:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

Parámetros de definición de columnas

Los siguientes parámetros especifican las columnas que utilizas en las sentencias de recorrido y para identificar cada registro de forma única.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

Ejemplos de columnas de URL

Para especificar las columnas usadas en las consultas de recorrido y el formato de la URL de vista, haz lo siguiente:

• Para usar una URL estática que no use ningún valor de registro de la base de datos, haz lo siguiente:

  url.format = https://www.example.com

• Para usar un solo valor de columna que sea la URL de vista, haz lo siguiente:

  url.format = {0}
  url.columns = customer_id

• Para utilizar un solo valor de columna que se sustituya en la URL de visualización en la posición {0}:

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• Para usar varios valores de columna y crear la URL de visualización (las columnas dependen del orden), sigue estos pasos:

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

Campos de contenido

Utiliza las opciones de contenido para definir qué valores de los registros deben formar parte del contenido de búsqueda.