Implantar um conector de banco de dados

É possível configurar o Google Cloud Search para descobrir e indexar dados da organização usando o conector de banco de dados do Google Cloud Search.

• Chave privada do Google Workspace, que também contém o ID da conta de serviço. Para saber como conseguir uma chave privada, acesse Configurar o acesso ao Google Cloud Pesquise a API REST.
• ID da fonte de dados do Google Workspace. Para saber como encontrar um ID de fonte de dados, acesse Adicione uma fonte de dados para pesquisar.

Etapa 1. Fazer o download e criar o software do conector de banco de dados

1. Clone o repositório do conector que está no GitHub.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. Confira a versão desejada do conector:
   

   $ git checkout tags/v1-0.0.3

3. Crie o conector.

   $ mvn package

   Para pular os testes ao criar o conector, use mvn package -DskipTests.
4. Copie o arquivo ZIP do conector no diretório de instalação local e descompacte-o:

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. Crie um arquivo de texto com o nome connector-config.properties (o padrão) ou algo semelhante. Recomendações do Google nomeie os arquivos de configuração com o método .properties ou .config e mantenha o arquivo no mesmo diretório que o conector. Se você usar um nome ou caminho diferente, deverá especificar o caminho ao executar o conector.
2. Adicionar parâmetros como pares de chave-valor ao conteúdo do arquivo. O arquivo de configuração deve especificar os parâmetros de acesso à fonte e ao banco de dados, uma instrução SQL de travessia completa do banco de dados, um título de campo de conteúdo e definições de coluna. Também é possível configurar outros comportamentos com parâmetros opcionais. Por exemplo:

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   Para descrições detalhadas dos parâmetros específicos do banco de dados, acesse o Referência dos parâmetros de configuração ao final deste artigo.

   Para saber mais sobre os parâmetros comuns a todos os serviços do Cloud Search, conectores, como configuração de metadados, formatos de data e hora e opções de ACL, vão para Parâmetros do conector fornecidos pelo Google

   Se aplicável, especifique as propriedades do objeto de esquema no SQL de travessia. parâmetros de consulta. Em geral, é possível adicionar aliases . Por exemplo, se você tiver um filme banco de dados, e o esquema da fonte de dados contém uma definição de propriedade chamada "ActorName", uma instrução SQL poderia ter o formato: SELECT …, last_name AS ActorName, … FROM … .

Etapa 3. Executar o conector de banco de dados

No exemplo a seguir, presume-se que os componentes necessários estejam localizados no diretório local de um sistema Linux.

Para executar o conector na linha de comando, digite o seguinte comando:

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

Em que:

• google-cloud-search-database-connector-v1-0.0.3.jar é o arquivo .jar do conector de banco de dados
• mysql-connector-java-5.1.41-bin.jar é o driver JDBC que está sendo usado. para acessar o banco de dados
• mysql.config é um arquivo de configuração com nome personalizado. Para garantir que o conector reconheça o de configuração, especifique o caminho na linha de comando. Caso contrário, o conector usa connector-config.properties na sua região como o nome de arquivo padrão.

O conector informa erros de configuração ao detectá-los. Alguns erros são informados quando O conector é inicializado, por exemplo, quando uma coluna do banco de dados é definida como parte do conteúdo do registro. (em db.allColumns), mas a coluna não é usada na consulta SQL de travessia da banco de dados (em db.allRecordsSql). Outros erros só são detectados e informados quando o conector tenta acessar o banco de dados na primeira travessia, como sintaxe inválida de uma instrução SQL.

O conector executa essas travessias de acordo com as programações definidas em parâmetros da programação do traversal.

Exemplos de consultas SQL de travessia

• Consulta de travessia completa básica que lê todos os registros de interesse em um banco de dados de funcionários para indexação:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• Especifique a paginação por deslocamento e divida uma travessia completa em várias consultas.

  Para SQL Server 2012 ou Oracle 12c (sintaxe SQL 2008 padrão):

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  ou, para MySQL ou Google Cloud SQL:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• Consulta de travessia completa que aplica ACLs individuais com aliases:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• Consulta de travessia incremental básica:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• Consulta de travessia incremental que aplica ACLs individuais com aliases:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• Consulta de travessia incremental que usa o carimbo de data/hora do banco de dados em vez do horário atual:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

Parâmetros de definição de coluna

Os parâmetros a seguir especificam as colunas usadas nas instruções de travessia e para identifiquem cada registro de forma exclusiva.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

Exemplos de coluna de URL

Para especificar as colunas usadas em consultas de travessia e o formato do URL de visualização:

• Para usar um URL estático sem usar valores de registro do banco de dados:

  url.format = https://www.example.com

• Para usar um único valor de coluna que é o URL de visualização:

  url.format = {0}
  url.columns = customer_id

• Para usar um único valor de coluna que seja substituído no URL de visualização na posição {0}:

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• Para usar diversos valores de coluna para criar o URL de visualização (as colunas dependem da ordem):

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

Campos de conteúdo

Use as opções de conteúdo para definir quais valores de registro devem fazer parte do conteúdo pesquisável.