Tham số cấu hình do Google cung cấp

Mỗi trình kết nối có một tệp cấu hình được liên kết chứa các thông số được trình kết nối sử dụng, chẳng hạn như mã nhận dạng cho kho lưu trữ của bạn. Thông số được xác định là cặp khoá-giá trị, chẳng hạn như api.sourceId=1234567890abcdef.

SDK Google Cloud Search chứa một số cấu hình do Google cung cấp tham số được sử dụng bởi nhiều trình kết nối. Trong số các thông số cấu hình do Google cung cấp, bạn chỉ cần xác định các thông số Quyền truy cập vào nguồn dữ liệu trong tệp cấu hình. Bạn không cần phải xác định lại các tham số do Google cung cấp trong tệp cấu hình trừ khi bạn muốn ghi đè giá trị mặc định của chúng.

Tài liệu tham khảo này mô tả các thông số cấu hình do Google cung cấp.

Ví dụ về tệp cấu hình

Ví dụ sau đây cho thấy tệp cấu hình nhận dạng có các cặp khoá-giá trị tham số.

#
# Configuration file sample
#
api.sourceId=1234567890abcdef
api.identitySourceId=0987654321lmnopq
api.serviceAccountPrivateKeyFile= ./PrivateKey.json

#
# Traversal schedules
#
schedule.traversalIntervalSecs=7200
schedule.incrementalTraversalIntervalSecs=600
#
# Default ACLs
#
defaultAcl.mode=fallback
defaultAcl.public=true
  

Tham số thường được đặt

Phần này liệt kê các thông số cấu hình thường được đặt và bắt buộc. Nếu bạn không thay đổi giá trị cho các thông số không bắt buộc, trình kết nối sử dụng các giá trị mặc định do SDK cung cấp.

Truy cập nguồn dữ liệu

Bảng sau đây liệt kê tất cả các tham số bắt buộc để xuất hiện trong cấu hình . Các thông số bạn sử dụng phụ thuộc vào loại trình kết nối bạn đang xây dựng (trình kết nối nội dung hoặc trình kết nối danh tính).

Xem xét Thông số
Mã nguồn dữ liệu api.sourceId=1234567890abcdef

Trình kết nối yêu cầu thông số này để xác định vị trí của kho lưu trữ. Bạn nhận được giá trị này khi đã thêm một nguồn dữ liệu vào kết quả tìm kiếm. Thông số này phải có trong tệp cấu hình của trình kết nối.

Mã nguồn nhận dạng api.identitySourceId=0987654321lmnopq

Trình kết nối danh tính cần có tham số này để xác định vị trí của nguồn nhận dạng bên ngoài. Bạn nhận được giá trị này khi liên kết danh tính người dùng trong Cloud Search. Thông số này phải có trong tất cả các tệp cấu hình của trình kết nối danh tính.

Tệp khoá riêng tư của tài khoản dịch vụ api.serviceAccountPrivateKeyFile=./PrivateKey.json

Tham số này chứa khoá riêng tư cần thiết để truy cập vào kho lưu trữ. Bạn nhận được giá trị này khi đã định cấu hình quyền truy cập vào REST của Google Cloud Search . Thông số này phải nằm trong tất cả các tệp cấu hình.

Mã tài khoản dịch vụ api.serviceAccountId=123abcdef4567890

Tham số này chỉ định tài khoản dịch vụ Mã nhận dạng. Giá trị chuỗi trống mặc định chỉ được cho phép khi tệp cấu hình chỉ định tham số tệp khoá cá nhân. Bạn phải sử dụng tham số này nếu tệp khoá riêng tư của bạn không phải là khoá JSON.

Mã tài khoản Google Workspace api.customerId=123abcdef4567890

Tham số này chỉ định mã tài khoản cho tài khoản Google Workspace của doanh nghiệp. Bạn đã nhận được giá trị này khi bạn ánh xạ người dùng danh tính trong Cloud Search. Bạn bắt buộc phải sử dụng tham số này khi đồng bộ hoá người dùng bằng trình kết nối danh tính.

URL gốc api.rootUrl=baseURLPath

Tham số này chỉ định đường dẫn URL cơ sở của dịch vụ lập chỉ mục.

Giá trị mặc định cho thông số này là một chuỗi trống được chuyển đổi thành https://cloudsearch.googleapis.com.

Lịch truyền tải

Tham số lập lịch xác định tần suất trình kết nối chờ giữa truyền tải.

Xem xét Thông số
Truyền tải đầy đủ khi khởi động trình kết nối schedule.performTraversalOnStart=true|false

Trình kết nối thực hiện truyền tải đầy đủ khi khởi động trình kết nối, thay vì khi khoảng thời gian đầu tiên hết hạn. Giá trị mặc định là true.

Truyền tải toàn bộ sau một khoảng thời gian schedule.traversalIntervalSecs=intervalInSeconds

Trình kết nối thực hiện truyền tải toàn bộ sau một khoảng thời gian được chỉ định. Chỉ định khoảng thời gian giữa các lần truyền tải (tính bằng giây). Giá trị mặc định là 86400 (số giây trong một ngày).

Thoát sau một lần truyền tải connector.runOnce=true|false

Trình kết nối chạy toàn bộ truyền tải một lần, sau đó thoát. Thông số này chỉ nên được đặt thành true nếu bạn đang sử dụng chiến lược truyền tải đầy đủ; trang thông tin và biểu đồ cần nhiều lần truyền tải để phát hiện các thay đổi và lập chỉ mục nội dung. Mặc định có giá trị là false (không thoát sau một lần truyền tải).

Truyền tải tăng dần sau một khoảng thời gian schedule.incrementalTraversalIntervalSecs=intervalInSeconds

Trình kết nối thực hiện việc truyền tải gia tăng sau một khoảng thời gian được chỉ định. Chỉ định khoảng thời gian giữa các lần truyền tải tính bằng giây. Giá trị mặc định là 300 (số giây trong 5 phút).

Khoảng thời gian trong hàng đợi cuộc thăm dò ý kiến đã lên lịch schedule.pollQueueIntervalSecs=interval_in_seconds

Khoảng thời gian giữa các khoảng thời gian trong hàng đợi cuộc thăm dò ý kiến đã lên lịch (tính bằng giây). Thông tin này đã được sử dụng chỉ bằng trình kết nối truyền tải danh sách. Giá trị mặc định là 10.

Danh sách kiểm soát quyền truy cập

Trình kết nối kiểm soát quyền truy cập vào các mục bằng cách sử dụng ACL. Nhiều thông số cho phép bạn bảo vệ quyền truy cập của người dùng vào các bản ghi được lập chỉ mục bằng ACL.

Nếu kho lưu trữ của bạn có thông tin Danh sách kiểm soát quyền truy cập (ACL) riêng lẻ được liên kết với từng mục, tải tất cả thông tin Danh sách kiểm soát quyền truy cập (ACL) lên để kiểm soát quyền truy cập vào các mục trong Cloud Search. Nếu kho lưu trữ của bạn cung cấp một phần hoặc không có thông tin ACL, bạn có thể cung cấp Thông tin ACL trong các tham số sau mà SDK cung cấp cho trình kết nối.

Xem xét Thông số
chế độ Danh sách kiểm soát quyền truy cập (ACL) defaultAcl.mode=mode

Xác định thời điểm áp dụng Danh sách kiểm soát quyền truy cập (ACL) mặc định. Giá trị hợp lệ:

  • none: không sử dụng Danh sách kiểm soát quyền truy cập (ACL) mặc định (ở chế độ này, bản ghi không thể tìm kiếm được trừ khi bạn xác định các ACL riêng lẻ)
  • fallback: chỉ sử dụng ACL mặc định khi chưa có ACL nào
  • append: thêm ACL mặc định vào ACL hiện có
  • override: thay thế Danh sách kiểm soát quyền truy cập (ACL) hiện tại bằng Danh sách kiểm soát quyền truy cập (ACL) mặc định

Chế độ mặc định là none.

Danh sách kiểm soát quyền truy cập (ACL) công khai mặc định defaultAcl.public=true|false

Danh sách kiểm soát quyền truy cập (ACL) mặc định được sử dụng cho toàn bộ kho lưu trữ được đặt thành quyền truy cập thuộc phạm vi công cộng. Giá trị mặc định là false.

Trình đọc nhóm ACL phổ biến defaultAcl.readers.groups=google:group1@mydomain.com, group2
Trình đọc ACL phổ biến defaultAcl.readers.users=user1, user2, google:user3@mydomain.com
Trình đọc nhóm bị từ chối danh sách kiểm soát quyền truy cập (ACL) phổ biến defaultAcl.denied.groups=group3
Người đọc Acl thông thường bị từ chối defaultAcl.denied.users=user4, user5
Toàn bộ quyền truy cập của miền Để chỉ định rằng mọi người dùng đều có thể truy cập công khai mọi bản ghi được lập chỉ mục trong miền, hãy đặt cả hai thông số sau cùng với giá trị:
  • defaultAcl.mode=override
  • defaultACL.public=true
Danh sách kiểm soát quyền truy cập (ACL) phổ biến được xác định Để chỉ định một ACL cho mỗi bản ghi của kho lưu trữ dữ liệu, hãy đặt tất cả các giá trị thông số sau:
  • defaultAcl.mode=fallback
  • defaultAcl.public=false
  • defaultAcl.readers.groups=google:group1@mydomain.com, group2 code>
  • defaultAcl.readers.users=user1@mydomain.com, user2, google:user3@mydomain.com
  • defaultAcl.denied.groups=group3
  • defaultAcl.denied.users=user4, user5

    Mỗi người dùng và nhóm được chỉ định được giả định là một miền cục bộ được xác định người dùng/nhóm trừ phi có tiền tố là "google:" (hằng số tự nhiên).

    Nhóm hoặc người dùng mặc định là một chuỗi trống. Chỉ cung cấp các thông số nhóm và người dùng nếu bạn đặt defaultAcl.public thành false. Để liệt kê nhiều nhóm và người dùng, hãy sử dụng danh sách được phân tách bằng dấu phẩy.

    Nếu bạn đặt defaultAcl.mode thành none, các bản ghi sẽ không thể tìm kiếm được nếu không có ACL riêng lẻ được xác định.

Thông số cấu hình siêu dữ liệu

Một số siêu dữ liệu của mặt hàng có thể định cấu hình. Trình kết nối có thể đặt các trường siêu dữ liệu có thể định cấu hình trong lập chỉ mục. Nếu trình kết nối không thiết lập trường, các thông số trong tệp cấu hình của bạn sẽ được sử dụng để đặt trường.

Tệp cấu hình có một loạt các thông số cấu hình siêu dữ liệu đã đặt tên được biểu thị bằng hậu tố .field, chẳng hạn như itemMetadata.title.field=movieTitle Nếu có giá trị cho các tham số này các tham số này được dùng để định cấu hình trường siêu dữ liệu. Nếu không có giá trị nào cho thuộc tính tham số siêu dữ liệu đã đặt tên, siêu dữ liệu được định cấu hình bằng cách sử dụng một tham số có Hậu tố .defaultValue).

Bảng sau đây trình bày các tham số cấu hình siêu dữ liệu.

Chế độ cài đặt Thông số
Tiêu đề itemMetadata.title.field=movieTitle
itemMetadata.title.defaultValue=Gone with the Wind
Tiêu đề mục. Nếu bạn không đặt title.field thành một giá trị thì giá trị của title.defaultValue sẽ được dùng.
URL kho lưu trữ nguồn itemMetadata.sourceRepositoryUrl.field=url
itemMetadata.sourceRepositoryUrl.defaultValue=https://www.imdb.com/title/tt0031381/
URL của mặt hàng dùng trong kết quả tìm kiếm. Có thể bạn chỉ cần đặt defaultValue để giữ URL của toàn bộ kho lưu trữ, chẳng hạn như nếu đại diện của bạn là một tệp CSV và chỉ có một tệp URL cho mỗi mục. Nếu bạn chưa đặt sourceRepositoryUrl.field thành một giá trị, thì giá trị sourceRepositoryUrl.defaultValue sẽ được sử dụng.
Tên vùng chứa itemMetadata.containerName.field=containerName
itemMetadata.containerName.defaultValue=myDefaultContainerName
Tên vùng chứa của mục, chẳng hạn như tên của một thư mục hệ thống tệp hoặc thư mục. Nếu containerName.field không được đặt thành một giá trị, mà chỉ là giá trị containerName.defaultValue sẽ được dùng.
Loại đối tượng itemMetadata.objectType.field=type
itemMetadata.objectType.defaultValue=movie
Loại đối tượng mà trình kết nối sử dụng, như được xác định trong giản đồ. Trình kết nối sẽ không lập chỉ mục bất kỳ dữ liệu có cấu trúc nào nếu thuộc tính này không được chỉ định.
Nếu bạn không đặt objectType.field thành một giá trị thì giá trị của objectType.defaultValue được dùng.
Thời gian tạo itemMetadata.createTime.field=releaseDate
itemMetadata.createTime.defaultValue=1940-01-17
Dấu thời gian tạo tài liệu. Nếu createTime.field không được đặt thành một giá trị, thì giá trị createTime.defaultValue sẽ được sử dụng.
Thời gian cập nhật itemMetadata.updateTime.field=releaseDate
itemMetadata.updateTime.defaultValue=1940-01-17
Dấu thời gian sửa đổi lần gần đây nhất của mặt hàng. Nếu updateTime.field không được đặt thành một giá trị, giá trị cho updateTime.defaultValue sẽ được sử dụng.
Ngôn ngữ của nội dung itemMetadata.contentLanguage.field=languageCode
itemMetadata.contentLanguage.defaultValue=en-US
Ngôn ngữ nội dung cho tài liệu được lập chỉ mục. Nếu contentLanguage.field không được đặt thành một giá trị, thì giá trị cho contentLanguage.defaultValue sẽ được sử dụng.
Loại Mime itemMetadata.mimeType.field=mimeType
itemMetadata.mimeType.defaultValue=image/bmp
Loại MIME ban đầu của ItemContent.content trong kho lưu trữ nguồn. Độ dài tối đa là 256 ký tự. Nếu bạn không đặt mimeType.field thành một giá trị thì giá trị của mimeType.defaultValue sẽ được dùng.
Siêu dữ liệu về chất lượng tìm kiếm itemMetadata.searchQualityMetadata.quality.field=quality
itemMetadata.searchQualityMetadata.quality.defaultValue=1
Chỉ báo chất lượng của mặt hàng, dùng để tác động đến chất lượng tìm kiếm. Giá trị phải là từ 0.0 (chất lượng thấp nhất) đến 1.0 (chất lượng cao nhất). Giá trị mặc định là 0,0. Nếu quality.field không được đặt thành một giá trị, mà giá trị của quality.defaultValue sẽ được dùng.
Hàm băm itemMetadata.hash.field=hash
itemMetadata.hash.defaultValue=f0fda58630310a6dd91a7d8f0a4ceda2
Giá trị băm do phương thức gọi API cung cấp. Bạn có thể sử dụng thuộc tính này với Phương thức items.push để tính trạng thái đã sửa đổi. Độ dài tối đa là 2048 ký tự. Nếu bạn không đặt hash.field thành một giá trị thì giá trị của hash.defaultValue sẽ được dùng.

Định dạng ngày giờ

Định dạng ngày giờ chỉ định định dạng dự kiến trong các thuộc tính siêu dữ liệu. Nếu tệp cấu hình không chứa tham số này, giá trị mặc định sẽ được sử dụng. Bảng sau đây cho thấy thông số này.

Chế độ cài đặt Thông số
Định dạng ngày giờ bổ sung structuredData.dateTimePatterns=MM/dd/uuuu HH:mm:ssXXX
Danh sách java.time.format.DateTimeFormatter bổ sung được phân tách bằng dấu chấm phẩy mẫu. Các mẫu này được sử dụng khi phân tích cú pháp giá trị chuỗi cho bất kỳ trường ngày hoặc giờ nào trong siêu dữ liệu hoặc giản đồ. Giá trị mặc định là một danh sách trống, nhưng là RFC 3339 và RFC 1123 luôn được hỗ trợ.

Dữ liệu có cấu trúc

API lập chỉ mục Cloud Search cung cấp một dịch vụ giản đồ mà bạn có thể dùng để tùy chỉnh cách Cloud Search lập chỉ mục và phân phát dữ liệu của bạn. Nếu bạn đang sử dụng giản đồ kho lưu trữ cục bộ, bạn phải chỉ định dữ liệu có cấu trúc tên giản đồ.

Xem xét Thông số
Tên giản đồ cục bộ structuredData.localSchema=mySchemaName

Tên giản đồ được đọc từ nguồn dữ liệu và dùng cho kho lưu trữ dữ liệu có cấu trúc.

Giá trị mặc định là một chuỗi trống.

Chất lượng nội dung và tìm kiếm

Đối với các kho lưu trữ có chứa bản ghi hoặc nội dung theo thực địa (chẳng hạn như CRM, CVS, hoặc cơ sở dữ liệu), SDK cho phép tự động định dạng HTML cho các trường dữ liệu. Thông tin trình kết nối xác định các trường dữ liệu khi bắt đầu thực thi trình kết nối và sau đó dùng một mẫu nội dung để định dạng từng bản ghi dữ liệu trước khi tải bản ghi lên Cloud Search.

Mẫu nội dung xác định tầm quan trọng của từng giá trị trường đối với hoạt động tìm kiếm. <title> HTML là trường bắt buộc và được xác định là mức độ ưu tiên cao nhất. Bạn có thể chỉ định các mức độ quan trọng về chất lượng tìm kiếm cho tất cả các trường nội dung khác: cao, trung bình hoặc thấp. Bất kỳ trường nội dung nào không được xác định trong một danh mục cụ thể mặc định là mức độ ưu tiên thấp.

Xem xét Thông số
Tiêu đề HTML nội dung contentTemplate.templateName.title=myTitleField

Tiêu đề HTML nội dung và trường chất lượng tìm kiếm cao nhất. Thông số này là bắt buộc chỉ khi bạn đang sử dụng mẫu nội dung HTML. Giá trị mặc định là trường .

Chất lượng tìm kiếm cao cho các trường nội dung contentTemplate.templateName.quality.high=hField1,hField2

Các trường nội dung có mức độ ưu tiên tìm kiếm cao. Giá trị mặc định là một chuỗi trống.

Chất lượng tìm kiếm trung bình cho các trường nội dung contentTemplate.templateName.quality.medium=mField1,mField2

Các trường nội dung có mức độ ưu tiên tìm kiếm trung bình. Giá trị mặc định là một chuỗi trống.

Chất lượng tìm kiếm thấp đối với các trường nội dung contentTemplate.templateName.quality.low=lField1,lField2

Các trường nội dung có mức độ ưu tiên tìm kiếm thấp. Giá trị mặc định là một chuỗi trống.

Trường nội dung chưa được chỉ định contentTemplate.templateName.unmappedColumnsMode=value

Cách trình kết nối xử lý các trường nội dung không xác định. Các giá trị hợp lệ là:

  • APPEND – thêm các trường nội dung không xác định vào mẫu
  • IGNORE – bỏ qua các trường nội dung không xác định

    Giá trị mặc định là APPEND.

Đưa tên trường vào mẫu HTML contentTemplate.templateName.includeFieldName=true|false

Chỉ định xem có bao gồm tên trường cùng với dữ liệu trường trong HTML không mẫu. Giá trị mặc định là true và làm cho tên trường có thể tìm kiếm được như một phần của dữ liệu nội dung.

Tham số được đặt bất thường

Bạn hiếm khi cần đặt các tham số được liệt kê trong phần này. Giá trị mặc định của các thông số là để có hiệu suất tối ưu. Bạn không nên đặt các thông số này thành khác với giá trị mặc định mà không có yêu cầu cụ thể trong kho lưu trữ.

Cấu hình proxy

SDK cho phép bạn định cấu hình trình kết nối để sử dụng proxy cho các kết nối đi.

Các tham số transport.proxy.hostnametransport.proxy.port là cần thiết để bật truyền tải qua proxy. Bạn có thể phải sử dụng các thông số khác nếu proxy của bạn yêu cầu xác thực hoặc hoạt động qua giao thức SOCKS thay vì HTTP. Nếu Bạn chưa đặt transport.proxy.hostname, SDK sẽ không sử dụng proxy.

Xem xét Thông số
Tên máy chủ transport.proxy.hostname=hostname

Tên máy chủ của máy chủ proxy. Cần có tham số này khi sử dụng proxy.

Cổng transport.proxy.port=port

Số cổng cho máy chủ proxy. Cần có tham số này khi sử dụng proxy.

Loại proxy transport.proxy.type=type

Loại proxy. Các giá trị hợp lệ là:

  • HTTP – Proxy chấp nhận và chuyển tiếp các yêu cầu qua HTTP.
  • SOCKS – Proxy chấp nhận và chuyển tiếp các gói qua giao thức SOCKS.

Giá trị mặc định là HTTP.

Tên người dùng transport.proxy.username=username

Tên người dùng cần sử dụng khi tạo mã thông báo uỷ quyền proxy. Tham số này là không bắt buộc và chỉ nên đặt nếu proxy của bạn yêu cầu xác thực.

Mật khẩu transport.proxy.password=password

Mật khẩu cần sử dụng khi tạo mã thông báo uỷ quyền proxy. Tham số này là không bắt buộc và chỉ nên đặt nếu proxy của bạn yêu cầu xác thực.

Người di chuyển

SDK cho phép bạn chỉ định nhiều trình chuyển đổi riêng lẻ để cho phép truyền tải song song một kho lưu trữ dữ liệu. Trình kết nối mẫu SDK sử dụng của chúng tôi.

Xem xét Thông số
Quy mô nhóm luồng traverse.threadPoolSize=size

Số lượng luồng mà trình kết nối tạo ra để cho phép xử lý song song. Đáp một đối tượng lặp lại tìm nạp các thao tác theo tuần tự (thường là các đối tượng RepositoryDoc), nhưng lệnh gọi API xử lý song song bằng số lượng luồng này.

Giá trị mặc định là 5.

Kích thước phân vùng traverse.partitionSize=batchSize

Số lượng ApiOperation() được xử lý theo lô trước khi tìm nạp thêm APIOperation.

Giá trị mặc định là 50.

Yêu cầu thăm dò ý kiến của người chuyển hướng

Cốt lõi của hàng đợi lập chỉ mục trên Cloud Search là hàng đợi ưu tiên chứa cho mỗi mục đã biết là tồn tại. Trình kết nối trang thông tin có thể yêu cầu cuộc thăm dò ý kiến mục khỏi API lập chỉ mục. Yêu cầu thăm dò ý kiến nhận được mục nhập có mức độ ưu tiên cao nhất khỏi hàng đợi lập chỉ mục.

Mẫu trình kết nối trang thông tin SDK sử dụng các tham số sau đây để xác định tham số thăm dò.

Xem xét Thông số
Trình chuyển đổi kho lưu trữ repository.traversers=t1, t2, t3, ...

Tạo một hoặc nhiều trình chuyển đổi riêng lẻ trong đó t1, t2, t3, ... là tên riêng biệt của mỗi biến. Mỗi trình di chuyển được đặt tên có một nhóm các chế độ cài đặt riêng được xác định bằng tên riêng của người chuyển hướng, chẳng hạn như traversers.t1.hostloadtraversers.t2.hostload.

Xếp hàng để được thăm dò ý kiến traverser.pollRequest.queue=mySpecialQueue

Thêm tên vào danh sách chờ mà trình chuyển đổi này thăm dò ý kiến. Giá trị mặc định là chuỗi trống (ám chỉ "mặc định").

traverser.t1.pollRequest.queue=mySpecialQueue

Khi bạn có nhiều người chuyển tải, hãy đặt trạng thái của mục cho mỗi người chuyển đổi (trong đó t1 đại diện cho một người chuyển hướng cụ thể).

Hành vi thăm dò ý kiến traverser.pollRequest.limit=maxItems

Số mục tối đa trả về từ một yêu cầu thăm dò ý kiến. Giá trị mặc định là 0 (ám chỉ mức tối đa của API).

traverser.t1.pollRequest.limit=limit

Khi bạn có nhiều người chuyển tải, hãy đặt trạng thái của mục cho mỗi người chuyển đổi (trong đó t1 đại diện cho một người chuyển hướng cụ thể).

Trạng thái của mục traverser.pollRequest.statuses=statuses

Trạng thái của mục cụ thể mà người di chuyển này thăm dò ý kiến, trong đó statuses có thể bất kỳ tổ hợp nào của MODIFIED, NEW_ITEM (được phân tách bằng dấu phẩy), Giá trị mặc định là chuỗi trống (ám chỉ tất cả các giá trị trạng thái).

traverser.t1.pollRequest.statuses=statusesForThisTraverser

Khi bạn có nhiều trình chuyển đổi, hãy đặt trạng thái của mục cho từng trình chuyển đổi (trong đó t1, đại diện cho một người chuyển đổi cụ thể).

Tải trên máy chủ lưu trữ traverser.hostload=threads

Số lượng tối đa luồng song song đang hoạt động hiện có để thăm dò. Mặc định giá trị là 5.

traverser.t1.hostload=threadsForThisTraverser

Khi bạn có nhiều trình chuyển đổi, hãy đặt trạng thái của mục cho từng trình chuyển đổi (trong đó t1, đại diện cho một người chuyển đổi cụ thể).

Hết giờ traverser.timeout=timeout

Giá trị thời gian chờ để làm gián đoạn cuộc thăm dò ý kiến người chuyển đổi này.

Giá trị mặc định là 60.

traverser.t1.timeout=timeoutForThisTraverser

Khi bạn có nhiều trình chuyển đổi, hãy đặt trạng thái của mục cho từng trình chuyển đổi (trong đó t1, đại diện cho một người chuyển đổi cụ thể).

traverser.timeunit=timeoutUunit

Đơn vị thời gian chờ. Các giá trị hợp lệ là SECONDS, MINUTES,

traverser.t1.timeunit=timeoutUnit

Khi bạn có nhiều trình chuyển đổi, hãy đặt trạng thái của mục cho từng trình chuyển đổi (trong đó t1, đại diện cho một người chuyển đổi cụ thể).

Trong hầu hết các trường hợp, trình kết nối chỉ sử dụng mẫu trình kết nối danh sách SDK yêu cầu một bộ tham số duy nhất để thăm dò. Trong một số trường hợp, có thể bạn cần phải xác định nhiều tiêu chí thăm dò nếu thuật toán truyền tải của bạn yêu cầu ví dụ: phân tách quá trình xử lý mục bằng các hàng đợi khác nhau.

Trong trường hợp này, bạn có tuỳ chọn xác định nhiều nhóm thăm dò tham số. Bắt đầu bằng cách chỉ định tên của các nhóm thông số bằng cách sử dụng repository.traversers. Đối với mỗi tên trình chuyển đổi đã xác định, hãy cung cấp bằng các thông số trong bảng ở trên thay thế cho t1 bằng tên trình chuyển đổi. Thao tác này sẽ tạo một tập hợp thăm dò cho mỗi trình di chuyển đã xác định.

Chốt kiểm tra

Điểm kiểm tra rất hữu ích khi theo dõi trạng thái của truyền tải gia tăng.

Xem xét Thông số
Thư mục điểm kiểm tra connector.checkpointDirectory=/path/to/checkpoint

Chỉ định đường dẫn đến thư mục cục bộ để sử dụng cho các điểm kiểm tra truyền tải gia tăng và đầy đủ.

Nội dung tải lên

Nội dung của mục được tải lên Cloud Search cùng với mục khi kích thước của nội dung không vượt quá ngưỡng đã chỉ định. Nếu kích thước của nội dung vượt quá ngưỡng này, thì nội dung sẽ được tải lên riêng biệt với siêu dữ liệu và dữ liệu có cấu trúc.

Xem xét Thông số
Ngưỡng nội dung api.contentUploadThresholdBytes=bytes

Ngưỡng dành cho nội dung xác định liệu nội dung đó có được tải lên "nội dung cùng dòng" hay không thông qua tính năng so với việc sử dụng một tệp tải lên riêng biệt.

Giá trị mặc định là 100000 (~100KB).

Vùng chứa

Mẫu trình kết nối đầy đủ sử dụng thuật toán liên quan đến khái niệm về nút bật/tắt hàng đợi nguồn dữ liệu tạm thời để phát hiện các bản ghi đã xoá trong cơ sở dữ liệu. Điều này có nghĩa là trong mỗi lần truyền tải đầy đủ, các bản ghi được tìm nạp, nằm trong một hàng đợi mới, thay thế tất cả các bản ghi Cloud Search hiện có được lập chỉ mục từ truyền tải trước đó vốn nằm trong hàng đợi cũ.

Xem xét Thông số
Thẻ tên vùng chứa traverse.queueTag=instance

Để chạy nhiều phiên bản của trình kết nối song song để lập chỉ mục một dữ liệu chung (cho dù trên các kho lưu trữ dữ liệu khác nhau hoặc các phần riêng biệt của một kho lưu trữ chung kho lưu trữ dữ liệu) mà không can thiệp vào nhau, hãy chỉ định một vùng chứa duy nhất thẻ tên cho mỗi lần chạy trình kết nối. Thẻ tên duy nhất ngăn trình kết nối xoá bản ghi của người khác.

Thẻ tên được nối vào mã hàng đợi bật/tắt Trình kết nối truyền tải đầy đủ.

Tắt tính năng phát hiện thao tác xoá traverse.useQueues=true|false

Cho biết liệu trình kết nối có sử dụng logic bật/tắt hàng đợi để phát hiện thao tác xoá hay không.

Giá trị mặc định là true. Giá trị này chỉ định rằng hàng đợi phải đã sử dụng.

Lưu ý: Thông số cấu hình này chỉ áp dụng cho trình kết nối triển khai mẫu FullTraversalConnector.

Chính sách theo lô

SDK hỗ trợ chính sách theo lô cho phép bạn thực hiện các thao tác sau hành động:

  • Yêu cầu theo lô (Batch)
  • Chỉ định số lượng yêu cầu trong hàng đợi hàng loạt
  • Quản lý các lô thực thi đồng thời
  • Xoá các yêu cầu được phân theo lô

SDK sẽ gộp các yêu cầu của trình kết nối lại với nhau để tăng tốc độ thông lượng trong khoảng thời gian video tải lên. Trình kích hoạt SDK để tải lên một loạt yêu cầu bằng cách số yêu cầu hoặc thời gian chờ, tuỳ vào điều kiện nào đến trước. Ví dụ: nếu thời gian trì hoãn lô đã hết hạn mà không đạt đến kích thước lô hoặc nếu đạt đến số lượng mục trước khi hết thời gian trì hoãn, thì để kích hoạt hoạt động tải lên hàng loạt.

Xem xét Thông số
Yêu cầu theo lô (Batch) batch.batchSize=batchSize

Gộp hàng loạt các yêu cầu với nhau. Giá trị mặc định là 10.

Số yêu cầu trong một hàng đợi hàng loạt batch.maxQueueLength=maxQueueLength

Số lượng yêu cầu tối đa trong một hàng đợi hàng loạt để thực thi. Giá trị mặc định là 1000.

Thực thi đồng thời các lô batch.maxActiveBatches=maxActiveBatches

Số lô thực thi đồng thời được cho phép. Giá trị mặc định là 20.

Tự động xoá các yêu cầu được phân theo lô batch.maxBatchDelaySeconds=maxBatchDelay

Số giây phải chờ trước khi các yêu cầu được phân theo lô là tự động chạy. Chiến lược phát hành đĩa đơn giá trị mặc định là 5.

Xoá các yêu cầu được gửi theo lô khi tắt máy batch.flushOnShutdown=true|false

Xoá các yêu cầu theo lô trong khi tắt dịch vụ. Giá trị mặc định là true

Trình xử lý ngoại lệ

Các tham số của trình xử lý ngoại lệ xác định cách trình chuyển đổi xử lý sau đó gặp phải ngoại lệ.

Xem xét Thông số
Hướng dẫn cho trình chuyển đổi trong trường hợp xảy ra lỗi traverse.exceptionHandler=exceptions

Cách trình chuyển đổi sẽ xử lý sau khi gửi một ngoại lệ. Giá trị hợp lệ là:

  • 0--luôn huỷ việc truyền tải sau khi gặp ngoại lệ
  • num_exceptions (ví dụ: 10) – huỷ sau trình duyệt gặp phải num_exceptions được chỉ định.

    Giá trị mặc định là 0 (luôn huỷ khi có lỗi).

  • ignore--bỏ qua lỗi
Thời gian chờ giữa các trường hợp ngoại lệ abortExceptionHander.backoffMilliSeconds=backoff

Thời gian đợi tính bằng mili giây để chờ giữa các ngoại lệ của trình xử lý đã phát hiện (thường dùng khi truyền tải qua một kho lưu trữ). Giá trị mặc định là 10.