Tài liệu hướng dẫn này dành cho quản trị viên trình lập chỉ mục Norconex HTTP Collector của Google Cloud Search, tức là bất kỳ ai chịu trách nhiệm tải xuống, triển khai, định cấu hình và duy trì trình bổ trợ trình lập chỉ mục. Hướng dẫn này giả định rằng bạn đã quen thuộc với hệ điều hành Linux, các nguyên tắc cơ bản về việc thu thập dữ liệu trên web, XML và Norconex HTTP Collector.

Hướng dẫn này bao gồm các chỉ dẫn để thực hiện các nhiệm vụ chính liên quan đến việc triển khai trình bổ trợ của trình lập chỉ mục:

• Tải phần mềm trình bổ trợ lập chỉ mục xuống
• Định cấu hình Google Cloud Search
• Định cấu hình Norconex HTTP Collector và hoạt động thu thập dữ liệu trên web
• Bắt đầu thu thập dữ liệu trên web và tải nội dung lên

Thông tin về những việc mà quản trị viên Google Workspace phải thực hiện để liên kết Google Cloud Search với trình lập chỉ mục Norconex HTTP Collector không có trong hướng dẫn này. Để biết thông tin về những việc này, hãy xem bài viết Quản lý nguồn dữ liệu bên thứ ba.

Tổng quan về trình bổ trợ lập chỉ mục Norconex HTTP Collector của Cloud Search

Theo mặc định, Cloud Search có thể khám phá, lập chỉ mục và phân phát nội dung từ các sản phẩm của Google Workspace, chẳng hạn như Google Tài liệu và Gmail. Bạn có thể mở rộng phạm vi tiếp cận của Google Cloud Search để bao gồm việc phân phát nội dung web cho người dùng bằng cách triển khai trình lập chỉ mục cho Norconex HTTP Collector, một trình thu thập dữ liệu web doanh nghiệp nguồn mở.

Tệp thuộc tính cấu hình

Để cho phép trình bổ trợ lập chỉ mục thực hiện hoạt động thu thập dữ liệu trên web và tải nội dung lên API lập chỉ mục, bạn (với tư cách là quản trị viên trình bổ trợ lập chỉ mục) sẽ cung cấp thông tin cụ thể trong các bước định cấu hình được mô tả trong tài liệu này trong phần Các bước triển khai.

Để sử dụng trình bổ trợ lập chỉ mục, bạn phải đặt các thuộc tính trong 2 tệp cấu hình:

• {gcs-crawl-config.xml}– chứa các chế độ cài đặt cho Trình thu thập HTTP Norconex.
• sdk-configuration.properties– chứa các chế độ cài đặt cho Google Cloud Search.

Các thuộc tính trong mỗi tệp cho phép trình lập chỉ mục Google Cloud Search và Norconex HTTP Collector giao tiếp với nhau.

Thu thập dữ liệu trên web và tải nội dung lên

Sau khi điền thông tin vào các tệp cấu hình, bạn sẽ có các chế độ cài đặt cần thiết để bắt đầu thu thập dữ liệu trên web. Norconex HTTP Collector thu thập dữ liệu trên web, khám phá nội dung tài liệu liên quan đến cấu hình của nó và tải các phiên bản nhị phân (hoặc văn bản) gốc của nội dung tài liệu lên Cloud Search Indexing API. Tại đây, nội dung sẽ được lập chỉ mục và cuối cùng được phân phát cho người dùng của bạn.

Hệ điều hành được hỗ trợ

Bạn phải cài đặt trình bổ trợ trình lập chỉ mục Google Cloud Search Norconex HTTP Collector trên Linux.

Phiên bản Norconex HTTP Collector được hỗ trợ

Trình bổ trợ lập chỉ mục Google Cloud Search Norconex HTTP Collector hỗ trợ phiên bản 2.8.0.

Hỗ trợ ACL

Trình bổ trợ lập chỉ mục hỗ trợ việc kiểm soát quyền truy cập vào tài liệu trong miền Google Workspace bằng cách sử dụng Danh sách kiểm soát truy cập (ACL).

Nếu bạn bật ACL mặc định trong cấu hình trình bổ trợ Google Cloud Search (defaultAcl.mode được đặt thành một giá trị khác none và được định cấu hình bằng defaultAcl.*), thì trình bổ trợ lập chỉ mục sẽ cố gắng tạo và áp dụng ACL mặc định trước.

Nếu bạn không bật ACL mặc định, thì trình bổ trợ sẽ quay lại cấp quyền đọc cho toàn bộ miền Google Workspace.

Để biết nội dung mô tả chi tiết về các tham số cấu hình ACL, hãy xem Các tham số trình kết nối do Google cung cấp.

Điều kiện tiên quyết

Trước khi triển khai trình bổ trợ lập chỉ mục, hãy đảm bảo rằng bạn có các thành phần bắt buộc sau:

• Java JRE 1.8 được cài đặt trên máy tính chạy trình bổ trợ lập chỉ mục

• Thông tin về Google Workspace cần thiết để thiết lập mối quan hệ giữa Cloud Search và Norconex HTTP Collector:

  • Khoá riêng tư của Google Workspace (chứa mã nhận dạng tài khoản dịch vụ)
  • Mã nhận dạng nguồn dữ liệu Google Workspace

  Thông thường, quản trị viên Google Workspace cho miền có thể cung cấp cho bạn những thông tin đăng nhập này.

Các bước triển khai

Để triển khai trình bổ trợ lập chỉ mục, hãy làm theo các bước sau:

1. Cài đặt Norconex HTTP Collector và phần mềm trình bổ trợ lập chỉ mục
2. Định cấu hình Google Cloud Search
3. Định cấu hình Trình thu thập HTTP Norconex
4. Định cấu hình tính năng thu thập thông tin trên web
5. Bắt đầu thu thập dữ liệu trên web và tải nội dung lên

Bước 1: Cài đặt Norconex HTTP Collector và phần mềm trình bổ trợ lập chỉ mục

1. Tải phần mềm Norconex commiter xuống từ trang này.
2. Giải nén phần mềm đã tải xuống vào thư mục ~/norconex/
3. Sao chép trình bổ trợ commiter trên GitHub. git clone https://github.com/google-cloudsearch/norconex-committer-plugin.git và sau đó cd norconex-committer-plugin
4. Kiểm tra phiên bản mong muốn của trình bổ trợ commiter và tạo tệp ZIP: git checkout tags/v1-0.0.3 và mvn package (Để bỏ qua các kiểm thử khi tạo trình kết nối, hãy sử dụng mvn package -DskipTests.)
5. cd target
6. Sao chép tệp jar trình bổ trợ đã tạo vào thư mục norconex lib. cp google-cloudsearch-norconex-committer-plugin-v1-0.0.3.jar ~/norconex/norconex-collector-http-{version}/lib
7. Giải nén tệp ZIP bạn vừa tạo rồi giải nén tệp đó: unzip google-cloudsearch-norconex-committer-plugin-v1-0.0.3.zip
8. Thực thi tập lệnh cài đặt để sao chép .jar của trình bổ trợ và tất cả các thư viện bắt buộc vào thư mục của trình thu thập http:
   1. Thay đổi thành trình bổ trợ commiter đã giải nén ở trên: cd google-cloudsearch-norconex-committer-plugin-v1-0.0.3
   2. Thực thi $ sh install.sh và cung cấp đường dẫn đầy đủ đến norconex/norconex-collector-http-{version}/lib làm thư mục đích khi được nhắc.
   3. Nếu tìm thấy các tệp jar trùng lặp, hãy chọn tuỳ chọn 1 (Chỉ sao chép Jar nguồn nếu phiên bản lớn hơn hoặc bằng Jar đích sau khi đổi tên Jar đích).

Bước 2: Định cấu hình Google Cloud Search

Để trình bổ trợ lập chỉ mục kết nối với Norconex HTTP Collector và lập chỉ mục nội dung có liên quan, bạn phải tạo tệp cấu hình Cloud Search trong thư mục Norconex nơi Norconex HTTP Collector được cài đặt. Google đề xuất bạn đặt tên cho tệp cấu hình Cloud Search là sdk-configuration.properties.

Tệp cấu hình này phải chứa các cặp khoá/giá trị xác định một thông số. Tệp cấu hình phải chỉ định ít nhất các tham số sau đây. Đây là những tham số cần thiết để truy cập vào nguồn dữ liệu Cloud Search.

Ví dụ sau đây minh hoạ một tệp sdk-configuration.properties.

#
# data source access
api.sourceId=1234567890abcdef
api.serviceAccountPrivateKeyFile=./PrivateKey.json
#

Tệp cấu hình cũng có thể chứa các thông số cấu hình do Google cung cấp. Các tham số này có thể ảnh hưởng đến cách trình bổ trợ này truyền dữ liệu vào Google Cloud Search API. Ví dụ: bộ tham số batch.* xác định cách trình kết nối kết hợp các yêu cầu.

Nếu bạn không xác định một tham số trong tệp cấu hình, thì giá trị mặc định (nếu có) sẽ được sử dụng. Để biết nội dung mô tả chi tiết về từng thông số, hãy xem Thông số trình kết nối do Google cung cấp.

Bạn có thể định cấu hình trình bổ trợ lập chỉ mục để điền sẵn siêu dữ liệu và dữ liệu có cấu trúc cho nội dung đang được lập chỉ mục. Bạn có thể trích xuất các giá trị cần điền cho các trường siêu dữ liệu và dữ liệu có cấu trúc từ thẻ meta trong nội dung HTML đang được lập chỉ mục hoặc có thể chỉ định các giá trị mặc định trong tệp cấu hình.

Định dạng ngày giờ

Định dạng ngày giờ chỉ định các định dạng dự kiến trong thuộc tính siêu dữ liệu. Nếu tệp cấu hình không chứa tham số này, thì các giá trị mặc định sẽ được sử dụng. Bảng sau đây cho thấy tham số này.

Chế độ cài đặt

Tham số

Các mẫu ngày giờ khác

structuredData.dateTimePatterns=MM/dd/uuuu HH:mm:ssXXX

Danh sách các mẫu java.time.format.DateTimeFormatter bổ sung được phân tách bằng dấu chấm phẩy. Các mẫu này được dùng khi phân tích cú pháp các giá trị chuỗi cho mọi trường ngày hoặc ngày giờ trong siêu dữ liệu hoặc giản đồ. Giá trị mặc định là một danh sách trống, nhưng các định dạng RFC 3339 và RFC 1123 luôn được hỗ trợ.

Bước 3: Định cấu hình Norconex HTTP Collector

Tệp lưu trữ zip norconex-committer-google-cloud-search-{version}.zipbao gồm một tệp cấu hình mẫu, minimum-config.xml.

Google khuyên bạn nên bắt đầu cấu hình bằng cách sao chép tệp mẫu:

1. Thay đổi thành thư mục Norconex HTTP Collector:
   $ cd ~/norconex/norconex-collector-http-{version}/
2. Sao chép tệp cấu hình:
   $ cp examples/minimum/minimum-config.xml gcs-crawl-config.xml
3. Chỉnh sửa tệp vừa tạo (trong ví dụ này là gcs-crawl-config.xml) rồi thêm hoặc thay thế các nút <committer> và <tagger> hiện có như mô tả trong bảng sau.

Ví dụ sau đây minh hoạ nội dung sửa đổi bắt buộc đối với gcs-crawl-config.xml.

<committer class="com.norconex.committer.googlecloudsearch.GoogleCloudSearchCommitter">
    <configFilePath>/full/path/to/gcs-sdk-config.properties</configFilePath>
    
    <uploadFormat>raw</uploadFormat>
</committer>
<importer>
  <preParseHandlers>
    <tagger class="com.norconex.committer.googlecloudsearch.BinaryContentTagger"/>
  </preParseHandlers>
</importer>

Bước 4: Định cấu hình hoạt động thu thập dữ liệu trên web

Trước khi bắt đầu thu thập dữ liệu web, bạn phải định cấu hình quy trình thu thập dữ liệu để quy trình này chỉ bao gồm thông tin mà tổ chức của bạn muốn cung cấp trong kết quả tìm kiếm. Các chế độ cài đặt quan trọng nhất cho hoạt động thu thập dữ liệu trên web là một phần của(các) nút <crawler> và có thể bao gồm:

• URL bắt đầu
• Độ sâu tối đa của quá trình thu thập dữ liệu
• Số lượng luồng

Thay đổi các giá trị cấu hình này theo nhu cầu của bạn. Để biết thêm thông tin chi tiết về cách thiết lập một quy trình thu thập dữ liệu trên web, cũng như danh sách đầy đủ các thông số cấu hình hiện có, hãy xem trang Cấu hình của Trình thu thập dữ liệu HTTP.

Bước 5: Bắt đầu thu thập dữ liệu trên web và tải nội dung lên

Sau khi cài đặt và thiết lập trình bổ trợ lập chỉ mục, bạn có thể chạy trình bổ trợ này riêng ở chế độ cục bộ.

Ví dụ sau đây giả định rằng các thành phần bắt buộc nằm trong thư mục cục bộ trên hệ thống Linux. Chạy lệnh sau:

$ ./collector-http[.bat|.sh] -a start -c gcs-crawl-config.xml

Theo dõi trình thu thập dữ liệu bằng JEF Monitor

Norconex JEF (Job Execution Framework) Monitor là một công cụ đồ hoạ để theo dõi tiến trình của các quy trình và công việc Norconex Web Crawler (HTTP Collector). Để xem hướng dẫn đầy đủ về cách thiết lập tiện ích này, hãy truy cập vào bài viết Theo dõi tiến trình của trình thu thập dữ liệu bằng JEF Monitor.