פריסת פלאגין של Apache Nutch Indexer

אפשר להגדיר את Google Cloud Search כך שיציג למשתמשים תוכן אינטרנט באמצעות פריסת הפלאגין של Google Cloud Search ליצירת אינדקס עבור Apache Nutch, סורק אינטרנט בקוד פתוח.

כשמתחילים את הסריקה של האינטרנט, Apache Nutch סורק את האינטרנט ומשתמש בתוסף indexer כדי להעלות גרסאות בינאריות (או טקסט) מקוריות של תוכן המסמך ל-Google Cloud Search indexing API. ה-Indexing API מאנדקס את התוכן ומציג את התוצאות למשתמשים.

שיקולים חשובים

• מפתח פרטי של Google Workspace (שכולל את מזהה חשבון השירות). למידע על קבלת מפתח פרטי, אפשר לעבור אל הגדרת גישה ל-Google Cloud Search API.
• מזהה מקור הנתונים של Google Workspace. מידע על קבלת מזהה של מקור נתונים זמין במאמר בנושא הוספת מקור נתונים לחיפוש.

1. משכפלים את מאגר התוסף של כלי היצירה של האינדקס מ-GitHub.

   $ git clone https://github.com/google-cloudsearch/apache-nutch-indexer-plugin.git
   $ cd apache-nutch-indexer-plugin

2. מורידים את הגרסה הרצויה של פלאגין יצירת האינדקס:

   $ git checkout tags/v1-0.0.5

3. יוצרים את הפלאגין של יצירת האינדקס.

   $ mvn package

   כדי לדלג על הבדיקות כשיוצרים את התוסף של כלי היצירה של האינדקס, משתמשים ב-mvn package -DskipTests.

4. מורידים את Apache Nutch 1.15 ופועלים לפי הוראות ההתקנה של Apache Nutch.

5. מחזירים את target/google-cloudsearch-apache-nutch-indexer-plugin-v1.0.0.5.zip (שנוצר בשלב 2) לתיקייה. מעתיקים את התיקייה plugins/indexer-google-cloudsearch לתיקיית הפלאגינים של Apache Nutch (apache-nutch-1.15/plugins).

שלב 2: הגדרת הפלאגין ליצירת אינדקס

כדי להגדיר את הפלאגין Apache Nutch Indexer, יוצרים קובץ בשם plugin-configuration.properties.

בקובץ ההגדרות צריך לציין את הפרמטרים הבאים, שנדרשים כדי לגשת למקור הנתונים של Google Cloud Search.

בדוגמה הבאה מוצג קובץ תצורה לדוגמה עם הפרמטרים הנדרשים.

#
# data source access
api.sourceId=1234567890abcdef
api.serviceAccountPrivateKeyFile=./PrivateKey.json
#

קובץ ההגדרות יכול להכיל גם פרמטרים אחרים שקובעים את אופן הפעולה של תוסף יצירת האינדקס. אתם יכולים להגדיר איך התוסף דוחף נתונים ל-Cloud Search API, ‏ defaultAcl.* ו-batch.*. אפשר גם להגדיר איך התוסף של הכלי ליצירת אינדקס מאכלס את המטא-נתונים והנתונים המובנים.

תיאורים של הפרמטרים האלה זמינים במאמר בנושא פרמטרים של מחבר שסופקו על ידי Google.

שלב 3: הגדרת Apache Nutch

1. פותחים את conf/nutch-site.xml ומוסיפים את הפרמטרים הבאים:

   הגדרה	פרמטר
   התוסף כולל	plugin.includes = text חובה. רשימה של יישומי פלאגין לשימוש. היא צריכה לכלול לפחות את הפרטים הבאים: index-basic index-more indexer-google-cloudsearch ‫conf/nutch-default.xml מספק ערך ברירת מחדל למאפיין הזה, אבל צריך גם להוסיף לו את indexer-google-cloudsearch באופן ידני.
   שמות של מטא תגים	metatags.names = text אופציונלי. רשימת תגים מופרדת בפסיקים שממופים למאפיינים בסכימה של מקור הנתונים המתאים. מידע נוסף על הגדרת Apache Nutch לתגי מטא זמין במאמר בנושא Nutch-parse metatags.

   בדוגמה הבאה אפשר לראות את השינוי הנדרש ב-nutch-site.xml:

   <property>
     <name>plugin.includes</name>
     <value>protocol-(http|httpclient)|urlfilter-regex|index-(basic|more| metadata)|query-(basic|site|url|lang)|indexer-google-cloudsearch|nutch-extensionpoints|parse-(text|html|msexcel|msword|mspowerpoint|pdf|metatags)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)|parse-(html|tika|metatags)|index-(basic|anchor|more|metadata)</value>
   </property>
   

2. פותחים את conf/index-writers.xml ומוסיפים את הקטע הבא:

   <writer id="indexer_google_cloud_search_1" class="org.apache.nutch.indexwriter.gcs.GoogleCloudSearchIndexWriter">
     <parameters>
       <param name="gcs.config.file" value="path/to/sdk-configuration.properties"/>
     </parameters>
     <mapping>
       <copy />
       <rename />
       <remove />
     </mapping>
   </writer>
   

   הקטע <writer> מכיל את הפרמטרים הבאים:

   הגדרה	פרמטר
   נתיב לקובץ ההגדרות של Google Cloud Search	gcs.config.file = path חובה. הנתיב המלא (המוחלט) לקובץ ההגדרות של Google Cloud Search.
   פורמט ההעלאה	gcs.uploadFormat = text אופציונלי. הפורמט שבו התוכן של המסמך מועבר על ידי תוסף ההוספה לאינדקס אל Google Cloud Search Indexer API. הערכים החוקיים כוללים: ‫raw: התוסף של כלי היצירה של האינדקסים דוחף תוכן מקורי של מסמכים שלא עבר המרה. ‫text: הפלאגין של הכלי ליצירת אינדקסים דוחף תוכן טקסטואלי שחולץ. ערך ברירת המחדל הוא raw.

שלב 4: הגדרת סריקת אתרים

לפני שמתחילים בסריקת אינטרנט, צריך להגדיר את הסריקה כך שהיא תכלול רק מידע שהארגון רוצה שיהיה זמין בתוצאות החיפוש. בקטע הזה מופיעה סקירה כללית. מידע נוסף על הגדרת סריקת אתרים זמין במדריך Nutch.

1. מגדירים כתובות URL להתחלה.

   כתובות URL להתחלה קובעות איפה סורק האינטרנט Apache Nutch מתחיל לסרוק את התוכן שלכם. כתובות ה-URL להתחלה צריכות לאפשר לסורק האינטרנט להגיע לכל התוכן שרוצים לכלול בסריקה מסוימת, על ידי מעקב אחרי הקישורים. חובה לציין כתובות URL להתחלה.

   כדי להגדיר כתובות URL להתחלה:

   1. משנים את ספריית העבודה לספריית ההתקנה של Nutch:

      $ cd ~/nutch/apache-nutch-X.Y/

   2. יוצרים ספרייה לכתובות URL:

      $ mkdir urls

   3. יוצרים קובץ בשם seed.txt ומוסיפים בו רשימה של כתובות URL, כתובת URL אחת בכל שורה.

2. הגדרת כללים למעקב ולביטול מעקב.

   כללי כתובות URL קובעים אילו כתובות URL נסרקות ונכללות באינדקס של Google Cloud Search. סורק האינטרנט בודק את כתובות ה-URL בהשוואה לכללים של כתובות ה-URL שצריך לעקוב אחריהן. רק כתובות URL שתואמות לכללים האלה נסרקות ונוספות לאינדקס.

   כללים של 'לא למעקב' מונעים מסורק האינטרנט לסרוק כתובות URL ולכלול אותן באינדקס של Google Cloud Search. אם כתובת URL מכילה תבנית של 'לא לסרוק', סורק האינטרנט לא יסרוק אותה.

   כדי להגדיר כללים של כתובות URL מסוג follow ו-do-not-follow:

   1. משנים את ספריית העבודה לספריית ההתקנה של Nutch:

      $ cd ~/nutch/apache-nutch-X.Y/

   2. עריכה של conf/regex-urlfilter.txt כדי לשנות את הכללים של מעקב/לא מעקב: \

      $ nano conf/regex-urlfilter.txt

   3. מזינים ביטויים רגולריים עם הקידומת '+' או '-' כדי לעקוב אחרי תבניות של כתובות URL ותוספים או לא לעקוב אחריהם, כמו בדוגמאות הבאות. מותר להשתמש בביטויים פתוחים.

      # skip file extensions
      -\.(gif|GIF|jpg|JPG|png|PNG|ico)
      
      # skip protocols (file: ftp: and mailto:)
          -^(file|ftp|mailto):
      
      # allow urls starting with https://support.google.com/gsa/
      +^https://support.google.com/gsa/
      
      # accept anything else
      # (commented out due to the single url-prefix allowed above)
      #+.
      

3. עריכת סקריפט הסריקה.

   אם הפרמטר gcs.uploadFormat חסר או מוגדר כ-raw, צריך להוסיף ארגומנטים של -addBinaryContent -base64 כדי להעביר אותם לפקודה nutch index. הארגומנטים האלה אומרים למודול Nutch Indexer לכלול תוכן בינארי ב-Base64 כשהוא מפעיל את הפלאגין indexer. לסקריפט ‎ ./bin/crawl אין את הארגומנטים האלה כברירת מחדל.

   1. פותחים את הסקריפט crawl ב-apache-nutch-1.15/bin.

   2. מוסיפים את האפשרויות -addBinaryContent -base64 לסקריפט, כמו בדוגמה הבאה:

            if $INDEXFLAG; then
                echo "Indexing $SEGMENT to index"
                __bin_nutch index $JAVA_PROPERTIES "$CRAWL_PATH"/crawldb -addBinaryContent -base64 -linkdb "$CRAWL_PATH"/linkdb "$CRAWL_PATH"/segments/$SEGMENT
      
                echo "Cleaning up index if possible"
                __bin_nutch clean $JAVA_PROPERTIES "$CRAWL_PATH"/crawldb
            else
                echo "Skipping indexing ..."
      

שלב 5: מתחילים בסריקת אתר ובהעלאת תוכן

אחרי שמתקינים ומגדירים את פלאגין יצירת האינדקס, אפשר להפעיל אותו לבד במצב מקומי. משתמשים בסקריפטים מ-./bin כדי להריץ משימת סריקה או פקודות Nutch נפרדות.

בדוגמה הבאה מניחים שהרכיבים הנדרשים נמצאים בספרייה המקומית. מריצים את Nutch עם הפקודה הבאה מהספרייה apache-nutch-1.15:

$ bin/crawl -i -s urls/ crawl-test/ 5

יומני הסריקה זמינים בפלט הרגיל (טרמינל) או בספרייה logs/. כדי להפנות את פלט הרישום ביומן או כדי להגדיר רישום מפורט יותר ביומן, עורכים את conf/log4j.properties.