CSV कनेक्टर डिप्लॉय करना

यह गाइड, Google Cloud Search CSV (कॉमा से अलग की गई वैल्यू) कनेक्टर के एडमिन के लिए है. इसका मतलब है कि यह गाइड उन लोगों के लिए है जो कनेक्टर को डाउनलोड करने, कॉन्फ़िगर करने, चलाने, और मॉनिटर करने के लिए ज़िम्मेदार हैं.

इस गाइड में, CSV कनेक्टर को डिप्लॉय करने से जुड़े मुख्य टास्क पूरे करने के निर्देश दिए गए हैं:

• Google Cloud Search CSV कनेक्टर सॉफ़्टवेयर डाउनलोड करना
• किसी CSV डेटा सोर्स के साथ इस्तेमाल करने के लिए कनेक्टर को कॉन्फ़िगर करना
• कनेक्टर को डिप्लॉय और रन करना

इस दस्तावेज़ में दिए गए कॉन्सेप्ट को समझने के लिए, आपको Google Workspace, CSV फ़ाइलों, और ऐक्सेस कंट्रोल लिस्ट (एसीएल) के बारे में बुनियादी जानकारी होनी चाहिए.

Google Cloud Search CSV कनेक्टर के बारे में खास जानकारी

Cloud Search CSV कनेक्टर, कॉमा लगाकर अलग की गई वैल्यू (CSV) वाली किसी भी टेक्स्ट फ़ाइल के साथ काम करता है. CSV फ़ाइल में टेबल के रूप में डेटा सेव किया जाता है. साथ ही, फ़ाइल की हर लाइन एक डेटा रिकॉर्ड होती है.

Google Cloud Search का CSV कनेक्टर, CSV फ़ाइल से अलग-अलग लाइनें निकालता है. इसके बाद, Cloud Search के इंडेक्सिंग एपीआई के ज़रिए उन्हें Cloud Search में इंडेक्स करता है. इंडेक्स हो जाने के बाद, CSV फ़ाइलों की अलग-अलग लाइनों को Cloud Search के क्लाइंट या Cloud Search के Query API के ज़रिए खोजा जा सकता है. सीएसवी कनेक्टर, खोज के नतीजों में कॉन्टेंट के लिए उपयोगकर्ताओं के ऐक्सेस को कंट्रोल करने की सुविधा भी देता है. इसके लिए, यह एसीएल का इस्तेमाल करता है.

Google Cloud Search CSV कनेक्टर को Linux या Windows पर इंस्टॉल किया जा सकता है. Google Cloud Search CSV कनेक्टर को डिप्लॉय करने से पहले, पक्का करें कि आपके पास ये ज़रूरी कॉम्पोनेंट हों:

• Google Cloud Search CSV कनेक्टर चलाने वाले कंप्यूटर पर Java JRE 1.8 इंस्टॉल होना चाहिए

• Google Cloud Search और डेटा सोर्स के बीच संबंध बनाने के लिए, Google Workspace की यह जानकारी ज़रूरी है:

  • Google Workspace की निजी कुंजी (जिसमें सेवा खाते का आईडी होता है)
  • Google Workspace डेटा सोर्स आईडी

  आम तौर पर, डोमेन का Google Workspace एडमिन आपको ये क्रेडेंशियल दे सकता है.

डिप्लॉयमेंट का तरीका

Google Cloud Search CSV कनेक्टर को डिप्लॉय करने के लिए, यह तरीका अपनाएं:

1. Google Cloud Search CSV कनेक्टर सॉफ़्टवेयर इंस्टॉल करना
2. CSV कनेक्टर का कॉन्फ़िगरेशन तय करना
3. Google Cloud Search के डेटा सोर्स को ऐक्सेस करने की सुविधा कॉन्फ़िगर करना
4. CSV फ़ाइल के ऐक्सेस को कॉन्फ़िगर करना
5. इंडेक्स किए जाने वाले कॉलम के नाम, यूनीक कुंजी वाले कॉलम, और तारीख और समय की जानकारी वाले कॉलम की जानकारी देना
6. खोज के नतीजों में दिखने वाले, क्लिक किए जा सकने वाले यूआरएल में इस्तेमाल किए जाने वाले कॉलम तय करना
7. मेटाडेटा की जानकारी और कॉलम के फ़ॉर्मैट तय करना
8. डेटा ट्रैवर्सल शेड्यूल करना
9. ऐक्सेस कंट्रोल लिस्ट (एसीएल) के विकल्प तय करना

1. एसडीके टूल इंस्टॉल करना

SDK टूल को अपनी लोकल Maven रिपॉज़िटरी में इंस्टॉल करें.

1. GitHub से SDK रिपॉज़िटरी का क्लोन बनाएं.

   $ git clone https://github.com/google-cloudsearch/connector-sdk.git
   $ cd connector-sdk/csv

2. एसडीके का पसंदीदा वर्शन देखें:

   $ git checkout tags/v1-0.0.3

3. कनेक्टर बनाएं:

   $ mvn package

4. कनेक्टर की ZIP फ़ाइल को अपने लोकल इंस्टॉलेशन डायरेक्ट्री में कॉपी करें:

   $ cp target/google-cloudsearch-csv-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-csv-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-csv-connector-v1-0.0.3

2. CSV कनेक्टर का कॉन्फ़िगरेशन तय करना

कनेक्टर एडमिन के तौर पर, आपके पास CSV कनेक्टर के व्यवहार को कंट्रोल करने का विकल्प होता है. साथ ही, कनेक्टर की कॉन्फ़िगरेशन फ़ाइल में पैरामीटर तय करने वाले एट्रिब्यूट को कंट्रोल करने का विकल्प होता है. कॉन्फ़िगर किए जा सकने वाले पैरामीटर में ये शामिल हैं:

• डेटा सोर्स का ऐक्सेस
• CSV फ़ाइल की जगह
• CSV कॉलम की परिभाषाएं
• ऐसे कॉलम जिनसे यूनीक आईडी तय होता है
• ट्रैवर्सल के विकल्प
• डेटा के ऐक्सेस पर पाबंदी लगाने के लिए एसीएल के विकल्प

कनेक्टर को CSV फ़ाइल को सही तरीके से ऐक्सेस करने और उससे जुड़े कॉन्टेंट को इंडेक्स करने के लिए, आपको पहले उसकी कॉन्फ़िगरेशन फ़ाइल बनानी होगी.

कॉन्फ़िगरेशन फ़ाइल बनाने के लिए:

1. अपनी पसंद का टेक्स्ट एडिटर खोलें और कॉन्फ़िगरेशन फ़ाइल का नाम डालें.
   फ़ाइल के कॉन्टेंट में key=value पेयर जोड़ें. इसके बारे में यहां बताया गया है सेक्शन.
2. कॉन्फ़िगरेशन फ़ाइल को सेव करें और उसका नाम डालें.
   Google का सुझाव है कि कॉन्फ़िगरेशन फ़ाइल का नाम connector-config.properties रखें, ताकि कनेक्टर को चलाने के लिए किसी अन्य कमांड लाइन पैरामीटर की ज़रूरत न पड़े.

कमांड लाइन पर कॉन्फ़िगरेशन फ़ाइल का पाथ तय किया जा सकता है. इसलिए, फ़ाइल की स्टैंडर्ड जगह तय करना ज़रूरी नहीं है. हालांकि, कॉन्फ़िगरेशन फ़ाइल को कनेक्टर के साथ एक ही डायरेक्ट्री में रखें, ताकि कनेक्टर को ट्रैक करना और चलाना आसान हो.

यह पक्का करने के लिए कि कनेक्टर आपकी कॉन्फ़िगरेशन फ़ाइल को पहचान ले, कमांड लाइन पर उसका पाथ डालें. ऐसा न होने पर, कनेक्टर आपकी लोकल डायरेक्ट्री में connector-config.properties का इस्तेमाल डिफ़ॉल्ट फ़ाइल के नाम के तौर पर करता है. कमांड-लाइन पर कॉन्फ़िगरेशन पाथ तय करने के बारे में जानकारी के लिए, Cloud Search CSV कनेक्टर को चलाना लेख पढ़ें.

3. Google Cloud Search के डेटा सोर्स का ऐक्सेस कॉन्फ़िगर करना

हर कॉन्फ़िगरेशन फ़ाइल में, सबसे पहले उन पैरामीटर के बारे में बताना ज़रूरी है जो Cloud Search डेटा सोर्स को ऐक्सेस करने के लिए ज़रूरी हैं. इनके बारे में यहां दी गई टेबल में बताया गया है. आम तौर पर, Cloud Search के लिए कनेक्टर का ऐक्सेस कॉन्फ़िगर करने के लिए, आपको डेटा सोर्स आईडी, सेवा खाता आईडी, और सेवा खाते की निजी कुंजी फ़ाइल का पाथ चाहिए होगा. डेटा सोर्स सेट अप करने के लिए ज़रूरी चरणों के बारे में, तीसरे पक्ष के डेटा सोर्स मैनेज करना लेख में बताया गया है

4. CSV फ़ाइल के पैरामीटर कॉन्फ़िगर करना

कनेक्टर को किसी CSV फ़ाइल को ऐक्सेस करने और इंडेक्सिंग के लिए उससे डेटा निकालने से पहले, आपको फ़ाइल का पाथ पता होना चाहिए. आपके पास फ़ाइल फ़ॉर्मैट और फ़ाइल एन्कोडिंग का टाइप तय करने का विकल्प भी होता है. कॉन्फ़िगरेशन फ़ाइल में CSV फ़ाइल की प्रॉपर्टी तय करने के लिए, ये पैरामीटर जोड़ें.

5. इंडेक्स किए जाने वाले कॉलम के नाम और यूनीक कुंजी वाले कॉलम तय करना

कनेक्टर को CSV फ़ाइलों को ऐक्सेस और इंडेक्स करने की अनुमति देने के लिए, आपको कॉन्फ़िगरेशन फ़ाइल में कॉलम की परिभाषाओं के बारे में जानकारी देनी होगी. अगर कॉन्फ़िगरेशन फ़ाइल में, इंडेक्स करने के लिए कॉलम के नाम और यूनीक कुंजी वाले कॉलम के बारे में बताने वाले पैरामीटर मौजूद नहीं हैं, तो डिफ़ॉल्ट वैल्यू का इस्तेमाल किया जाता है.

6. खोज के नतीजों में दिखने वाले क्लिक किए जा सकने वाले यूआरएल में इस्तेमाल किए जाने वाले कॉलम तय करना

जब कोई उपयोगकर्ता Google Cloud Search का इस्तेमाल करके खोज करता है, तो यह खोज के नतीजों वाला पेज दिखाता है. इस पेज पर, हर नतीजे के लिए क्लिक किए जा सकने वाले यूआरएल शामिल होते हैं. इस सुविधा को चालू करने के लिए, आपको कॉन्फ़िगरेशन फ़ाइल में, यहां दी गई टेबल में दिखाया गया पैरामीटर जोड़ना होगा.

7. मेटाडेटा की जानकारी, कॉलम के फ़ॉर्मैट, और खोज की क्वालिटी तय करना

कॉन्फ़िगरेशन फ़ाइल में ऐसे पैरामीटर जोड़े जा सकते हैं जो यह तय करते हैं कि:

• मेटाडेटा कॉन्फ़िगरेशन पैरामीटर
• कॉलम के फ़ॉर्मैट
• खोज की क्वालिटी

मेटाडेटा कॉन्फ़िगरेशन पैरामीटर

मेटाडेटा कॉन्फ़िगरेशन पैरामीटर में, आइटम के मेटाडेटा को भरने के लिए इस्तेमाल किए गए CSV कॉलम के बारे में बताया गया है. अगर कॉन्फ़िगरेशन फ़ाइल में ये पैरामीटर मौजूद नहीं हैं, तो डिफ़ॉल्ट वैल्यू का इस्तेमाल किया जाता है. इस टेबल में इन पैरामीटर के बारे में बताया गया है.

तारीख और समय के फ़ॉर्मैट

तारीख और समय के फ़ॉर्मैट, मेटाडेटा एट्रिब्यूट में इस्तेमाल किए जाने वाले फ़ॉर्मैट के बारे में बताते हैं. अगर कॉन्फ़िगरेशन फ़ाइल में यह पैरामीटर मौजूद नहीं है, तो डिफ़ॉल्ट वैल्यू का इस्तेमाल किया जाता है. इस टेबल में यह पैरामीटर दिखाया गया है.

कॉलम के फ़ॉर्मैट

कॉलम फ़ॉर्मैट से, उन कॉलम के बारे में जानकारी मिलती है जिन्हें खोजे जा सकने वाले कॉन्टेंट में शामिल किया जाना चाहिए. अगर कॉन्फ़िगरेशन फ़ाइल में ये पैरामीटर मौजूद नहीं हैं, तो डिफ़ॉल्ट वैल्यू का इस्तेमाल किया जाता है. इस टेबल में इन पैरामीटर के बारे में बताया गया है.

खोज की क्वालिटी

Cloud Search CSV कनेक्टर, डेटा फ़ील्ड के लिए एचटीएमएल फ़ॉर्मैटिंग की सुविधा अपने-आप चालू होने देता है. आपका कनेक्टर, कनेक्टर के एक्ज़ीक्यूशन की शुरुआत में डेटा फ़ील्ड तय करता है. इसके बाद, Cloud Search पर अपलोड करने से पहले, हर डेटा रिकॉर्ड को फ़ॉर्मैट करने के लिए कॉन्टेंट टेंप्लेट का इस्तेमाल करता है.

कॉन्टेंट टेंप्लेट से पता चलता है कि खोज के लिए, हर फ़ील्ड की वैल्यू कितनी ज़रूरी है. टाइटल फ़ील्ड को भरना ज़रूरी है. इसे सबसे ज़्यादा प्राथमिकता दी जाती है. अन्य सभी कॉन्टेंट फ़ील्ड के लिए, खोज के नतीजों की क्वालिटी के हिसाब से अहमियत के लेवल तय किए जा सकते हैं: ज़्यादा, मीडियम या कम. किसी कैटगरी में तय नहीं किया गया कोई भी कॉन्टेंट फ़ील्ड, डिफ़ॉल्ट रूप से कम प्राथमिकता पर सेट होता है. इस टेबल में इन पैरामीटर के बारे में बताया गया है.

8. डेटा ट्रैवर्सल को शेड्यूल करना

ट्रैवर्सल, कनेक्टर की वह प्रोसेस होती है जिसके ज़रिए डेटा सोर्स से कॉन्टेंट का पता लगाया जाता है. इस मामले में, डेटा सोर्स एक CSV फ़ाइल है. CSV कनेक्टर के चलने पर, यह CSV फ़ाइल की पंक्तियों को ट्रैवर्स करेगा. साथ ही, हर पंक्ति को इंडेक्सिंग एपीआई के ज़रिए Cloud Search में इंडेक्स करेगा.

फ़ुल ट्रैवर्सल, फ़ाइल के सभी कॉलम को इंडेक्स करता है. इंक्रीमेंटल ट्रैवर्सल, सिर्फ़ उन कॉलम को इंडेक्स करता है जिन्हें पिछले ट्रैवर्सल के बाद जोड़ा गया है या जिनमें बदलाव किया गया है. CSV कनेक्टर सिर्फ़ पूरी तरह से ट्रैवर्सल करता है. यह इंक्रीमेंटल ट्रैवर्सल नहीं करता है.

शेड्यूलिंग के पैरामीटर से यह तय होता है कि कनेक्टर, ट्रैवर्सल के बीच कितनी बार इंतज़ार करता है. अगर कॉन्फ़िगरेशन फ़ाइल में शेड्यूल करने के पैरामीटर नहीं हैं, तो डिफ़ॉल्ट वैल्यू का इस्तेमाल किया जाता है. इस टेबल में इन पैरामीटर के बारे में बताया गया है.

9. ऐक्सेस कंट्रोल लिस्ट (एसीएल) के विकल्प तय करना

Google Cloud Search CSV कनेक्टर, खोज नतीजों में CSV फ़ाइल के कॉन्टेंट को ऐक्सेस करने की सुविधा को कंट्रोल करने के लिए, ACL के ज़रिए अनुमतियों को मैनेज करता है. इंडेक्स किए गए रिकॉर्ड के लिए, उपयोगकर्ता के ऐक्सेस को सुरक्षित रखने के लिए, कई एसीएल विकल्प उपलब्ध हैं.

अगर आपकी रिपॉज़िटरी में हर दस्तावेज़ से जुड़ी अलग-अलग ऐक्सेस कंट्रोल लिस्ट (एसीएल) की जानकारी है, तो Cloud Search में दस्तावेज़ के ऐक्सेस को कंट्रोल करने के लिए, एसीएल की पूरी जानकारी अपलोड करें. अगर आपकी रिपॉज़िटरी में, एएलसी की पूरी जानकारी नहीं दी गई है, तो यहां दिए गए पैरामीटर में एएलसी की डिफ़ॉल्ट जानकारी दी जा सकती है. एसडीके, यह जानकारी कनेक्टर को देता है.

कनेक्टर, कॉन्फ़िगरेशन फ़ाइल में डिफ़ॉल्ट एएलसी चालू होने पर काम करता है. डिफ़ॉल्ट ACL चालू करने के लिए, defaultAcl.mode को none के अलावा किसी दूसरे मोड पर सेट करें और defaultAcl.* के साथ कॉन्फ़िगर करें

स्कीमा की परिभाषा

Cloud Search, स्ट्रक्चर्ड और अनस्ट्रक्चर्ड कॉन्टेंट को इंडेक्स करने और उसे दिखाने की सुविधा देता है. अपने डेटा पर स्ट्रक्चर्ड डेटा क्वेरी इस्तेमाल करने के लिए, आपको अपने डेटा सोर्स के लिए स्कीमा सेट अप करना होगा.

तय किए जाने के बाद, CSV कनेक्टर इंडेक्सिंग के अनुरोध बनाने के लिए, तय किए गए स्कीमा का इस्तेमाल कर सकता है. उदाहरण के तौर पर, मान लें कि हमारे पास एक CSV फ़ाइल है. इसमें फ़िल्मों के बारे में जानकारी दी गई है.

मान लें कि इनपुट CSV फ़ाइल में यह कॉन्टेंट है.

1. movieId
2. movieTitle
3. ब्यौरा
4. वर्ष
5. releaseDate
6. कलाकार (एक से ज़्यादा वैल्यू को कॉमा (,) लगाकर अलग किया जाता है)
7. शैली (एक से ज़्यादा वैल्यू)
8. रेटिंग

ऊपर दिए गए डेटा के स्ट्रक्चर के आधार पर, उस डेटा सोर्स के लिए स्कीमा तय किया जा सकता है जिसमें आपको CSV फ़ाइल से डेटा इंडेक्स करना है.

{
  "objectDefinitions": [
    {
      "name": "movie",
      "propertyDefinitions": [
        {
          "name": "actors",
          "isReturnable": true,
          "isRepeatable": true,
          "isFacetable": true,
          "textPropertyOptions": {
            "operatorOptions": {
              "operatorName": "actor"
            }
          }
        },
        {
          "name": "releaseDate",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": false,
          "datePropertyOptions": {
            "operatorOptions": {
              "operatorName": "released",
              "lessThanOperatorName": "releasedbefore",
              "greaterThanOperatorName": "releasedafter"
            }
          }
        },
        {
          "name": "movieTitle",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": false,
          "textPropertyOptions": {
            "retrievalImportance": {
              "importance": "HIGHEST"
            },
            "operatorOptions": {
              "operatorName": "title"
            }
          }
        },
        {
          "name": "genre",
          "isReturnable": true,
          "isRepeatable": true,
          "isFacetable": true,
          "enumPropertyOptions": {
            "operatorOptions": {
              "operatorName": "genre"
            },
            "possibleValues": [
              {
                "stringValue": "Action"
              },
              {
                "stringValue": "Documentary"
              },
              {
                "stringValue": "Drama"
              },
              {
                "stringValue": "Crime"
              },
              {
                "stringValue": "Sci-fi"
              }
            ]
          }
        },
        {
          "name": "userRating",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": true,
          "integerPropertyOptions": {
            "orderedRanking": "ASCENDING",
            "maximumValue": "10",
            "operatorOptions": {
              "operatorName": "score",
              "lessThanOperatorName": "scorebelow",
              "greaterThanOperatorName": "scoreabove"
            }
          }
        }
      ]
    }
  ]
}

कॉन्फ़िगरेशन फ़ाइल का उदाहरण

कॉन्फ़िगरेशन फ़ाइल के इस उदाहरण में, key=value पैरामीटर के ऐसे जोड़े दिखाए गए हैं जो कनेक्टर के व्यवहार को तय करते हैं.

# data source access
api.sourceId=1234567890abcd
api.serviceAccountPrivateKeyFile=./PrivateKey.json

# CSV data structure
csv.filePath=./movie_content.csv
csv.csvColumns=movieId,movieTitle,description,releaseYear,genre,actors,ratings,releaseDate
csv.skipHeaderRecord=true
url.format=https://mymoviesite.com/movies/{0}
url.columns=movieId
csv.datetimeFormat.releaseDate=yyyy-mm-dd
csv.multiValueColumns=genre,actors
csv.multiValue.genre=;
contentTemplate.csv.title=movieTitle

# metadata structured data and content
itemMetadata.title.field=movieTitle
itemMetadata.createTime.field=releaseDate
itemMetadata.contentLanguage.defaultValue=en-US
itemMetadata.objectType.defaultValue=movie
contentTemplate.csv.quality.medium=description
contentTemplate.csv.unmappedColumnsMode=IGNORE

#ACLs
defaultAcl.mode=fallback
defaultAcl.public=true

हर पैरामीटर के बारे में ज़्यादा जानकारी पाने के लिए, कॉन्फ़िगरेशन पैरामीटर का रेफ़रंस देखें.

Cloud Search CSV कनेक्टर को चलाना

कनेक्टर को कमांड लाइन से चलाने के लिए, यह कमांड टाइप करें:

$ java -jar google-cloudsearch-csv-connector-v1-0.0.3.jar -Dconfig=my.config

डिफ़ॉल्ट रूप से, कनेक्टर के लॉग स्टैंडर्ड आउटपुट पर उपलब्ध होते हैं. logging.properties तय करके, फ़ाइलों में लॉग किया जा सकता है.