জনসংখ্যার ডায়নামিক ইনসাইট ডেটা সম্পর্কে

ডেটা বোঝা

এম্বেডিং একাধিক দেশের জন্য উপলভ্য হলেও, স্কিমা সব ডেটাসেট জুড়ে একই থাকে। প্রতিটি দেশের জন্য আলাদা BigQuery তালিকায় এম্বেডিংগুলি সাজানো হয়েছে।

এম্বেডিং ভেক্টরের অ্যানাটমি

features কলামটি হল ৩৩০-ডাইমেনশনাল ভেক্টর (BigQuery-তে REPEATED FLOAT অ্যারে হিসেবে স্টোর করা)। অ্যারের প্রতিটি বিভাগ পপুলেশন ডাইনামিক্স মডেলের মাধ্যমে এক্সট্র্যাক্ট করা নির্দিষ্ট ডেটা সিগন্যালের সাথে সম্পর্কিত।

এই স্ট্রাকচার বুঝতে পারলে ফিচার অ্যাবলেশন (যেমন, আবহাওয়ার তুলনায় সার্চ আচরণ কতটা সেলস অনুমান করতে পারে তা নির্ধারণ করা) করা যায়।

ভেক্টর ইন্ডেক্স	ডেটা সোর্স	বিবরণ
০ – ১২৭	সার্চ ট্রেন্ডের অ্যাগ্রিগেটেড ডেটা	আঞ্চলিক লেভেলে একত্রিত ও বেনামী গ্রাহকদের আগ্রহ ক্যাপচার করে (যেমন, 'হোম ইমপ্রুভমেন্ট,' 'রানিং শু' বা 'ইলেকট্রিক ভেহিকেল' সংক্রান্ত তুলনামূলক আঞ্চলিক সার্চ আগ্রহ)। কাঁচা কোয়েরি কখনও প্রকাশ করা হয় না।
১২৮ – ২৫৫	Maps এবং ব্যস্ততা	বিল্ট এনভাইরনমেন্ট (রেস্তোরাঁ, পার্ক, স্কুলের মতো POI) এবং সর্বজনীন প্রতিষ্ঠানে একত্রিত ও পরিচয় গোপন করা ব্যস্ততা ক্যাপচার করে।
২৫৬ – ৩২৯	আবহাওয়া ও এয়ার কোয়ালিটি	পরিবেশগত প্রসঙ্গ (যেমন তাপমাত্রা, বৃষ্টিপাত, AQI, বাতাস) ক্যাপচার করে।

মূল কলাম ও মেটাডেটা

এমবেডিং টেবিলে স্পেশিয়াল মেটাডেটা থাকে যা জিওস্পেশিয়াল অ্যানালিসিস, ফিল্টারিং এবং অন্যান্য Google Maps Platform পরিষেবার সাথে ইন্টারঅপারেবিলিটি চালু করে।

• geo_id: অঞ্চলের প্রাথমিক শনাক্তকারী। S2 cell ডেটাসেটের জন্য, এটি হল S2 সেল টোকেন যা হেক্সাডেসিমাল স্ট্রিং হিসেবে দেখানো হয় (যেমন, '80ead45')। এটি আপনার প্রাথমিক জয়েন কী হিসেবে ব্যবহার করুন।
• geo_name: অঞ্চলের জন্য মানুষের-পঠনযোগ্য নাম। মনে রাখবেন: S2 গ্রিড ডেটা সেটের জন্য, গাণিতিক সেলের কোনও স্ট্যান্ডার্ড নাম নেই, তাই এই কলামে geo_id-এর মতো একই টোকেন থাকবে। সব Population Dynamics অফার জুড়ে কলামের একই ধরনের স্ট্রাকচার বজায় রাখার জন্য এটি ডিজাইন করা হয়েছে।
• administrative_area_level_1_id: সবচেয়ে উপরের লেভেলের প্রশাসনিক সীমানার জন্য অনন্য Google Maps প্লেস আইডি (যেমন, রাজ্য বা প্রদেশ)।
• administrative_area_level_1_name: টপ-লেভেল বাউন্ডারির জন্য মানুষের-পঠনযোগ্য নাম (যেমন, 'California')।
• administrative_area_level_2_id: সেকেন্ডারি প্রশাসনিক সীমানার (যেমন, কাউন্টি বা জেলা) জন্য অনন্য Google Maps স্থান আইডি।
• administrative_area_level_2_name: সেকেন্ডারি সীমানার জন্য মানুষের-পঠনযোগ্য নাম (যেমন, 'Tulare County')।
• features: ৩৩০-ডাইমেনশনাল এম্বেডিং ভেক্টর, যা নেটিভভাবে ARRAY<FLOAT64> হিসেবে সেভ করা হয়। Pandas Python লাইব্রেরিতে এটি লোড করার জন্য NumPy ম্যাট্রিক্সে ফ্ল্যাটেন বা কনভার্ট করতে হবে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন (FAQ)

আমি কি কাঁচা ইনপুট ডেটা (যেমন, নির্দিষ্ট সার্চ কোয়েরি বা মোবিলিটি ট্রেস) অ্যাক্সেস করতে পারব?

না। জনসংখ্যার ডায়নামিক ইনসাইট এম্বেডিং এগ্রিগেট করা, গোপনীয়তা সুরক্ষিত রাখার সিগন্যাল থেকে জেনারেট করা হয়। ব্যবহারকারীর গোপনীয়তা নিশ্চিত করতে, আমরা নির্দিষ্ট ব্যবহারকারীর ট্রেস, ব্যক্তিগত সার্চ ইতিহাস বা র মুভমেন্ট প্যাটার্ন প্রদান করি না। এম্বেডিং এইসব আচরণের একটি সুপ্ত উপস্থাপনা প্রদান করে, যা কাঁচা অ্যানালিটিক্সের পরিবর্তে মডেলিং ও পূর্বাভাসের জন্য অপ্টিমাইজ করা হয়।

ভেক্টর ডাইমেনশন কি ব্যাখ্যা করা যায় (যেমন, ডাইমেনশন ৫ কি "কফি")?

ভেক্টর হল সুপ্ত উপস্থাপনা, অর্থাৎ, সেগুলি নির্দিষ্ট, মানুষের পড়ার মতো লেবেলের পরিবর্তে বিমূর্ত প্যাটার্ন ক্যাপচার করে। আমরা জানি যে ০–১২৭ ইন্ডেক্স Search Trends থেকে পাওয়া যায়, তবে কোনও নির্দিষ্ট ইন্ডেক্স (যেমন ইন্ডেক্স ৫) "Coffee"-এর মতো কোনও একটি কীওয়ার্ডের সাথে ওয়ান-টু-ওয়ান ম্যাপ করে না। পরিবর্তে, এটি মডেলের মাধ্যমে শেখা সার্চের ধরনের একটি জটিল ফিচারকে উপস্থাপন করে।

ডেটা সেটে কি পলিগন বাউন্ডারি (শেপফাইল) অন্তর্ভুক্ত আছে?

ডেটাসেটটি ভৌগোলিক শনাক্তকারীর (যেমন অ্যাডমিন ১ এবং অ্যাডমিন ২ অঞ্চল) জন্য S2 সেল টোকেন (geo_id) এবং স্থান আইডি প্রদান করে, তবে এতে S2 সেল অঞ্চলের জন্য কাঁচা পলিগন জ্যামিতি (WKT/শেপফাইল) অন্তর্ভুক্ত নেই। কাঁচা জ্যামিতি বাদ দিলে স্টোরেজ ফুলেফেঁপে ওঠা আটকানো যায় এবং ML পাইপলাইনের জন্য BigQuery স্ক্যান করার খরচ কমে যায়, কারণ এতে শুধুমাত্র ফিচার ভেক্টর প্রয়োজন হয়। এছাড়াও, S2 স্ট্রিং টোকেন যোগ করা স্পেশিয়াল পলিগন ইন্টারসেকশন এক্সিকিউট করার থেকে অনেক বেশি দ্রুত এবং কম্পিউটেশনাল দিক থেকে অনেক বেশি এফিশিয়েন্ট।

• পয়েন্ট কোঅর্ডিনেটের জন্য: পয়েন্ট ডেটা (যেমন, POI লোকেশন বা স্টোর সেন্ট্রয়েড) Population Dynamics Insights-এর সাথে যোগ করতে, ST_GEOGPOINT-এর সাথে S2_CELLIDFROMPOINT ব্যবহার করে অক্ষাংশ/দ্রাঘিমাংশ কোঅর্ডিনেটকে S2 লেভেল ১২ সেল টোকেনে কনভার্ট করুন (পয়েন্ট কোঅর্ডিনেটকে S2 লেভেল ১২ হেক্স টোকেনে কনভার্ট করুন দেখুন)।
• এলাকার সীমানা সংক্রান্ত তথ্যের জন্য: জনসংখ্যা ডায়নামিক্স ইনসাইটের সাথে কাস্টম সীমানা ইন্টারসেক্ট করতে হলে, আমরা আপনার কাস্টম পলিগনকে S2 লেভেল ১২ সেল টোকেন কভার করার জন্য কনভার্ট করার সাজেস্ট করি, এর জন্য S2_COVERINGCELLIDS ব্যবহার করুন (দেখুন পলিগনের জন্য S2 লেভেল ১২ সেল টোকেন কভার করা জেনারেট করুন) অথবা BigQuery পাবলিক ডেটাতে উপলভ্য পাবলিক সীমানা ডেটাসেটের সাথে এই ডেটাসেট যোগ করুন।
• ভিজ্যুয়ালাইজেশন ও জিওমেট্রি কনভার্সনের জন্য: BigQuery-এর বিল্ট-ইন জিওগ্রাফি ফাংশন একমুখী কনভার্সন (জিওমেট্রি → S2 সেল আইডি) করে। ম্যাপিং বা GIS টুলের জন্য S2 সেল টোকেনকে পলিগন জ্যামেট্রিতে কনভার্ট করতে, আপনি Python-এর s2sphere-এর মতো ক্লায়েন্ট-সাইড লাইব্রেরি ব্যবহার করতে পারেন। কোড স্যাম্পেল ও নির্দেশাবলীর জন্য, S2 লেভেল ১২ হেক্স টোকেন থেকে S2 সেল জিওমেট্রি পান দেখুন।