কেন এটি একটি ক্রলার বলা হয়?

ভূমিকা

আপনি কি কখনও ভেবে দেখেছেন কেন নির্দিষ্ট প্রযুক্তিগত ডিভাইস বা সরঞ্জামের নির্দিষ্ট নাম বা পদ দেওয়া হয়? উদাহরণস্বরূপ, সার্চ ইঞ্জিন গুগলকে কেন গুগল বলা হয় বা মেসেজিং প্ল্যাটফর্ম হোয়াটসঅ্যাপকে হোয়াটসঅ্যাপ নামে পরিচিত কেন? একইভাবে, কেন ওয়েব ক্রলারকে ক্রলার বলা হয়? এই নিবন্ধে, আমরা প্রশ্নের উত্তর দেব - "কেন এটি একটি ক্রলার বলা হয়?" বিস্তারিতভাবে

একটি ক্রলার কি?

আমরা "ক্রলার" শব্দটির ইতিহাসে ডুব দেওয়ার আগে প্রথমে এর অর্থ কী তা বোঝা যাক। একটি ক্রলার, যা একটি মাকড়সা বা বট নামেও পরিচিত, একটি স্বয়ংক্রিয় প্রোগ্রাম যা সার্চ ইঞ্জিন দ্বারা ওয়েব পৃষ্ঠাগুলি থেকে তথ্য সংগ্রহ করতে ব্যবহৃত হয়। সংগৃহীত তথ্য তারপর বিশ্লেষণ এবং ব্যবহারকারীদের জন্য একটি দ্রুত এবং আরো দক্ষ সার্চ ইঞ্জিন তৈরি করার জন্য সূচীভুক্ত করা হয়।

অনুসন্ধান ইঞ্জিন ক্রলার বা মাকড়সা ওয়েব পৃষ্ঠাগুলির বিষয়বস্তু বিশ্লেষণ করে এবং সূচীতে নতুন সামগ্রী আবিষ্কার করতে পৃষ্ঠায় উপলব্ধ হাইপারলিঙ্কগুলি অনুসরণ করে৷ ক্রলিং এবং সূচীকরণের এই ক্রমাগত প্রক্রিয়া নিশ্চিত করে যে সার্চ ইঞ্জিন ফলাফল পৃষ্ঠাগুলি (SERPs) সর্বদা আপ-টু-ডেট থাকে এবং ব্যবহারকারীর প্রশ্নের জন্য সবচেয়ে প্রাসঙ্গিক ফলাফল প্রদর্শন করে।

"ক্রলার" শব্দটির উৎপত্তি

"ক্রলার" শব্দটির প্রথম ব্যবহারটি মাঝামাঝি-1990সেকে খুঁজে পাওয়া যায়। সেই সময়ে, কিছু সার্চ ইঞ্জিন "স্পাইডার" নামক স্বয়ংক্রিয় প্রোগ্রামগুলি ওয়েব পেজগুলির মাধ্যমে ক্রল করতে এবং সেগুলিকে সূচীকরণ করতে ব্যবহার করেছিল। যাইহোক, ওয়ার্ল্ড ওয়াইড ওয়েবে দ্রুত বর্ধনশীল বিষয়বস্তুর সাথে তাল মিলিয়ে চলার জন্য আরও দক্ষ এবং শক্তিশালী প্রোগ্রামের প্রয়োজন ছিল।

1994 সালে, ব্রায়ান পিঙ্কারটন নামে ওয়াশিংটন বিশ্ববিদ্যালয়ের একজন কম্পিউটার বিজ্ঞানের ছাত্র ওয়েবক্রলার নামে একটি প্রোগ্রাম তৈরি করেছিলেন। এটি ছিল বিশ্বের প্রথম পূর্ণ-পাঠ্য ওয়েব সার্চ ইঞ্জিন যা শুধুমাত্র মেটাডেটা বা কীওয়ার্ডের পরিবর্তে একটি ওয়েব পৃষ্ঠার সম্পূর্ণ বিষয়বস্তুকে সূচিবদ্ধ করে। প্রোগ্রামটিকে যথাযথভাবে "ক্রলার" নাম দেওয়া হয়েছিল কারণ এটি হাইপারলিঙ্ক অনুসরণ করে ওয়েব পৃষ্ঠাগুলির মাধ্যমে ক্রল করে।

WebCrawler দ্রুত জনপ্রিয়তা অর্জন করে এবং অন্যান্য অনেক ক্রলার এবং সার্চ ইঞ্জিন যেমন Lycos, AltaVista এবং Yahoo! সময়ের সাথে সাথে, "ক্রলার" ওয়েব পৃষ্ঠাগুলির মাধ্যমে ক্রল করা ওয়েব রোবটগুলিকে বোঝাতে ব্যবহৃত প্রমিত শব্দ হয়ে ওঠে।

ক্রলারের প্রকারভেদ

ওয়েব ক্রলারগুলিকে বিস্তৃতভাবে তিনটি বিভাগে শ্রেণীবদ্ধ করা যেতে পারে - সাধারণ-উদ্দেশ্য, বিশেষায়িত এবং রিয়েল-টাইম। আসুন তাদের প্রতিটি ঘনিষ্ঠভাবে দেখে নেওয়া যাক।

- সাধারণ-উদ্দেশ্য ক্রলার: এইগুলি সার্চ ইঞ্জিন দ্বারা ব্যবহৃত সবচেয়ে সাধারণ ধরনের ওয়েব ক্রলার। তারা ওয়েবসাইটগুলির মাধ্যমে ক্রল করে এবং ব্যবহারকারীদের প্রাসঙ্গিক অনুসন্ধান ফলাফল প্রদানের জন্য বিষয়বস্তু সূচী করে। সাধারণ-উদ্দেশ্য ক্রলারের উদাহরণগুলির মধ্যে রয়েছে Googlebot, Bingbot, এবং Yandexbot।

- বিশেষায়িত ক্রলার: এই ক্রলারগুলি ওয়েবসাইট থেকে নির্দিষ্ট তথ্য সংগ্রহ করার জন্য ডিজাইন করা হয়েছে এবং প্রাথমিকভাবে গবেষণা এবং ডেটা মাইনিংয়ে ব্যবহৃত হয়। উদাহরণস্বরূপ, অনলাইন খুচরা বিক্রেতাদের দ্বারা বিক্রি হওয়া পণ্যের দামের ডেটা সংগ্রহ করতে বা সময়ের সাথে ওয়েবসাইটে করা পরিবর্তনগুলি ট্র্যাক করতে একটি বিশেষ ক্রলার ব্যবহার করা যেতে পারে।

- রিয়েল-টাইম ক্রলার: এই ক্রলারগুলি নিয়মিত আপডেট এবং বিষয়বস্তুর পরিবর্তনের জন্য ওয়েবসাইটগুলি পর্যবেক্ষণ করে এবং রিয়েল-টাইমে পরিবর্তনগুলিকে সূচী করে। এগুলি মূলত পাঠকদের কাছে আপ-টু-ডেট সংবাদ নিবন্ধ সরবরাহ করতে সংবাদ এবং মিডিয়া শিল্পে ব্যবহৃত হয়।

উপসংহার

উপসংহারে, "ক্রলার" শব্দটি উদ্ভূত হয়েছে ওয়েবক্রলার প্রোগ্রাম থেকে, যেটি 1994 সালে ব্রায়ান পিঙ্কারটন দ্বারা তৈরি করা হয়েছিল। শব্দটি একটি সার্চ ইঞ্জিন সূচক তৈরি করার জন্য ওয়েব পৃষ্ঠাগুলির মাধ্যমে ক্রল করার এবং তথ্য সংগ্রহ করার প্রোগ্রামের ক্ষমতাকে নির্দেশ করে। সময়ের সাথে সাথে, এটি সমস্ত ধরণের ওয়েব ক্রলারকে বোঝাতে ব্যবহৃত স্ট্যান্ডার্ড শব্দ হয়ে উঠেছে। আজ, হাজার হাজার ক্রলার বা মাকড়সা ওয়েবের মাধ্যমে ক্রল করছে, বিষয়বস্তু সূচী করছে এবং বিশ্বব্যাপী সার্চ ইঞ্জিন ব্যবহারকারীদের ফলাফল প্রদান করছে।