معرفی و تاریخچه موتورهای جستجو

کیهان نت در زمینه جویشگرها و موتورهای جستجو اطلاعات مهمی مثل معماری موتورهای جستجو، رتبه بندی موتورهای جستجو، نمایه سازی داده ها در موتورهای جستجو، خزشگرهای موتورهای جستجو، سئو در موتورهای جستجو و غیره ارائه کرده است و تمام تلاش های انجام شده در این زمینه بر اساس منابع اصلی مانند کتاب “جری لد فورد” که یکی از این منابع به شمار می رود، صورت گرفته است.
 

1-  تاریخچه موتورهای جستجو (Search Engines)

وقتی شما به چیزی از قبیل یک اطلاع ،یک حقیقت، یک توصیف، یک محصول، آمار و یا حتی یک شماره تلفن نیاز دارید، برای پیدا کردن آن چه کاری انجام می دهید؟ در اکثر موارد شما از جویشگرهای بزرگ استفاده می کنید موقعی که یک واژه یا اصطلاحی را می خواهید جستجو کنید آن را تایپ می کنید و با کلیک کردن نتیجه  جستجو را می بینید. سپس اطلاعاتی که شما به دنبال آن می گردید در مدت زمان اندکی در اختیار شما قرار می گیرد و پس از آن می توانید از این اطلاعات استفاده کنید.در اوایل پیدایش اینترنت، آن چیزی نبود که شما فکر می کردید اما اکنون شما از آن استفاده می کنید. در واقع، آن شبیه وب سایت های یکپارچه بود که مزایای همچون سهولت در کارها و صرفه جویی در زمان داشت. در واقع چیزی که اینترنت نامیده شده بود، مجموعه ای از سایت های FTP  بود که کاربران می توانستند فایل ها را دانلود یا آپلود کنند. برای پیدا کردن یک فایل خاص از میان مجموعه ای از فایل ها کاربران مجبورند هر کدام از فایل ها را بررسی کنند اما اینجا راهکارهای بهتری هم وجود دارد که خیلی سریع می توانید فایل مورد نظرتان را پیدا کنید.

در اوایل همه فرایندهایی که برای پیدا کردن فایل در اینترنت ساخته شده بود با پیچیدگی زیادی مواجه شده بود و نیاز به صرف زمان و تمرین داشت و همه این روش ها قبل از تحقیقات دانشگاه  مک گیل در مونترل کانادا  بود که تصمیم گرفت روشی راحتری برای مسئله جستجو در اینترنت ارائه کند. درسال 1990 الن امتیگ اولین ابزار جستجو برای استفاده در اینترنت را ایجاد کرد در این روش، ایندیکس فایل ها روی اینترنت قرار گرفت که این روش، آرشیو کردن نام گرفته بود. متد آرشیو واقعا به عنوان یک موتور جستجو که شما امروزه از آن ها استفاده می کنید مطرح نبود، اما در آن زمان برنامه آرشیو کاربران زیادی را راضی می کرد. اساس برنامه آن دانلود مستقیم لیست هایی از فایل بود که روی سایت های FTP  ناشناس (انانیمس) ذخیره شده بود. این لیست ها روی وب سایت هایی که پایگاه داده های قابل جستجوداشتند قرار گرفته بود.

در سال 1991 باوجود پیشرفت های قبلی، دانشجویان دانشگاه مینی سوتا با سرپرستی مک گیل (McGill) دریافتند اگر شما قادر باشید فایل ها را در اینترنت جستجو کنید مطمئنا شما می توانید قسمتی از متن را که به یک فایل رجوع می کند را هم جستجو کنید. چون هیچ برنامه کاربردی در این زمینه وجود نداشت مک گیل گوفر (Gopher) را ایجاد کرد. گوفر برنامه ای بود که متن مستندات را ایندیکس گذاری می کرد که روی وب سایت های اولیه اینترنت عمومیت پیدا کرد. با ظهور گوفر، به برنامه هایی نیاز بود که با مراجعه به ایندیکس ها عمل جستجو قابل انجام باشد، گوفر این برنامه ها را ایجاد کرد بنابراین ارشیو پاسخی نسبت به آن بود. ورونیکا (Veronica) و جاهد (Jughead) برنامه ای را ایجاد کردند که فایل های ذخیره شده روی سیستم ایندیکس گوفر را جستجو می کرد.

هر دوی این روش ها در ابتدا شبیه هم عمل می کردند. کاربران قادر بودند اطلاعات ایندیکس شده را به وسیله کلمات کلیدی جستجو کنند. جستجو همانند چیزی است که شما از ابتدا تا انتها آن را می شناسید. موتور جستجوی اولیه به صورتی بود که ما فکر می کردیم موتورهای جستجوی امروزه هرگز به وجود نمی آیند تا اینکه در سال 1993 اولین موتور توسط متیو گری (Matthew Gray) توسعه یافت که اسم آن وندیکس (Wandex) نام گرفت. وندیکس اولین برنامه ای بود که ایندکس گذاری و جستجوی صفحات ایندیکس شده، روی وب را امکان پذیر می ساخت. این تکنولوژی اولین برنامه ای بود که امکان گشت و گذار (جستجو) در وب را فراهم ساخت و بعدا به عنوان مبنای کار همه موتورهای جستجو تبدیل شد. پس از آن از سال 1993 تا 1998 اکثر موتورهای جستجو که احتمالا شما با آنها اشنا باشید به وجود آمدند.

سال به وجود آمدن چند تا از موتورهای جستجو در زیر ذکر شده است این موتورها عبارت انداز:

  •  Excite—1993
  •  Yahoo!—1994
  •  Web Crawler —1994
  •  Lycos —1994
  •  Infoseek— 1995
  •  AltaVista — 1995
  •  Inktomi—1996
  • Ask Jeeves — 1997
  •  Google —1997
  •  MSN Search—1998

امروزه موتورهای جستجو برنامه های پیچیده ای دارند که شما قادرید همه روش های جستجوی فایل ها و مستندات را که عبارات و کلمات آنها در گفتگوهای روزمره استفاده می شوند را به کار ببرید. این باور سخت است که مفهوم یک موتور جستجو فقط بالای ۱۵ سال قدمت دارد، مخصوصا با در نظر گرفتن این موضوع که شما امروزه برای پیدا کردن هر چیزی از این موتورها استفاده می کنید.

2- یک موتور جستجو چه چیزی هست؟

بسیار خوب، مطمئنا شما مفهوم پایه ای یک موتور جستجو را می دانید. موقعی که شما یک کلمه یا عبارت را در یک کادر جستجو تایپ می کنید و دکمه ارسال را فشار می دهید پس از چند لحظه هزاران یا صدها هزار صفحه را مشاهده می کنید سپس شما می توانید از بین نتایج پیدا شده یکی را انتخاب کنید. اما اینکه واقعا موتور جستجو چیست فراتر از مفهوم عمومی آن است.

موتور جستجو کمی پیچیده است،موتور جستجوی که روی یک سیستم کامپیوتری قرار دارد و قسمتی از یک نرم افزار است که الگوریتم های آن برای پیدا کردن و جمع اوری اطلاعاتی که روی صفحات وب قرار دارد استفاده می شوند. این اطلاعات جمع اوری شده معمولا کلمات کلیدی یا عباراتی هستند که به محتوای یک صفحه وب اشاره می کنند. همه این صفحات به صورت یک آدرس URL کد می شوند که این آدرس URL لینک های بیرونی و داخلی به صفحات دیگر دارد، این اطلاعات ایندیکس شده روی پایگاه داده ها ذخیره می شوند.

در یک نرم افزار نهایی واسط کاربر این امکان را به کاربران می دهد تا  واژه ها و اصطلاحات و غیره را در کادر جستجو وارد کنند و اطلاعات خاصی درباره آن ها بدست آورند. موقعی که کاربر دکمه ارسال را می زند الگوریتم جستجو اطلاعات ذخیره شده روی پایگاه داده را بررسی می کند و در صورت وجود لینک های مرتبط که با واژه کاربر ارتباط نزدیکی دارند را بازیابی می کند.

فرایند جمع آوری اطلاعات روی صفحات وب  توسط یک عامل به نام خزنده (Crawler)، اسپایدر (Spider) یا ربات انجام می شود. خزنده به صورت دقیق هر URL را که روی وب قرار دارد به طوری که کلمات کلیدی و اصطلاحات آن فیلتر نشده باشد را پیدا می کند. در واقع توانایی یک موتور جستجو به پایگاه داده یک وب سایت بستگی دارد. با توجه به اینکه تعداد سایت ها روی وب از حد ۱۰۰ میلیون گذشته است هر ماهه ۱٫۵ میلیون سایت به وب اضافه می شود. این شبیه کاتالوگ مغز شماست که هر کلمه را به تنهایی دریافت می کند بنابراین موقعی که شما یک چیزی را می دانید به هر کلمه ای که به ذهنتان می رسد رجوع می کنید تا درباره آن فکر کنید.

نظر بدهید

آدرس ایمیل تان منتشر نخواهد شد.