همانطور که اینترنت به بخش جدایی ناپذیر از زندگی ما مبدل شده، گوگل نیز به بخش جدایی ناپذیر اینترنت تبدیل شده است. موتور جستجوی گوگل در سال ۱۹۹۸ کار خود را شروع کرد و تا سال ۲۰۰۱ محدود به یک جستجوگر با امکاناتی محدود بود، در سال ۲۰۰۱ مبحث Tabs مطرح و باعث راحتی جستجو شد و با تکامل مرحله به مرحله به رتبه‌ی یک موتور جستجوی مورد استفاده مردم در سراسر جهان قرار گرفت. در این مقاله قصد داریم با نحوه‌ی کار موتورهای جستجو آشنا شویم، همچنین با نحوه کار ربات‌های کراولر گوگل آشنا می‌شویم.

موتور جستجوی گوگل برای اینکه بتواند سایت‌ها را شناسایی کند دو کار مهم انجام می‌دهد:

استفاده از ربات‌های Crawler که وظیفه‌ی خزیدن (بررسی) را به عهده دارند. ایندکس کردن (فهرست‌بندی) سایت‌ها، که در نهایت لیست مرتبی را در اختیار جستجوگر قرار می‌دهد.

می‌خواهیم بدانیم ربات‌های Crawler برای انجام چه کارهایی طراحی شده‌اند، چرا برای سئو و گوگل مهم‌اند؟

۵ وظیفه اصلی کراولر گوگل

همه روزه سایت‌های جدیدی طراحی و به دنیای وب اضافه می‌شوند اولین کار ربات Crawler پیدا کردن سایت‌های جدیدی است که به گوگل معرفی نشده‌اند. پس از اینکه این سایت‌ها را پیدا کرد، به گوگل معرفی و برای آنها لیست اولیه ایجاد می‌کند. پس از آنکه در گوگل ثبت شدند، لیست URL ها (آدرس صفحات) را در یک دیتابیس قرار می‌دهد، حال Crawler با دسترسی به بانک اطلاعاتی خود، بررسی می‌کند که کدام یک از URL ها نیاز به خزیدن (بررسی) دارند، پس از آنکه تمام URL هایی که نیاز به بررسی دارند مشخص شدند درون یک لیست جداگانه ثبت و Crawler با استفاده از الگوریتم‌هایی که موتور جستجو برای او تعریف کرده و استفاده از الگوی LIFO/FIFO مشخص می‌کنند به ترتیب کدام URL ها مورد بررسی و در نهایت از لیست حذف شوند. از دیگر وظایف Crawler بررسی این موضوع است که آیا سایت بررسی شده یا خیر. برای این کار دو روش در نظر گرفته شده، واقعیت این است که اینترنت چیزی جز شبکه‌ای ازکامپیوترهای درهم تنیده نیست، بنابراین برای اینکه Crawler در حلقه‌ی بی پایان بررسی لینک ها نیفتد URL ها را پس از بررسی حذف می‌کند و در صورت نیاز مجددا اضافه می‌کند. اما امروزه Crawler به طرز چشمگیری پیشرفته و بهینه شده است و به دلیل اینکه بررسی هر صفحه زمان می‌برد، Crawler به صورت هوشمند سایت‌ها را دسته‌بندی می‌کند و سایت‌هایی که بروز رسانی بیشتری دارند را در مقایسه با سایت‌هایی که بروز رسانی کم‌تر و یا اصلا بروز رسانی ندارند، در بالای لیست قرار داده تا دفعات بیشتری مورد بررسی قرار دهد. حال پس از طی شدن مراحل بالا و مشخص شدن صفحه مورد بررسی، در مرحله بعد Crawler اطلاعات را از داخل محتوای سایت استخراج می‌کند. Crawler ها از الگوریتم‌های مختلفی برای دریافت اطلاعات استفاده می‌کنند. بنابراین وقتی کاربر جستجویی انجام می‌دهد، موتور جستجو بر اساس اطلاعاتی که از سایت‌ها استخراج کرده نتایج را به کاربران نشان می‌دهد. امروزه بیشتر توجه Crawler بر نشانه‌گذاری معنایی(Semantic Markup) و نتیجه معنایی (Semantic Result) است (که هر دو شاخص‌هایی برای دقیق تر شدن محتوا و جستجو است). در حال حاضر تمرکز اصلی Crawler بیشتر بر استخراج این دو مورد از محتوای سایت‌ها است. برای بدست آوردن اطلاعاتی از نشانه‌گذاری و نتیجه معنایی محتوای خود می‌توانید به سایت schema.org مراجعه کنید.

پس از آنکه موتور جستجوی گوگل سایت شما را توسط Crawler شناسایی و اطلاعات مورد نیازش را استخراج کرد، اطلاعات سایت‌ها در دیتابیس گوگل ذخیره می‌شود، پس از آن گوگل برای بهبود و افزایش دسترسی به اطلاعات سایت‌ها، آن ها را ایندکس (طبقه بندی: Index) می‌کند و در مرحله آخر موتور جستجوی گوگل با توجه به عبارت جستجو شده توسط کاربر، بررسی اطلاعات ذخیره شده، تعداد محتوا و موضوع کاری شما و در نهایت سئوی سایت، شما را در نتایج جستجو نشان می‌دهد. اگر طبقه‌بندی انجام نشود موتور جستجو مجبور است ۱۰۰ ها هزار صفحه برای هر جستجو مورد بررسی قرار دهد که ساعت‌ها طول می‌کشد و حافظه‌ی زیادی هم برای این کار لازم است. بنابراین با طبقه‌بندی، صفحات به مراتب کمتری را مورد بررسی قرار می‌دهد و در نهایت در نتایج جستجو نشان می‌دهد.

اما آیا راهی وجود دارد که سایتمان سریع‌تر ایندکس شود و در نهایت زمان کمتری نیاز باشد تا در نتایج گوگل قرار بگیرد؟

پاسخ مثبت است. در ادامه با چند روش ساده که باعث می‌شوند سایتمان سریع‌تر ثبت، ایندکس و در نتایج گوگل قرار گیرد آشنا می‌شویم:

استفاده از سایت‌ مپ (Sitemap)

سایت‌مپ فایلی با فرمت XML است که لیستی از مهم‌ترین محتواهای موجود در سایت را در خود ثبت کرده تا ربات Crawler بتواند به راحتی سایت را بررسی و در نهایت گوگل بتواند ایندکس کند. هر چه سایت‌ مپ بهینه و تمیزتری داشته باشید روند ایندکس شدن سایت شما نیز کوتاه‌تر می‌شود.

ثبت نظر در وبلاگ و سایت خود و دیگران

یکی دیگر از موارد مهم و تاثیرگذار که باعث می‌شود Crawler شما را در بالای لیست بررسی قرار دهد، نظرات کاربران است بنابراین هر چقدر که تعداد نظرات کاربران در وبلاگ یا سایت‌تان بیشتر باشد توجه Crawler نیز بیشتر می‌شود. اما این تمام ماجرا نیست و شما نیز باید در وبلاگ و سایت‌های دیگر بدون توجه به Do-follow یا No-follow بودن لینک‌ی که در سایت آنها قرار می‌دهید، نظر داده و اسم سایت خود را قرار دهید.

استفاده از Submitter

افزایش قدرت دامنه از دیگر عوامل تسریع کننده‌ی ایندکس به شمار می‌رود. یکی از راه‌های معمول و آسان برای افزایش قدرت سایت، معرفی آن در سایت‌های دیگر است اما اگر بخواهیم این کار را با عامل انسانی انجام دهیم به میزان محدودی می‌توانیم سایت‌مان را معرفی کنیم. Submitter ها وظیفه معرفی را بر عهده دارند، نرم افزارهایی که می‌توانند سایت شما را در تعداد زیادی از سایت‌های دیگر معرفی کنند.

ایجاد صفحه در شبکه‌های اجتماعی

ایجاد صفحه در شبکه‌های اجتماعی از جمله در گوگل پلاس، فیسبوک، توییتر و Stumble Upon (در حال حاضر Mix نام دارد) تاثیر بسزایی در ایندکس سایت شما دارد، حتی اگر در تولید محتوا در این شبکه‌ها زیاد فعال نباشید.

ایجاد پست

در صورتی که بودجه ی کافی دارید، می‌توانید با تولید یا خرید ۵ الی ۱۰ مقاله (محتوا) مفید و با کیفیت و اشتراک‌گذاری آن‌ها در وبلاگ‌های همکارانتان و یا خرید رپورتاژ آگهی علاوه بر اینکه سرعت ایندکس شدن سایت‌تان را بالا می‌برید، قدرت دامنه سایت‌تان نیز افزایش می‌یابد.

ایجاد اکانت گوگل وبمستر(سرچ کنسول)

یکی از مهم‌ترین قدم‌های ایندکس شدن، ساخت اکانت وبمستر برای سایت‌تان است. با گوگل وبمستر به راحتی می‌توانید از وضعیت بازدید Crawler ها از سایت خود مطلع و از مشکلات ایندکس نشدن آگاه شوید.

استفاده از قابلیت Fetch as google موتور جستجوی گوگل

در گوگل وب‌مستر قابلیتی به نام Fetch as google وجود دارد، این قابلیت برای معرفی صفحات جدید سایت یا صفحاتی که به تازگی بروزرسانی شده‌اند، کاربرد دارد.

ایجاد و بروزرسانی محتوای وبلاگ و سایت

بطور مرتب سایت خود را بروز رسانی کنید. در بازه زمانی مشخص مطالب جدید قرار داده، یا مقاله‌هایی که وجود دارند را ویرایش کنید. در نتیجه Crawler ها همان فاصله‌های زمانی مشخص سایت شما را بررسی و وضعیت ایندکس را بروزرسانی می‌کنند.

ایجاد لینک داخلی

ساده‌ترین راه برای ایجاد لینک داخلی، ایجاد لینک‌های مرتبط با محتوای وبلاگ سایت‌تان است به این صورت که محتواهای مشابه را از طریق لینک با هم مرتبط کنید. با این کار با یک تیر سه نشانه را هدف گرفته‌اید:

بهبود سئوی سایت بهبود عملکرد Crawlerها  مدت زمانی که کاربر در سایت شما می‌ماند افزایش می‌یابد.

با انجام این نکات به راحتی می‌توانید سایت خود را در سریع‌ترین زمان ممکن ایندکس و وارد نتایج جستجو کنید.