پیش از این که سراغ موضوع اصلی، یعنی چگونگی عملکرد موتورهای جست‌وجو، برویم، اجازه دهید گریزی به یک تجربه شخصی بزنیم. این تجربه، به زمانی برمی‌گردد که اولین پست وبلاگی‌ام را منتشر کردم. بی‌صبرانه و مشتاقانه عنوان این پست را در گوگل جست‌وجو کردم و به دنبال حاصل زحماتم بودم! اما…. هیچ خبری نبود؛ حتی در صفحه دهم!
وقتی موضوع را با سرپرستم در میان گذاشتم، متوجه شدم که پست من هنوز در صف خزیدن، ایندکس کردن و رتبه‌بندی گوگل قرار دارد و باید چند روز منتظر بمانم.
اگر شما هم موقعیت مشابهی را تجربه کرده‌اید، یعنی به تازگی وارد دنیای سئو و تولید محتوای متنی شده‌اید و با این اصطلاحات آشنایی ندارید. پس در این مطلب با ما همراه باشید!
مطالب مرتبط:
با بیش از ۹۰ اصطلاح پرکاربرد سئو آشنا شوید!
در این مطلب خواهید خواند:
عملکرد موتورهای جست‌وجو چگونه است؟
موتورهای جست‌وجو، از طریق سه عملکرد اصلی کار می‌کنند:
خریدن (Crawling)
پیش از این که صفحات در نتایج موتورهای جست‌وجو ظاهر شوند، باید توسط ربات‌ها شناسایی شوند. به عبارت دیگر ربات‌ها به لینک‌های مختلف سر می‌زنند و به اصطلاح آن‌ها را می‌خزند.
ایندکس کردن (Indexing)
در مرحله بعدی، صفحاتی که خریده شده‌اند، توسط موتورهای جست‌وجو ذخیره و سازمان‌دهی می‌شوند. در نتیجه این صفحات به نتایج موتورهای جست‌وجو اضافه می‌شوند. به این فرایند، ایندکس کردن می‌گویند.
رتبه‌بندی (Ranking)
اما ایندکس کردن کافی نیست. صفحات مختلف، باید با توجه به کیفیت و ارزشی که دارند، رتبه‌بندی شوند. به این ترتیب، صفحات بهتر، در نتایج بالاتری نشان داده می‌شوند.
خریدن (Crawling) چیست؟
موتورهای جست‌وجو، تیمی از ربات‌ها را برای جست‌وجو و یافتن محتواهای جدید و به‌روز ارسال می‌کنند. حال این محتوا می‌تواند یک صفحه وب، تصویر، ویدیو، PDF و… باشد.
ربات‌های گوگل، فرایند خزیدن را با چند صفحه وب شروع می‌کنند و سپس برای یافتن URLهای جدید، لینک‌های موجود در آن‌ها را دنبال می‌کنند. از این طریق، محتواهای جدید شناسایی می‌شوند.
ایندکس کردن (Indexing) چیست؟
ایندکس در زبان فارسی، به معنای فهرست است. در زبان سئو نیز ایندکس کردن، به معنای فهرست‌بندی و سازمان‌دهی محتواهای شناسایی شده و نمایش آن‌ها در صفحه نتایج موتورهای جست‌وجو است.
رتبه‌بندی (Ranking) چیست؟
زمانی که اشخاص عبارتی را در اینترنت جست‌وجو می‌کنند، گوگل محتواهای مرتبط با موضوع سرچ را بررسی می‌کند. در گام بعدی، نتایج این بررسی، طوری که بیشترین تطابق و ارتباط را با نیاز کاربر داشته باشد، مرتب شده و به نمایش گذاشته می‌شود. توجه داشته باشید که عوامل مختلفی، روی میزان تطابق و ارتباط صفحات با نیاز و پرسونای مخاطب تاثیر می‌گذارد. از جمله این عوامل می‌توان به رعایت اصول سئو، که همگی در راستای خدمت به کاربران طراحی شده‌اند، اشاره کرد.
مطالب مرتبط:
چگونه در صفحه اول گوگل قرار بگیریم؟
خزیدن: آیا موتورهای جست‌وجو می‌توانند صفحات شما را پیدا کنند؟
همان‌طورکه تا به اینجا آموختید، پیش‌نیاز نمایش در صفحه نتایج موتورهای جست‌وجو، خزیده شدن و ایندکس شدن است. اما از کجا مطمئن باشیم که این فرایندها روی صفحات سایت ما نیز پیاده شده است؟
برای بررسی این موضوع، می‌توانید از site:yourdomain.com که یکی از پیشرفته‌ترین اپراتورهای جست‌وجو است کمک بگیرید. کافیست این عبارت را در گوگل سرچ کنید و به جای عبارت yourdomain نام سایت‌تان را وارد کنید. نتایج حاصل، صفحاتی که در گوگل ایندکس شده‌اند را نشان می‌دهد.
تعداد نتایجی که از این طریق به دست می‌آید، دقیق نیست. با این حال، ایده نسبتا خوبی درباره صفحات ایندکس شده و نحوه نمایش آن‌ها (از نظر تگ تایتل و متادیسکریپشن) می‌دهد. برای نتایج دقیق‌تر و کامل‌تر، در سرچ کنسول گوگل، گزارش Index Coverage را بررسی کنید. شما می‌توانید نقشه سایت خود را برای سرچ کنسول ارسال کنید و از این طریق، روی صفحات ایندکس‌شده نظارت داشته باشید. حال اگر متوجه شدید که صفحات شما در هیچ کجای SERP وجود ندارد، علت را در یکی از موارد زیر جست‌وجو کنید.
- سایت شما جدید است و هنوز خزیده نشده است.
- از هیچ سایت دیگری، بک‌لینک نگرفته‌اید.
- ناوبری و نویگیشن سایت شما، فرایند خزیدن را برای ربات‌ها سخت می‌کند.
- سایت شما دارای کدهایی تحت عنوان دستورالعمل‌های خزیدن است که موتورهای جست‌وجو را مسدود می‌کند.
- گوگل سایت شما را به دلیل تاکتیک‌های اسپم جریمه کرده است.
مطالب مرتبط:
آموزش کامل لینک‌های خارجی و راهکارهای بهینه‌سازی آن
به موتورهای جست‌وجو بگویید که چگونه سایت شما را بخزند
ممکن است بعد از بررسی سرچ کنسول یا استفاده از ابزار جست‌وجوی پیشرفته site:domain.com متوجه شوید که برخی از صفحات مهم شما ایندکس نشده‌اند یا برخی صفحات بی‌اهمیت، به اشتباه ایندکس شده‌اند. در این حالت، راهکارهای مختلفی برای هدایت بهتر ربات‌های گوگل وجود دارد. به کمک این راهکارها، می‌توانید به موتورهای جست‌وجو بگویید که سایت شما را چگونه بخزند.
بسیاری از افراد فکر می‌کنند همین که از ایندکس شدن صفحات اطمینان حاصل کنند، کفایت می‌کند. این در حالی است که هر سایتی صفحاتی دارد که نباید ایندکس شوند. به عنوان مثال URLهای قدیمی، محتواهای ضعیف، URLهای تکرای، صفحات آزمایشی و… نیازی به ایندکس شدن ندارند. برای این که ربات‌های گوگل را از این صفحات دور کنیم از robots.txt استفاده می‌کنیم.
Robots.txt
فایل‌های Robots.txt در دایرکتوری اصلی وب‌سایت قرار دارند و مشخص می‌کنند که موتورهای جست‌وجو کدام صفحات را بخزند و از کدام صفحات عبور کنند. علاوه بر این، سرعت خزیدن نیز توسط دستورالعمل‌های خاص Robots.txt تعیین می‌شود.
ربات‌های گوگل چگونه با فایل‌های Robots.txt برخورد می‌کنند
- اگر ربات‌های گوگل نتواند فایل Robots.txt یک سایت را پیدا کند، به خزیدن آن ادامه می‌دهد.
- اگر ربات‌های گوگل فایل Robots.txt یک سایت را پیدا کند، معمولا از دستور آن پیروی می‌کند و به خزیدن ادامه می‌دهد.
- اگر ربات‌های گوگل، حین تلاش برای دستیابی به Robots.txt با خطا مواجه شود و نتواند تشخیص دهد که این فایل Robots.txt است یا خیر، فرایند خزیدن اتفاق نمی‌افتد.
آیا خزنده‌ها به همه صفحات مهم دسترسی دارند؟
حال که با روش حذف صفحات بی‌اهمیت از لیست خزیدن ربات‌های گوگل آشنا شدیم، باید ببینیم که آیا تمام صفحات مهم، ایندکس می‌شوند یا خیر؟ چراکه در برخی موارد دلایلی مانع خزیدن ربات‌های گوگل در برخی صفحات می‌شود. برای برطرف کردن این موانع، باید به سوالات زیر پاسخ دهیم:
آیا دسترسی به محتواها را مشروط به پر کردن فرم یا ساخت حساب کاربری کرده‌اید؟
حتما برای شما هم پیش آمده که وارد صفحه‌ای شوید و مشاهده کنید که برای دسترسی به محتوا، باید هفت خان رستم را پشت سر بگذارید! اگر محتوای صفحه شما نیز تحت عوامل حافظتی ویژه! قرار دارد، بهتر است بدانید که با دست خودتان فرایند خزیدن را مختل کرده‌اید.
آیا به فرم‌های جست‌وجو متکی هستید؟
ربات‌ها با فرم‌های جست‌وجو میانه خوبی ندارند. بنابراین اگر شما هم یک باکس جست‌وجو به سایت اضافه کرده‌اید و فکر می‌کنید که از این طریق خزیدن را برای ربات‌ها راحت‌تر می‌کنید، سخت در اشتباهید. در واقع، ربات‌ها نمی‌توانند هر چیزی که کاربران در این باکس سرچ می‌کنند را پیدا کنند.
آیا موتورهای جست‌وجو می‌توانند نویگیشن صفحات شما را دنبال کنند؟
گفتیم که خزنده‌ها صفحات شما را از طریق بک‌لینک‌های سایر سایت‌ها، کشف می‌کنند. علاوه بر این، فرایند خزیدن به لینک‌هایی نیاز دارد که صفحات مختلف سایت شما را به یکدیگر وصل کند. به این لینک‌ها لینک داخلی گفته می‌شود.
لینک‌های داخلی، یکی از عوامل موثر در سئو هستند و امکان حرکت کاربران و ربات‌ها را از صفحه‌ای به صفحه دیگر فراهم می‌کنند. بنابراین، اگر صفحه‌ای دارید که هیچ لینکی ندارد و به اصطلاح یتیم است، تبریک می‌گوییم؛ شما یک محتوای نامرئی تولید کردید!
مطالب مرتبط:
لینک‌های داخلی چه تاثیری بر سئو دارند؟
آیا معماری اطلاعات (Information Architecture) سایت شما دقیق است؟
معماری اطلاعات، عبارت است از سازمان‌دهی صحیح مطالب یک وب‌سایت؛ طوری که کاربران به‌راحتی به این مطالب دسترسی داشته باشند. به عنوان مثال فرض کنید که وارد یک سایت با منوی طبقه‌بندی‌شده، دقیق و مشخص شده‌اید. قطعا سفر شما به چنین سایتی لذت‌‌بخش و آسان خواهد بود. در نقطه مقابل گشت و گذار در سایتی که منو ندارد یا حداقل منوی خوبی ندارد، کلافه‌کننده خواهد بود.
آیا از نقشه سایت (sitemap) استفاده می‌کنید؟
به لیستی از URLهای سایت که برای کشف و فهرست‌بندی محتوا توسط خزنده‌ها استفاده می‌شود، نقشه سایت می‌گویند. توجه داشته باشید که نقشه سایت ناوبری سایت شما را بهبود نمی‌بخشد اما به خزنده‌ها کمک می‌کند تا همه صفحات مهم سایت شما را پیدا کنند.
ایندکس کردن: چگونه موتورهای جست‌وجو، صفحات شما را تفسیر و ایندکس می‌کنند؟
بعد از این که مطمئن شدیم سایت ما توسط ربات‌ها خزیده شده است، بایداز ایندکس شدن اطمینان حاصل کنیم. چراکه خزیدن ربات‌ها در صفحات سایت، لزوما به معنای ایندکس کردن آن‌ها نیست. در بخش قبلی، در مورد خزیدن و چگونگی کشف صفحات وب توسط موتورهای جست‌وجو بحث کردیم. همچنین گفتیم که بعد از خزیدن، نوبت به ایندکس کردن صفحات، یعنی فهرست‌بندی آن‌ها می‌رسد. حال برای آشنایی بیشتر با مبحث ایندکس کردن، توجه شما را به ادامه مطلب جلب می‌کنیم.
به موتورهای جست‌وجو بگویید که چگونه صفحات شما را ایندکس کنند؟
درست مانند آنچه درباره خزیدن گفتیم، برای چگونگی ایندکس کردن نیز می‌توانیم به گوگل امر و نهی کنیم! دستورالعمل‌های متا یا متاتگ‌ها، چنین کاربردی دارند و دستوراتی را درباره نحوه برخورد با صفحات مختلف، به موتورهای جست‌وجو می‌دهند.
به عنوان مثال، می‌توانید به خزنده‌ها بگویید که صفحاتی را اصلا ایندکس نکنند یا هیچ ارزشی برای لینک‌های موجود در یک صفحه خاص قائل نشوند. این دستورالعمل‌ها، از طریق تگ متا در <head> صفحات HTML مورد استفاده قرار می‌گیرند. موارد زیر رایج‌ترین دستورالعمل‌های متا هستند.
Index/noindex
اگر تگ noindex را انتخاب کنید، به خزنده‌ها اطلاع می‌دهید که تمایلی برای ایندکس کردن صفحه ندارید. در غیر این صورت، ایندکس شدن تقریبا حتمی خواهد بود. این تگ، برای صفحاتی که محتوای ضعیفی دارند اما قابل حذف نیستند، پرکاربرد است.
Follow/nofollow
تگ فالو و نوفالو، دستوراتی را درباره چگونگی رفتار با لینک‌های موجود در صفحه صادر می‌کنند. اگر تگ فالو را انتخاب کنید، خزنده‌ها ارزش و اعتبار صفحه شما را به لینک‌ها منتقل می‌کنند. در غیر این صورت، لینک‌های صفحه شما هیچ ارزش و اعتباری از آن دریافت نمی‌کنند.
رتبه‌بندی: موتورهای جست‌وجو چگونه URLها را رتبه‌بندی می‌کنند؟
یکی از اصلی‌ترین سوالات موتورهای جست‌وجو این است: «از کجا مطمئن باشم که وقتی کاربر چیزی را در نوار جست‌وجو تایپ می‌کند، بهترین نتایج را دریافت می‌کند؟» این سوال، پایه و اساس فرایند رتبه‌بندی یا رنکینگ صفحات است. در واقع موتورهای جست‌وجو تلاش می‌کنند تا بهترین و مرتبط‌ترین نتایج را به کاربران نمایش بدهند.
برای کسب رتبه عالی در این رتبه‌بندی، اصول سئو مهم‌ترین ابزاری است که در دست دارید. مطلب «چک‌لیست سئو داخل صفحه برای سال ۱۴۰۲» مهم‌ترین و کاربردی‌ترین نکات سئو را به شما آموزش می‌دهد.
مطالب مرتبط:
چک‌لیست سئو داخل صفحه برای سال ۱۴۰۲
سخن پایانی
به خدمات تولید محتوا نیاز دارید، سایت سفارش تولید محتوا ترجمیک در خدمت شماست!
ترجمیک از میان نویسندگان خوش‌ذوق و مسلط به اصول تولید محتوای متنی، نیروی دورکار استخدام می‌کند. در صورت تمایل ب همکاری رزومه خود را به صفحه استخدام مترجم ارسال کنید.
2 دیدگاه در «موتورهای جست‌وجو چگونه کار می‌کنند؟»