بودجه خزش (Crawl Budget) چیست و چگونه آن را بهینه کنیم؟

اگر برای کسب و کار خود یک وب‌سایت ایجاد کرده باشید، حتما باید حواستان به مسائل مختلفی باشد. مثلا باید به این موضوع توجه داشته باشید که سایت شما چه در رایانه و چه در موبایل ظاهر خوبی داشته باشد. محتواهای آن به سوالات کاربران پاسخ دهد. با تولید محتوای متنی و سئو رتبه کلمات کلیدی‌تان را بهتر کنید و بسیاری مواردی دیگر.

یکی از مواردی که با وجود اهمیت بالای آن، افراد کمتری با آن آشنا هستند، بحث بودجه خزش است. این موضوع در وب‌سایت‌هایی مانند فروشگاه‌های آنلاین یا سایت‌های خبری که تعداد زیادی صفحه دارند، اهمیت بیشتری می‌یابد. همه ما می‌دانیم که هر صفحه‌ای که در وب ایجاد می‌شود (همانند لندینگ‌پیج‌ها، صفحات محصول یا پست‌های وبلاگی) ابتدا باید توسط روبات‌های گوگل خزیده شوند.

این خزیدن مشخص می‌کند که محتوای شما چه ارزشی دارد و چه رتبه‌ای باید داشته باشد. به صورت کلی هر صفحه بارها و بارها در زمان‌های مختلف خزیده می‌شود. با این‌حال، میزان خزیدن صفحات بر اساس معیاری به نام بودجه خزش تعیین می‌شود.

اگر بودجه خزش سایت خود را هدر می‌دهید، موتورهای جست و جو نمی‌توانند وب سایت شما را به طور موثر بررسی کنند که در نهایت به عملکرد سئو شما آسیب می‌رساند. برای آشنایی با بودجه خزش (Crawl Budget) در سئو و چگونگی بهینه کردن آن در ادامه این مقاله وبلاگ ترجمیک همراه ما باشید!

مطالب مرتبط:

آخرین تغییرات الگوریتم‌های گوگل برای سئو (مارس ۲۰۲۴)

بودجه خزیدن (Crawl Budget) چیست؟

بودجه خزش (Crawl Budget) به تعداد صفحاتی اشاره دارد که موتورهای جست و جو در یک بازه زمانی مشخص در یک وب سایت می‌خزند. در واقع بودجه خزش مشخص می‌کند که چند وقت طول می‌کشد که کل صفحات سایت شما دوباره توسط روبات‌های گوگل بررسی شوند.

چرا موتورهای جست و جو بودجه خزش را به وب سایت‌ها اختصاص می‌دهند؟

زیرا موتورهای جست و جویی همانند گوگل منابع نامحدودی ندارند و باید توجه خود را بین میلیون‌ها وب‌سایت تقسیم کنند. بنابراین آنها به راهی برای اولویت‌بندی و تقسیم منابع خود بین صفحات موجود در وب خود نیاز دارند. اختصاص بودجه خزش به هر وب سایت به آنها در انجام این کار کمک می‌کند.

چگونه بودجه خزش به هر وب‌سایت اختصاص می‌یابد؟

تقسیم بودجه خزش بر اساس دو عامل است، محدودیت خزیدن و تقاضای خزیدن.

محدودیت خزیدن یا بار هاست (Crawl limit / host load): یک وب سایت چقدر می تواند خزیدن را تحمل کند و ترجیحات صاحب آن چیست؟

تقاضای خزیدن یا زمان‌بندی خزیدن (Crawl demand / crawl scheduling): کدام URL‌ها بر اساس محبوبیت و تعداد دفعات به‌روزرسانی آن‌ها ارزش (دوباره) خزیدن را دارند.

بودجه خزیدن یک اصطلاح رایج در سئو است. بودجه خزیدن گاهی اوقات به عنوان فضای خزیدن یا زمان خزیدن نیز در نظر گرفته می‌شود.

آیا بودجه خزیدن فقط مربوط به صفحات است؟

در واقع به خاطر سهولت در مورد صفحات صحبت می‌کنیم اما در واقع بودجه خزش در مورد هر سندی است که موتورهای جست و جو می‌خزند. چند نمونه از اسناد دیگری که توسط موتورهای جست و جو خزیده می‌شوند عبارتند از فایل‌های جاوا اسکریپت و CSS، ، انواع hreflang و فایل‌هایPDF.

محدویت خزش در عمل چگونه کار می‌کند؟

محدودیت خزیدن یا بار هاست، بخش مهمی از بودجه خزیدن را تشکیل می‌دهد. خزنده‌های موتورهای جست و جو برای جلوگیری از بارگذاری بیش از حد یک سرور وب با درخواست‌های متعدد طراحی شده‌اند، بنابراین آنها مراقب این موضوع هستند.

موتورهای جست و جو چگونه محدودیت خزیدن یک وب‌سایت را تعیین می‌کنند؟ عوامل مختلفی بر محدودیت خزیدن تأثیر دارند. در ادامه به تعدادی از این عوامل اشاره می‌کنیم.

مطالب مرتبط:

معرفی ۱۴ خطای رایج در هنگام استفاده از اینترنت

علائم ارسالی پلت‌فرم

هر چند وقت یکبارURL های درخواستی به پایان می‌رسند یا خطاهای سرور را برمی‌گرداند.

تعداد وب‌سایت‌هایی که از یک هاست استفاده می‌کنند

اگر وب‌سایت شما بر روی یک پلتفرم میزبانی مشترک با صدها وب‌سایت دیگر اجرا می‌شود و شما یک وب‌سایت نسبتاً بزرگ دارید، بودجه خزش وب‌سایت شما بسیار محدود است. زیرا این بودجه بین وب‌سایت شما و سایر وب‌سایت‌هایی که با شما از یک هاست استفاده می‌کنند، تقسیم می‌شود.

به همین دلیل اگر وب‌سایت شما صفحات زیادی دارد، بهتر است که یک هاست اختصاصی تهیه کنید. یکی دیگر از مواردی که باید در نظر بگیرید، این است که نسخه‌های موبایل و دسکتاپ صفحات به صورت مجزا در یک هاست محاسبه می‌شوند. پس این امر نیز در بودجه خزش شما تاثیر می‌گذارد.

تقاضای خزیدن یا زمان‌بندی خزیدن در عمل چگونه کار می‌کند؟

تقاضای خزیدن یا زمان‌بندی خزیدن، در مورد تعیین ارزش خزیدن مجدد URLها است. یعنی این‌که کدام آدرس‌ها و صفحات ارزش بیشتری دارند و باید در اولویت قرار بگیرند و کدام یک ارزش کمتری دارند. باز هم، عوامل زیادی بر تقاضای خزیدن تأثیر می‌گذارند که از جمله آنها می‌توان به موارد زیر اشاره کرد:

محبوبیت یک صفحه

محبوبیت یک صفحه بر اساس تعداد پیوندهای داخلی و خارجی که به یک URL اشاره دارند و هم‌چنین میزان جست‌‌ و جوهایی که برای آن کلمه کلیدی انجام می‌شود، تعیین می‌شود.

به روز بودن صفحه

هر چند وقت یکبار URL به روز می‌شود.

نوع صفحه

نوع صفحه نیز برای میزان خزش آن توسط روبات‌های موتورهای جست و جو تاثیر می‌گذارد. به عنوان مثال یک صفحه دسته‌بندی محصول و یک صفحه شرایط و ضوابط را در نظر بگیرید، به نظر شما کدام یک بیشتر تغییر می‌کند و سزاوار است که بیشتر خزیده شود؟

آیا می‌توان بودجه خزش را دست‌کاری کرد؟

مجبور کردن خزنده‌های گوگل برای بازگشت به سایت شما در زمانی که چیز مهم‌تری برای یافتن وجود ندارد (یعنی تغییر معنی‌دار) استراتژی خوبی نیست. آنها در بررسی اینکه آیا تعداد دفعات تغییر این صفحات واقعاً ارزش افزوده دارد یا خیر، بسیار هوشمندانه عمل می‌کنند.

بهترین توصیه‌ کارشناسان سئو این است که که روی بهبود کیفیت صفحات خود تمرکز کنید (افزودن اطلاعات مفیدتر، غنی‌سازی محتوای صفحات و سایر اقدامات مفید). پس از این اقدامات به صورت معمول صفحات شما باید بیشتر خزیده شوند.

این نکته را نیز به خاطر داشته باشید که در حالی که روبات‌های خزنده موتورهای جست و جو دارای ظرفیت خزیدن عظیمی هستند، در پایان روز این ظرفیت محدود می‌شود. بنابراین در سناریویی که ۸۰ درصد از مراکز داده گوگل به طور همزمان آفلاین می‌شوند، ظرفیت خزیدن آنها به شدت کاهش می‌یابد و به نوبه خود بودجه خزیدن تمام وب سایت‌ها کاهش می‌یابد. پس این‌که در ساعات مختلف روز، ظرفیت خزش سایت شما تغییر کند، ماجرای عجیبی نیست.

چرا باید به بودجه خزیدن اهمیت دهید؟

شما می‌خواهید که موتورهای جست و جو تا حد امکان صفحات قابل نمایه‌سازی شما را پیدا و درک کنند و می‌خواهید که این کار را در سریع‌ترین زمان ممکن انجام دهند. هنگامی که صفحات جدید اضافه می‌کنید و صفحات قبلی را به روز می‌کنید، شما می‌خواهید که موتورهای جست و جو در اسرع وقت این موارد را بررسی کنند. هرچه زودتر صفحات را ایندکس کنند، زودتر می‌توانید نتایج تغییرات را مشاهده کنید.

اگر بودجه خزیدن وب‌سایت شما به دلایل مختلف هدر می‌شود، موتورهای جست و جو نمی‌توانند که وب‌سایت شما را به طور موثر بررسی کنند. آن‌ها وقت خود را صرف بخش‌هایی از سایت شما می‌کنند که اهمیتی ندارد. این می‌تواند منجر به ناشناخته ماندن بخش‌های مهم وب‌سایت شما شود.

اگر آنها در مورد صفحات اطلاعاتی نداشته باشند، آنها را نمی خزند و ایندکس نمی کنند. بنابراین توقع این‌که صفحات شما رتبه خوبی بگیرند یا این‌که بازدیدکنندگان زیادی به این صفحات مراجعه کنند، دور از ذهن است.

نکته مهم: هدر دادن بودجه خزش به سئو سایت شما آسیب می‌زند.

توجه داشته باشید که بودجه خزش به صورت معمول چیزی نیست که نگران آن شوید. اگر یک وب‌سایت بزرگ دارید، ۱۰۰۰۰ صفحه و بیشتر عددی غیرمنطقی محسوب نمی‌شود.

چگونه بودجه خزیدن خود را بهینه کنید؟

بهینه سازی بودجه خزیدن به این منظور انجام می‌شود که مطمئن شوید که بودجه خزش هدر نمی‌رود. بیشتر وب‌سایت‌ها از مشکلات مشابهی رنج می‌برند که باعث هدر دادن بودجه خزش آن‌ها می شود. در ادامه به تعدادی از این موارد اشاره می‌کنیم.

URL های قابل دسترسی با پارامترها

این url را در نظر بگیرید: https://www.example.com/toys/cars?color=black

این نوع urlها باعث هدررفت بودجه سئو سایت شما می‌شود.

محتوای تکراری

در سئو به صفحاتی که بسیار شبیه یا دقیقاً یکسان هستند، «محتوای تکراری» می‌گوییم. مثال‌هایی از این دست عبارتند از صفحات کپی شده، صفحات نتایج جست و جوی داخلی و صفحات برچسب. پس استراتژی تولید محتوا و محتواهای منتشرشده خود را بررسی و به عبارتی هرس کنید تا چنین صفحاتی نداشته باشید.

مطالب مرتبط:

هرس محتوا (content pruning) چیست؟

محتوای با کیفیت پایین

صفحاتی با محتوای بسیار کم یا صفحاتی که هیچ ارزش خاصی ندارند.

مطالب مرتبط:

چگونه محتوای ضعیف (thin content) رتبه سایت شما را تهدید می‌کند؟

لینک‌های شکسته و تغییر مسیرداده‌شده

پیوندهایی که به صفحاتی ارجاع می‌دهند که دیگر وجود ندارند و صفحات ریدایرکت‌شده، همگی بخشی از بودجه خزش شما را به خود اختصاص می‌دهند. در این صورت، بودجه خزش شما به جای اختصاص یافتن به صفحات مهم وب‌سایت‌تان به صفحاتی که وجود ندارند، اختصاص داده می‌شود.

نشانی‌های اینترنتی نادرست در نقشه‌های سایت

صفحات غیرقابل فهرست‌بندی و صفحات نادرست مانند نشانی‌های اینترنتی xx۳،xx۴ وxx۵ نباید در نقشه سایت XML شما گنجانده شوند. یکی از بهترین روش‌ها برای بهینه‌سازی بودجه خزیدن این است که نقشه‌های سایت XML خود را به نقشه‌های سایت کوچک‌تر تقسیم کنید. به عنوان مثال می‌توانید نقشه سایت XML را برای هر یک از بخش‌های وب سایت خود جدا کنید، مثلا سایت‌مپ وبلاگ از محصولات جدا باشد.

اگر این کار را انجام دهید، می‌توانید که به سرعت تشخیص دهید که آیا در بخش‌های خاصی از وب سایت شما مشکلی وجود دارد یا خیر.

صفحاتی با زمان بارگذاری بالا

صفحاتی که زمان زیادی طول می‌کشد تا بارگیری شوند یا اصلا بارگیری نمی‌شوند، تاثیری منفی بر بودجه خزش سایت شما می‌گذارند. زیرا این نشانه‌ای برای موتورهای جست و جو است که وب سایت شما نمی‌تواند از پس صفحات خود بر بیاید. در این حالت، ممکن است که آن‌ها یک محدودیت خزش برای وب‌سایت شما تنظیم کنند.

تاثیر سرعت بر بودجه خزش

بری آدامز یکی از کارشناسان سئو، درباره تاثیر سرعت بارگذاری وب‌سایت بر بودجه خزش این‌گونه می‌گوید: «یکی از جنبه‌های کمتر مورد توجه قرارگرفته در بودجه خزیدن، سرعت بارگذاری است. اگر وب سایتی سریعتر بارگذاری شود، به این معنی است که گوگل صفحات بیشتری را در مدت زمان مشابه خواهد خزید.

اخیراً درگیر ارتقاء سایتی بودم که در آن سرعت بارگذاری یکی از مهم‌ترین مواردی بود که بهبود یافته بود. پس از تغییرات، سایت جدید دو برابر سریعتر از سایت قبلی بارگذاری شد. در همین حال، هنگامی که از سایت تست گرفتیم، تعدادURL هایی که گوگل در روز خزیده بود، از ۱۵۰۰۰۰ به ۶۰۰۰۰۰ افزایش یافت و همین روند ادامه پیدا کرد.

برای سایتی با این اندازه و وسعت، نرخ خزیدن بهبود یافته به این معنی است که محتوای جدید و تغییر یافته بسیار سریعتر خزیده می‌شود. در این حالت، ما تأثیر بسیار سریع‌تری از تلاش های سئوی خود در نتایج جست و جو مشاهده می‌کنیم.»

مطالب مرتبط:

چگونه سرعت سایت خود را بهبود ببخشیم؟

تعداد بالای صفحات غیر قابل نمایه‌سازی

وب سایت شما حاوی صفحات زیادی است که قابل فهرست‌بندی نیستند.

ساختار نامناسب لینک‌های داخلی

اگر ساختار لینک‌های داخلی شما به درستی تنظیم نشده باشد، ممکن است که موتورهای جست و جو توجه کافی به برخی از صفحات شما نداشته باشند.

نظر کارشناسان سئو درباره بودجه خزش

جنی هالاس، یکی از کارشناسان سئو، درباره اهمیت ساختاربندی صفحات وب‌سایت این‌گونه می‌گوید: «من بارها گفته‌ام که گوگل مانند رئیس شماست. شما با رئیس خود به جلسه نمی‌روید مگر اینکه مشخص کنید که قرار است که در مورد چه چیزی صحبت کنید، نکات مهم کارتان و اهداف جلسه‌تان چیست. به طور خلاصه، شما یک دستور کار خواهید داشت.

وقتی وارد دفتر گوگل می‌شوید، به هم‌چنین چیزی نیاز دارید. یک سلسله مراتب واضح سایت بدون نیاز به جزئیات زیاد، یک نقشه سایت XML مفید و زمان پاسخگویی سریع، همگی به گوگل کمک می‌کنند تا به آنچه مهم است، برسد. این عنصر سئو را که اغلب به اشتباه درک می شود، نادیده نگیرید.»

در طی مصاحبه ای بین اریک انج و مت کاتس، رئیس سابق تیم وب اسپم گوگل، رابطه بین قدرت و بودجه خزیدن مطرح شد:

مت کاتز: «بهترین راه برای فکر کردن در مورد آن این است که تعداد صفحاتی که می‌خزیم تقریباً متناسب با رتبه صفحه شما باشد. بنابراین اگر تعداد زیادی لینک ورودی در صفحه اصلی خود دارید، ما قطعاً آن را بررسی خواهیم کرد. سپس صفحه اصلی شما ممکن است به صفحات دیگر پیوند داده شود و این صفحات رتبه صفحه را دریافت می‌کنند و ما آنها را نیز بررسی می‌کنیم. با این حال، همانطور که در سایت خود عمیق و عمیق‌تر می‌شوید، رتبه صفحه کاهش می‌یابد.»

چگونه بودجه خزش وب‌سایت خود را افزایش دهیم؟

پاسخ کوتاه این سوال این است که هر موردی را که آسیب‌زا است، اصلاح یا حذف کنید. به تعداد زیادی صفحه ۴۰۴، لینک داده‌اید؟ آن‌ها را حذف کنید. تعداد ریدایرکت‌های وب‌سایت شما زیاد است؟ یک‌بار برای همیشه آن‌ها را اصلاح کنید. سرعت سایت شما پایین است؟ علت آن را شناسایی کنید.

اگر هم نمی‌دانید که از کجا شروع کنید، کافی است که سرچ کنسول خود را باز کنید و به بخش indexing مراجعه کنید. در این بخش به شما نشان داده می‌شود که چه مواردی برای سایت شما خطرناک است و کدام صفحات اصلا خزیده نمی‌شود. این نقطه خوبی برای شروع اصلاح و بهبود وضعیت سایت‌تان و بودجه خزش آن است.

سخن پایانی

بودجه خزش به تعداد صفحاتی اشاره دارد که موتورهای جست و جو در بازه زمانی مشخصی می‌خزند. به صورت معمول وب‌سایت‌ها نباید با مشکلات چندانی در زمینه بودجه خزش رو به رو شوند. اما اگر وب‌سایت شما تعداد صفحات بسیار زیادی دارد یا این‌که با مشکلات زیادی مانند لینک‌های شکسته، سرعت بارگذاری پایین، سایت‌مپ نادرست و … مواجه است، احتمالا با محدودیت خزش مواجه خواهید شد.

گوگل نشان داده است که یک رابطه قوی بین اعتبار صفحه و بودجه خزیدن وجود دارد. هرچه یک صفحه دارای اعتبار بیشتری باشد، بودجه خزیدن آن بیشتر است. به عبارت ساده، برای افزایش بودجه خزیدن، اعتبار صفحه خود را افزایش دهید.

یکی از کارشناسان سئو درباره عملکرد گوگل این‌گونه می‌گوید: «گوگل سریع جریمه می‌کند ولی دیر پاداش می‌دهد.» اما به هر صورت جلوی ضرر را از هر زمانی که بگیرید، منفعت است. پس اگر وب‌سایت شما با مشکلات جدی مواجه است، برای اصلاح آن اقدام کنید تا با نتایج مثبت آن مواجه شوید.

انواع خدمات تولید محتوا با بالاترین کیفیت و مناسب‌ترین هزینه را از سایت سفارش تولید محتوا ترجمیک بخواهید. رعایت اصول سئو، منحصر به فرد بودن محتواها، همکاری با مترجمان و نویسندگان متخصص، تضمین کیفیت و … همگی از جمله ویژگی‌های خدمات موسسه ترجمیک است.