بودجه خزش تعداد صفحاتی است که Googlebot در یک بازه زمانی مشخص در وبسایت کراول و ایندکس می‌کند. چرا بودجه خزش Crawl Budget برای سئو مهم است؟
به‌طور خلاصه: اگر گوگل صفحه‌ای را ایندکس نکند، جایگاهی در رتبه‌بندی گوگل نخواهد داشت. بنابراین اگر تعداد صفحات سایت شما از بودجه خزش Crawl Budget سایت شما فراتر رود، سایت شما در معرض خطر جدی ایندکس نشدن است.
Crawl Budget
گفتنی است، اکثریت قریب به وب‌سایت‌ها نیازی به نگرانی در مورد بودجه خزش ندارند. گوگل واقعاً در پیدا کردن و ایندکس صفحات خوب عمل می‌کند.
البته چند مورد وجود دارد که در آن باید به Crawl Budget توجه کنید:
دارا بودن یک سایت بزرگ
اگر یک وبسایت (مانند یک سایت فروشگاهی یا خبری) با تعداد صفحات بالای ۱۰ هزار صفحه دارید، گوگل می‌تواند دریافتن همه آن‌ها مشکل داشته باشد.
افزودن دسته‌بندی جدید
اگر به‌تازگی بخش جدیدی را با صدها صفحه به سایت خود اضافه کرده‌اید، می‌خواهید اطمینان حاصل کنید که بودجه خزش رادارید تا همه آن‌ها به‌سرعت ایندکس شوند.
تغییر مسیرها
بسیاری از تغییر مسیرها و زنجیره‌های تغییر مسیر، Crawl Budget شمارا کاهش می‌دهند. در ادامه با چند روش ساده می‌توانید حداکثر استفاده از بودجه خزش سایت خود را داشته باشید.
بهبود سرعت سایت
بهبود سرعت صفحه سایت می‌تواند منجر به کراول بیشتر URL های سایت شما توسط Googlebot شود.
در حقیقت، گوگل این‌گونه بیان می‌کند که:
“ایجاد یک سایت سریع‌تر باعث بهبود تجربه کاربران و درعین‌حال افزایش نرخ خزش می‌شود.”
به‌عبارت‌دیگر:
بارگذاری کند صفحات باعث به هدر رفتن زمان باارزش حضور Googlebot در سایت می‌شود. بودجه خزش و زمان حضور کراولر Googlebot اما اگر صفحات شما به‌سرعت بارگیری شوند، Googlebot زمان بیشتری برای بازدید و ایندکس صفحات شما دارد. تاثیر بهبود سرعت سایت بر بودجه خزش از لینک دهی داخلی استفاده کنید. Googlebot صفحاتی که دارای لینک دهی خارجی و داخلی بیشتری نسبت به سایر صفحات سایت هستند را در اولویت قرار می‌دهد که به آن‌ها اشاره دارد. به همین دلیل لینک‌های داخلی بسیار کلیدی هستند. لینک‌های داخلی شما Googlebot را به همه صفحات مختلف سایت شما که می‌خواهید ایندکس شوند ارسال می‌کند.
لینکدهی داخی سایت
معماری یا ساختار وبسایت تخت (Flat)
به گفته گوگل:
“آدرس‌های اینترنتی که بیشتر در اینترنت محبوب‌تر هستند، که بیشتر مورد کراول قرار می‌گیرند و به‌راحتی ایندکس شوند.”
به همین دلیل باید از معماری سایت فلت در سایت خود استفاده کنید. معماری تخت را باید طوری ایجاد کنید که هم کاربران و هم موتورهای جستجو بتوانند به‌کل قسمت‌ها سایت شما با ۴ کلیک و یا کمتر دسترسی داشته باشند.
معماری سایت
از صفحه یتیم یا Orphan Page اجتناب کنید
به صفحاتی در سایت شما گفته می‌شود که لینک دهی داخلی و یا خارجی به آن داده نشده است. صفحه یتیم یا Orphan Page گوگل در پیدا کردن صفحات یتیم نیاز به‌صرف زمان زیادی دارد که این صفحات باعث می‌شوند از Crawl Budget کاسته شود بنابراین سعی کنید که حداقل یک لینک داخلی یا خارجی در هر صفحه سایت شما موجود باشد.
محتوای تکراری را محدود کنید
محدود کردن محتوای تکراری به دلایل زیادی هوشمندانه خواهد بود. همان‌گونه که معلوم است، محتوای تکراری می‌تواند به بودجه خزیدن شما آسیب برساند.
زیرا گوگل نمی‌خواهد منابع خود را با ایندکس چندین صفحه با همان محتوا هدر دهد.بنابراین اطمینان حاصل کنید که ۱۰۰٪ صفحات سایت شما از محتوای منحصربه‌فرد و باکیفیت تشکیل‌شده است.این کار برای سایتی با تعداد صفحات بالای ده هزار صفحه کار چندان راحتی نیست. اما اگر می‌خواهید از بودجه خزش بیشترین بهره را ببرید ضروری است.
