بودجه خزش چیست ؟

موضوعی که در این مقاله به آن پرداخته می‌شود، بودجه خزش است. این موضوع جذاب و چالش برانگیز است که گوگل رسماً اعلام کرده است نباید نگران آن باشیم، اما در کنار آن، اظهار نظرهای غیررسمی زیادی درباره آن وجود دارد. این ابهامات باعث شده تا باورهای نادرستی درباره کراول باجت و ربات‌های خزنده گوگل شکل بگیرد و تعریف و عملکرد اصلی بودجه خزش به زیر سوال برود!

اگر می‌خواهید برای همیشه بفهمید بودجه خزش چیست و نقش خزنده‌های گوگل در این مسأله چیست، توصیه می‌کنیم تا انتهای این مقاله با ما همراه شوید. در انتهای این مطلب، علاوه بر آشنایی با فاکتورهای تعیین بودجه خزش سایت، یاد می‌گیرید که چطور باورهای اشتباهی که ممکن است باعث هدر رفتن بودجه سایت شوند، را کنار بگذارید و اقداماتی را انجام دهید که باعث افزایش کراول باجت و بهبود روابط با خزنده‌های گوگل شوند.

آشنایی با خزنده‌های پرتلاش دنیای وب؛ google crawler bots

اغلب افراد در دنیای واقعی از حشرات و خزنده‌ها وحشت دارند، و این ترس حتی به دنیای وب هم منتقل شده است. نمونه‌اش ربات‌های گوگل یا خزنده‌های پرتلاشی هستند که بسیاری از وبمستران اعتقادات غیرمعمولی درباره آنها دارند؛ در حالی که به واسطه این خزنده‌های کوچک و کارآمد، ایندکس شدن صفحات و دیده شدن سایت مان را به‌ خوبی می‌سازیم!

وظایف خزنده‌های گوگل در سه سطح خزش (Crawling)، ایندکس کردن (Indexing) و رتبه‌بندی (Ranking) قرار دارد. خزش یا Crawling، همان فعالیتی است که با بودجه خزش سایت مرتبط است. ربات‌های گوگل دوست دارند هر مطلب جدیدی که وارد این فضا می‌شود، را بررسی و ایندکس کنند؛ از مقاله‌ها و محصولات تا فیلم‌ها و تصاویر و غیره. بعد از اینکه تکلیف محتوا برای آنها واضح شود، آن را ایندکس می‌کنند تا کاربران گوگل به آن دسترسی داشته باشند. در مرحله نهایی، سایت‌ها را بر اساس فاکتورهای مختلف رتبه‌بندی می‌کنند.

اما یک سوال وجود دارد! این ربات‌های هوشمند چگونه تعیین می‌کنند که برای بررسی محتوای هر سایت چقدر زمان صرف کنند؟ از کجا می‌فهمند که محتوای جدیدی در سایت اضافه شده و باید به آن سر بزنند؟ جواب این سوال در بخش بعدی و توضیح مفهوم بودجه خزش به‌خوبی مشخص می‌شود.

crawl budget چیست؟ وقتی خزنده‌های گوگل دست به کار می‌شوند

یکی از جذاب‌ترین بخش‌های عملکرد خزنده‌های گوگل، مرحله فراخوانی آنها به سایت است. ما با استفاده از لینک‌های موجود در صفحات جدید و همچنین ابزار URL Inspection Tool در Search Console به خزنده‌های تیز و پرتلاش گوگل اعلام می‌کنیم که: “سلام! ما محتوای جدید به وب اضافه کردیم و دوست داریم ببینیمش.”

آیا فکر می‌کنید که این سیگنال به ربات‌های گوگل واصل شد، چه اقداماتی انجام می‌دهند؟

بله! آنها به پرونده سایت ما نگاه می‌کنند تا تعیین کنند که چه مدت‌هایی باید به سایت ما سر بزنند. این خزنده‌های پرتلاش بسیار شلوغ هستند و باید به سایت‌های مختلفی سر بزنند، بنابراین با گوگل توافق کرده‌اند که برای هر سایت یک “بودجه خزش” تعیین کنند. به همین دلیل است که در بخش قبلی ذکر شد، بودجه خزش مرتبط با وظایف ربات‌های گوگل است.

با این حال، بودجه خزش یا Crawl Budget به تعداد صفحاتی از سایت ما اشاره دارد که خزنده‌های گوگل در دوره‌های زمانی خاص (مثلاً روزانه) آنها را کراول و ایندکس می‌کنند. گوگل با تخصیص بودجه خزش، سهم صفحات سایت‌ها از فعالیت خزش ربات‌های Crawler را به‌طور منصفانه تعیین می‌کند تا یک رقابت عادلانه برای همه شکل بگیرد.

تعریف crawl budget از زبان گوگل

اجازه دهید تعریفی از crawl budget که گوگل در صفحه Google Search Central منتشر کرده با هم بخوانیم:

«در همین ابتدا، تأکید می‌کنیم بودجه خزش چیزی نیست که نگران آن باشید. اگر قرار باشد صفحات جدید در همان روزی که منتشر می‌شوند، ایندکس شوند، پس بودجه خزش چیزی نیست که لازم باشد مدیران وب سایت‌ها روی آن تمرکز کنند. به همین ترتیب، اگر سایتی کمتر از چند هزار صفحه داشته باشد، در اغلب مواقع به ‌طور مؤثر خزیده می‌شود.

crawl budget برای سایت‌های بزرگ‌تر یا سایت‌هایی که به‌ طور خودکار صفحات را تولید می‌کنند، موضوع مهم‌تری است.»

بودجه خزش چه مفهومی برای ربات‌های گوگل دارد؟

بودجه خزش برای ربات‌های گوگل این مفهوم را دارد:

«به سایت example.com چقدر باید توجه کنیم. آیا لازمه هر روز محتوای این سایت بررسی و ایندکس کنیم یا نه.»

خزنده‌های گوگل برای بررسی محتوای ما، به بازه‌های زمانی انتشار محتوا، عنوان و ماهیت محتوا توجه می‌کنند. میزان این توجه هر چه قدر بیشتر باشد، تعداد بیشتری از صفحات سایت شانس کراول و ایندکس شدن پیدا می‌کنند.

Crawl Limit و Crawl Demand؛ دو عامل مهم در تعیین بودجه خزش سایت‌ها

بودجه خزشی که گوگل برای سایت‌ها تعیین می‌کند و خزنده‌های زحمتکش هم تابع آن هستند، براساس دو عامل Crawl Limit و Crawl Demand، تعیین می‌شود. قبل از اینکه بگوییم گوگل چطور از این دو فاکتور برای مشخص کردن بودجه خزش استفاده می‌کند، اول با تعریف آنها آشنا شوید:

• Crawl Limit؛ این فاکتور به گوگل می‌گوید که منابع سرور سایت ما ظرفیت پذیرش چه تعداد خزش را دارد.
• Crawl Demand؛ این فاکتور هم می‌گوید کدام یک از صفحات ما ارزش چندین بار کراول کردن را دارد.

خُب! حالا ببینیم گوگل چطور با کنار هم قرار دادن نتایج این دو فاکتور، برای سایت ما بودجه خزش مشخص می‌کند.

Crawl Limit و اهمیت سرور و هاست در بودجه خزش

در مورد Crawl Limit هر بار که خزنده‌های گوگل بخواهند یک صفحه را کراول کنند، یک درخواست دسترسی به منابع سایت به سمت سرور ارسال می‌شود. اگر تعداد این درخواست‌ها خیلی زیاد باشد و سرور نتواند به همه آنها پاسخ بدهد، سایت down می‌شود.

گوگل برای اینکه بفهمد Crawl Limit سایت ما چقدر است، به چند موضوع توجه می‌کند:

1. آیا سرور سایت ما در زمان درخواست‌های گوگل دچار مشکل می‌شود؟
2. سایت ما از هاست اشتراکی استفاده می‌کند یا هاست اختصاصی؟
3. سایت ما از نظر محتوا و تعداد صفحات بزرگ است یا کوچک؟

اگر از هاست اشتراکی استفاده می کنید، سرور سایت بیش از حد دچار اختلال می شود و تعداد صفحات سایت بیش از ۱۰۰۰ صفحه است، احتمالا نمره Crawl Limit خوبی دریافت نخواهید کرد.

Crawl Demand و فاکتورهای ارزش گذاری محتوای صفحات

درباره Crawl Demand هم گوگل براساس ۳ فاکتور نوع صفحه، محبوبیت و تازگی محتوا، ارزش کراول شدن یک صفحه را مشخص می‌کند. بر این اساس:

1. صفحاتی که احتمال تغییر محتوای آنها بیشتر باشد، Crawl Demand بالاتری دارند. مثال کاملاً ساده این موضوع، مقایسه احتمال تغییر محتوای صفحه «قوانین و مقررات» در سایت‌های فروشگاهی با صفحه «محصول» است.
2. صفحه‌ای که محتوای آن در بازه‌های زمانی کوتاه بروزرسانی می‌شود، برای خزنده‌های گوگل جذاب‌تر است، پس باید بیشتر به آن سر بزنند.
3. صفحه‌ای که صفحات داخلی و سایت‌های متنوعی به آن لینک داده‌اند، در مقایسه با سایر صفحات، بیشتر ارزش کراول کردن دارد.

توضیح این دو فاکتور کمی طولانی شد، ولی دوست داشتیم بدانید که گوگل دقیقاً چه فرآیندی را طی می‌کند که این دو فاکتور را در صفحات مختلف سایت ما ارزیابی کند و در نهایت یک بودجه خزش مشخص را به سایت ما اختصاص دهد.

بودجه خزش چقدر در سئوی سایت ما تأثیر دارد؟

سوال خوبی است. احتمالاً تجربه این اتفاق را داشته‌اید که یک محتوای جدید (صفحه محصول، مقاله، بلاگ یا…) به سایت اضافه کردید، چند روز گذشته و خبری از ایندکس آن نیست. گاهی اوقات چند هفته هم می‌گذرد، ولی هیچ اثری از ردپای خزنده‌های گوگل در صفحه جدید نمی‌بینیم!

ما که می‌دانیم هیچ تغییری از چشم ربات‌های گوگل دور نمی‌ماند، پس حالا چه اتفاقی افتاده که خبری از ایندکس محتوای جدیدمان نیست؟

سر نخ این قضیه به crawl budget و خزنده‌های ناقُلا بر می‌گردد

قبلاً دانستیم که خزنده‌های گوگل سرشان شلوغ است و گوگل بودجه خزش را تعریف کرده تا ربات‌ها بدانند که به هر سایت چند بار باید سر بزنند. پس تا اینجا خیالمان راحت است که ربات‌های گوگل از بودجه خزش ما خبر دارند. بنابراین فقط دو حالت امکان پذیر است:

۱٫ بنا به دلایل نامشخص، سرعت ایندکس برای تمام سایت‌ها دچار اُفت شده است

در این حالت معمولاً همه وبمستران از سرعت بسیار کُند ایندکس صفحات شکایت می‌کنند و این قضیه آنقدر دهان به دهان می‌چرخد که تقریباً همه مطمئن می‌شویم که مشکل از سمت سایت ما نیست و به برنامه‌های خود گوگل بر می‌گردد.

۲٫ کاملاً ناآگاهانه کراول باجت سایت را به هدر داده‌ایم

از اصطلاح نادانسته استفاده می‌کنیم، زیرا مطمئناً اگر می‌دانستیم که داریم به طور نامناسب بودجه خزش (که این مسئله بسیار حیاتی است!) را تلف می‌کنیم، هیچ‌گاه این کار را انجام نمی‌دادیم. معمولاً در این حالت، خزنده‌های گوگل را با صفحات بی ارزش به چنین حدی مشغول می‌کنیم که تقریباً فرصتی برای خرده‌ کردن و ایندکس کردن صفحات جدید یا ارزشمند نمی‌یابند و بی‌نتیجه می‌شوند.

در این میان، اولین قربانی که زخمی می‌بیند، سئوی سایت است. چرا که صفحات بی‌اهمیت سایت دیده می‌شوند، در حالی که صفحات با ارزش که پتانسیل بالایی برای ایندکس شدن در نتایج جستجوی گوگل و جذب ترافیک ارگانیک دارند، از دست می‌روند. ما خودمان مقصر هستیم، به خاطر باورهای اشتباهی که درباره خزنده‌های گوگل داریم و که مانع برنامه‌ریزی صحیح برای انجام کارهایی شده که می‌توانستند بهینه‌سازی بودجه خزش سایت را تسهیل کنند.

پیش از اینکه به قسمت بعدی این مطلب برویم، پیشنهاد می‌کنیم که با استفاده از ابزار رایگان Google Search Console وضعیت بودجه خزش سایت خود را بررسی کنید. این کار بسیار آسان است. فقط کافی است به پنل تنظیمات (Setting) بروید و بر روی گزینه “Crawl stats” کلیک کنید تا یک گزارش مشابه به تصویر زیر برای شما نمایش داده شود.

۵ باور غلط درباره بودجه خزش سایت و عملکرد خزنده‌های گوگل که باید فراموش کنیم!

قبول داریم که گوگل گفته نگران بودجه خزش سایت نباشید، ولی این دلیل نمی‌شود که اگر در کراول و ایندکس صفحات سایت دچار مشکل شدیم، همه مشکلات را به ربات‌های گوگل نسبت دهیم. خزنده‌های گوگل دوست سایت ما هستند و تمام تلاش خود را می‌کنند که بودجه خزش ما در راستای بهبود سئوی سایت مصرف شود. ولی گاهی خودمان ناخواسته عملکرد آنها را مختل می‌کنیم.

در ادامه باورهای غلطی که باعث می‌شوند بودجه خزش سایت را هدر بدهیم، بشناسید:

۱٫ ربات‌های گوگل متوجه محتوای تکراری و صفحات Duplicate سایت می‌شوند

در بعضی سایت‌ها صفحاتی وجود دارند که از نظر محتوا، عناوین اصلی و زیر عنوان‌ها، برچسب‌ها و… شبیه یا به ‌اصطلاح تکراری هستند. چرا تصور می‌کنیم که ربات‌های گوگل باید خودشان متوجه شوند که نیازی به کراول و ایندکس کردن صفحات تکراری سایت ما نیست؟ ما با همین اشتباه، خیلی راحت بودجه خزش سایت را نابود می‌کنیم و بعد هم می‌گوییم ربات‌های گوگل باید تشخیص می دادند که ما نمی‌خواستیم همه این صفحات کراول و ایندکس شوند!

۲٫ خزنده‌های گوگل محتواهای بی کیفیت ما را کراول نمی‌کنند

نه! اصلاً این طور نیست. در مرحله کراول کردن یک صفحه، با کیفیت یا بی کیفیت بودن محتوا فرقی برای ربات‌ها ندارد. مساله بودجه خزش یا زمانی است که ربات‌ها صرف بررسی آن صفحه بی کیفیت کرده‌اند، در حالی که می‌شد به ‌جای آن، یک صفحه خوب را ببینید. این محتوای بی کیفیت اگر ایندکس شود، نه تنها سودی برای سئوی سایت ما نخواهد داشت، بلکه گوگل را هم ناامید خواهد کرد.

راهکار چیست؟

بیایید این باور غلط را فراموش کنیم و با تأکید بر این موضوع که ربات‌های خزنده دوست سایت ما هستند، صفحات با محتوای بی کیفیت را حذف کنیم، یا حداقل آنها را به یک محتوای باکیفیت و مرتبط دیگر در سایت ریدایرکت ۳۰۱ کنیم. پیشنهاد می‌کنیم قبل از این ‌کار مقاله «ریدایرکت ۳۰۱» را بخوانید.

۳٫ سرعت سایت ارتباطی با بودجه خزش و عملکرد ربات‌های گوگل ندارد

اگر شما هم به چنین موضوعی باور دارید، باید بگوییم که کاملاً در اشتباه هستید. سایتی که سرعت لود پایینی دارد، به ربات‌های گوگل این سیگنال را می‌دهد که سرورهای سایت نمی‌توانند درخواست‌های شما را به خوبی پاسخ بدهند، پس برای این سایت خیلی وقت نگذارید. در نتیجه، ربات‌های گوگل دست از پا درازتر بر می‌گردند و بودجه خزش سایت به همین راحتی هدر می‌شود.

۴٫ گوگل بات‌ها به پارامترهای فیلتر محصولات توجه نمی‌کنند

یکی از اقداماتی که برای بهبود تجربه کاربران در سایت‌های فروشگاهی انجام می‌شود، استفاده از پارامترهای فیلتر محصولات است؛ مانند:

https://www.example.com/hat/boyhat?color=red

این حرکت اقدام هوشمندانه‌ای برای راحت کردن جستجوی کاربرها در سایت است، ولی فکر نکنید خزنده‌های گوگل این URLها را نادیده می‌گیرد. ربات‌ها این URLها را هم مانند سایر صفحات بررسی می‌کنند و در نتیجه بدون اینکه بدانیم بخشی از بودجه خزش سایت صرف این صفحات می‌شود.

راه حل چیست؟

برای حل این مساله باید در فایل robots.txt سایت، این صفحات را در حالت نوایندکس قرار دهیم. همچنین می‌توانیم به لینک این صفحات ویژگی «noindex» را اضافه کنیم. با انجام این کارها دیگر هیچ وقت ربات‌ها به سراغ این صفحات نمی‌روند.

۵٫ ساختار لینک سازی سایت تأثیری در بودجه خزش یا نحوه عملکرد ربات‌های گوگل ندارد

اگر چنین تصوری دارید، باید بگوییم اتفاقاً همین لینک‌های داخلی هستند که ربات‌ها را به صفحات جدید و محتواهای با ارزش سایت ما هدایت می‌کنند. لینک‌ها مانند چراغ‌های راهنمایی هستند که به خزنده‌ها علامت می‌دهند که کجا بروند و کدام صفحات را ببینند. این خزنده‌های دوست داشتنی بیش از هر صفحه‌ای، جذب صفحات با لینک سازی داخلی خوب می‌شوند.

چطور این مشکل را برطرف کنیم؟

ساختار لینک سازی داخلی سایت تا حد زیادی به استراتژی سئوی ما بر می‌گردد و نمی‌شود برای همه یک نسخه واحد تجویز کرد. ولی پیشنهاد می‌کنیم به صفحات مهم خود در صفحات داخلی بیشتری لینک بدهید.

علاوه بر مواردی که گفتیم، اشتباهات دیگری هم مرتکب می‌شویم که عملکرد crawler bots را مختل می‌کند. مثلاً وجود تعداد زیادی لینک شکسته، وجود صفحات یتیم و صفحات ریدایرکت شده در سایت یا صفحات غیر قابل ایندکس. وجود این لینک‌ها و صفحات هم باعث سردرگم شدن ربات‌های گوگل می‌شود.

آیا راهکاری برای بهبود crawl budget سایت وجود دارد؟

در مورد بهینه سازی بودجه خزش، نمی‌توان به طور قطعی نظر داد. چون بهترین اقدامی که ما می‌توانیم برای بهبود crawl budget انجام دهیم، جلوگیری از هدر رفتن آن است. بنابراین، طبق توصیه گوگل اگر سایت فعالی دارید و از نظر تکنیکال عملکرد خوبی دارد یا سایتی کوچک با تعداد صفحات کم دارید، نیازی به بهینه سازی بودجه خزش نیست.

ولی اگر صاحب یک فروشگاه بزرگ با تعداد صفحات زیاد (بیش از ۱۰۰۰ صفحه) هستید، بهتر است روی بهینه سازی فاکتورهایی که گوگل برای تعیین crawl budget از آنها استفاده می‌کند و مواردی که باعث هدر رفتن بودجه خزش سایت می‌شوند، بیشتر تمرکز کنید.

سؤالات متداول

چرا موتورهای جستجو برای سایت‌ها نرخ کراول در نظر می‌گیرند؟

گوگل برای اینکه بتواند بهترین محتوا را به‌ دست کاربر برساند، لازم است سایت‌ها را رتبه بندی کند و بهترین و ارزشمندترین آنها را برای کاربران نمایش دهد. ابزار این رتبه بندی کراول و ایندکس کردن صفحات است. بودجه خزش به گوگل کمک می‌کند، میزان خزش های هر سایت را براساس شایستگی‌های آن سایت الویت بندی کند.

چرا باید به Crawl Budget اهمیت ویژه بدهیم؟

چون اگر بودجه خزش صرف صفحات یا اهداف بیهوده شود، صفحات با ارزش ما از چشم ربات‌های گوگل دور می‌مانند و کراول و ایندکس نمی‌شوند. در نتیجه، هیچ ترافیکی دریافت نمی‌کنند و سئوی سایت آسیب می‌بیند.

منظور از بهینه سازی بودجه خزش چیست؟

سخن پایانی

در این مقاله آموختیم که بودجه خزش چیست، نقش مهمی که ربات‌های خزنده گوگل در آن دارند و گوگل چگونه بودجه خزش یک وب‌سایت را تعیین می‌کند. همچنین متوجه شدیم که چگونه تصورات اشتباه ما و عدم انجام اقداماتی ساده می‌تواند این بودجه ارزشمند را به راحتی هدر بدهد.

حالا نوبت شماست که تجربیات و دیدگاه‌های ارزشمند خود را با ما به اشتراک بگذارید. شما تجربه‌ای از بودجه خزش وب‌سایت خود دارید؟ آیا تا به حال با مشکلات مربوط به بودجه خزش روبرو شده‌اید؟ تجربیات خود را در بخش نظرات با ما به اشتراک بگذارید؛ شاید با این کار بتوانید برای یک سئوکار دیگر راهنمایی کاربردی ارائه دهید!