بودجه خزیدن و لاگ فایل: گوگل بات واقعا چه می کند

بیشتر سایت های کوچک لازم نیست درگیر وسواس بودجه خزیدن شوند. اما سایت های بزرگ، مارکت پلیس ها، فیلترهای فروشگاهی و آرشیوهای خبری باید جدی بگیرند. وقتی میلیون ها URL وجود دارد، هر fetch هدررفته روی تکراری ها، پارامترها، ریدایرکت ها و صفحه های کم عمق یعنی فرصتی که به محتوای تازه یا مهم نرسیده است.

سیگنال هایی که باید مقایسه شوند

الگوهای رایج هدررفت خزیدن

به فضاهای بی نهایت URL از فیلترها، ترتیب مرتب سازی، صفحه های تقویمی، پارامترهای tracking، زنجیره ریدایرکت، soft 404، canonicalهای تکراری و صفحه هایی که 200 برمی گردانند اما نتیجه خالی نشان می دهند نگاه کنید. اصلاح این الگوها معمولا مهم تر از درخواست برای سریع تر خزیدن گوگل است.

کار روی بودجه خزیدن برای خوشحال کردن ربات ها نیست. هدف ساده تر کردن سایت است: بن بست کمتر، تکراری کمتر و مسیر روشن تر به صفحه هایی که مهم اند.