نحوه تشخیص مشکلات خزیدن در دامنه

در تاریخ ۲۴ اکتبر ۲۰۲۴، جان مولر، مشاور جستجوی گوگل، در پاسخ به مشکلی که توسط آدریان اشمیت در لینکدین مطرح شده بود، نکاتی درباره تشخیص مشکلات خزیدن در چندین دامنه ارائه داد. آدریان گزارش داده بود که گوگل‌بات به‌طور هم‌زمان دسترسی به چندین دامنه او را متوقف کرده است، در حالی که تست‌های زنده از طریق سرچ کنسول بدون خطا بودند و افزایش خطاهای ۵xx یا مشکلات مربوط به فایل robots.txt مشاهده نمی‌شد.

نکات کلیدی ارائه‌شده توسط جان مولر:

• بررسی زیرساخت‌های مشترک:

مولر اشاره کرد که مشکلات خزیدن در چندین دامنه معمولاً به زیرساخت‌های مشترک مانند شبکه‌های تحویل محتوا (CDN) مرتبط است. او توصیه کرد که تغییرات اخیر یا لاگ‌های زیرساخت بررسی شوند تا منبع مشکل شناسایی گردد.

• استفاده از داده‌های سرچ کنسول:

مولر پیشنهاد داد که با استفاده از گزارش‌های سرچ کنسول، تفاوت بین مشکلات DNS و درخواست‌های ناموفق مشخص شود. او تأکید کرد که اگر مشکل در همه دامنه‌ها به‌طور هم‌زمان رخ داده باشد، احتمالاً به فایل robots.txt یا DNS مرتبط نیست.

• تأثیر بر نتایج جستجو:

مولر اطمینان داد که اگر این اختلال فقط چند ساعت طول کشیده باشد، نباید تأثیر قابل‌توجهی بر رتبه‌بندی در نتایج جستجو داشته باشد.

اهمیت این موضوع:

این رویداد نشان‌دهنده اهمیت نظارت بر زیرساخت‌های مشترک و استفاده از ابزارهای تحلیلی مانند سرچ کنسول برای تشخیص و حل مشکلات خزیدن است. همچنین، تأکید می‌کند که اختلالات موقتی در خزیدن لزوماً تأثیر منفی بر رتبه‌بندی در نتایج جستجو ندارند.

گوگل دستورالعمل های مربوط به بودجه خزش را به روز رسانی کرد

در تاریخ ۴ نوامبر ۲۰۲۴، گوگل دستورالعمل‌های مربوط به بودجه خزیدن (Crawl Budget) را به‌روزرسانی کرد. این به‌روزرسانی بر اهمیت حفظ ساختار لینک‌های یکسان بین نسخه‌های موبایل و دسکتاپ وب‌سایت‌ها تأکید دارد.

نکات کلیدی به‌روزرسانی:

• ساختار لینک‌های یکسان:

گوگل توصیه می‌کند که ساختار لینک‌ها در نسخه‌های موبایل و دسکتاپ وب‌سایت‌ها باید یکسان باشد تا از مشکلات احتمالی در خزیدن و ایندکس شدن جلوگیری شود.

• تأثیر بر بودجه خزیدن:

عدم تطابق در ساختار لینک‌ها می‌تواند منجر به هدررفت بودجه خزیدن شود، زیرا گوگل‌بات ممکن است زمان بیشتری را صرف تلاش برای درک و ایندکس کردن صفحات کند.

• بهبود تجربه کاربری:

حفظ یکپارچگی در ساختار لینک‌ها نه‌تنها به بهبود عملکرد خزیدن کمک می‌کند، بلکه تجربه کاربری بهتری را نیز فراهم می‌آورد.

این تغییرات نشان‌دهنده تمرکز گوگل بر بهینه‌سازی فرآیند خزیدن و ایندکس کردن وب‌سایت‌ها است. وب‌مسترها و متخصصان سئو باید اطمینان حاصل کنند که نسخه‌های مختلف وب‌سایت‌هایشان دارای ساختار لینک‌های یکسانی هستند تا از مشکلات احتمالی جلوگیری شود.