Crawl Errors چیست؟

بخش Crawl Errors در اکانت وبمستر گوگل آدرس صفحاتی از سایت شما را نشان میدهد که گوگل امکان بررسی و خزیدن در آنها را ندارد و یا با بازکردن این صفحات با یکی از ارورهای HTTP مانند 404، 503 یا 200 مواجه میگردد. در واقع گوگل از دو راه به صفحات داخلی شما دسترسی داشته و متوجه وجود آنها میشود، یکی از آدرس دهی موجود در نقشه سایت و دیگری لینک دهی از صفحات داخلی یا سایت های بیرونی به صفحه شما. اگر به هر دلیل صفحه ای در سایت شما موجود نباشد ولی در نقشه سایت قرار گرفته باشد یا از صفحات داخلی سایت به آن لینک داده باشید یک ارور جدید به این بخش اضافه خواهد شد. لینک از سایت های دیگر به یک صفحه داخلی شما که وجود ندارد موجب ایجاد Crawl Errors نخواهد شد.

رفع مشکلات در بخش Crawl Errors

برای مشاهده این بخش به اکانت وبمستر سایت خود وارد شده و از منوی سمت چپ گزینه Crawl و پس از آن Crawl Errors را انتخاب کنید.

نحوه نمایش بخش crawl errors در اکانت گوگل وبمستر

در این صفحه دو نوع ارور از سایت به شما معرفی میشود:
Site errors: بخش اول مربوط به مشکلات کلی سایت و عدم دسترسی روبات های گوگل به کل محتوای سایت شماست.
URL errors: بخش دوم به صفحات داخلی سایت توجه داشته و عدم دسترسی روبات گوگل به یک آدرس مشخص در سایت شما را لیست میکند.
در این مقاله به بررسی مشکلات Crawl Errors در بخش دوم خواهیم پرداخت.

علاوه بر نشان دادن لیست صفحات و آدرس هایی از سایت شما که با مشکل خزیدن یا Crawling مواجه هستند، دلیل احتمالی این خطا برای هر آدرس نیز نمایش داده میشود. در این بخش مهمترین آدرس ها بالاتر قرار میگیرند و لیست پیش روی شما به ترتیب زمان ایجاد ارور نیست.

برای یافتن دلیل ایجاد هر خطا در بخش Crawl Errors بر روی آدرس هر صفحه در لیست کلیک کنید. پنچره ای بصورت پاپ آپ باز خواهد شد که دارای سه Tab اصلی می باشد.

رفع مشکل هر صفحه بصورت جداگانه و معرفی دلیل ایجاد خطا

همانطور که در تصویر مشاهده میکنید صفحه باز شده دارای 7 بخش اصلی می باشد که هریک را جداگانه بررسی خواهیم کرد.
1- در این قسمت نوع اروری که روبات های گوگل در بررسی این صفحه با آن مواجه شده اند را می بینیم. Not found همان ارور 404 است.
2- آدرس صفحه ای که روبات گوگل امکان بررسی و خزیدن در آن را نداشته است.
3- جزئیات مربوط به این Crawl Error که شامل تاریخ بازبینی صفحه توسط گوگل و اطلاعاتی تکمیلی درباره نوع ارور می باشد.
4- بخش چهارم یا همان in Sitemaps به شما میگوید که آیا این صفحه در نقشه سایت شما نیز وجود داشته یا خیر.
5- صفحاتی که در سایت شما یا سایت های دیگر به این صفحه لینک داده اند در بخش Linked from نمایش داده میشوند.
6- از طریق این دکمه به گوگل اعلام میکنید که مشکل این صفحه رفع شده و دیگر نباید در لیست Crawl Errors سایت شما باشد.
7- با استفاده از دکمه Fetch as google میتوانید یک درخواست بازبینی و ایندکس مجدد برای آن صفحه از سایت به گوگل بدهید.

در صورتیکه آدرس مورد نظر در سایت شما وجود داشته و به هردلیل دیگر نیازی به آن ندارید آن را از لیست نقشه سایت خود خارج کرده و هرکجا که در صفحات داخلی سایت به آن لینک داده اید پاک کنید. سپس در بخش Crawl Errors دکمه Mark as Fixed را بفشارید. اگر صفحه همچنان بر روی سایت موجود است و گوگل به اشتباه همچین خطایی را ثبت کرده تنها با فشردن دکمه Marsk as Fixed به سراغ آدرس بعدی بروید.
با فشردن این دکمه آدرس مورد نظر از لیست خطاها خارج میگردد ولی اگر بدرستی مشکل آن را رفع نکرده باشید بزودی دوباره باز خواهد گشت. گاهی اوقات زمان زیادی لازم است تا گوگل متوجه حذف کامل یک صفحه از سایت شما بشود، برای افزایش سرعت این کار میتوانید یک در خواست حذف ایندکس نیز برای آدرس مورد نظر بدهید.