پیگیری 12000 پیغام خطای شاخص که در ابزار وبمستر رخ می دهد، می تواند شما را نسبت به ریشه کن کردن این ارورها (که ظاهرا غیرقابل حل هستند) امیدوار کند. کلید مشکل این است که بدانیم چه ارورهایی در سایت شما تاثیرگذارند و چه ارورهایی واضح و براحتی قابل حل هستند، بنابراین پس از آن شما می توانید با مشکلات واقعی روبرو شوید. دلیل و اهمیت بررسی و توجه به این ارورها، تاثیری است که روی کاربران شما و جستجوگر گوگل دارد.

داشتن هزاران ارور 404 خصوصا آنهایی که متعلق به آدرس های ایندکس شده یا لینک شده به صفحات دیگر هستند، بصورت بالقوه باعث آزار کاربران شما می شود. اگر آنها وارد چندین صفحه 404 در یک بخش شوند، اعتمادشان نسبت به سایت شما کاهش می یابد و البته باعث ناامیدی می شود.

همچنین نمی خواهید که لینک های ارسالی از سوی سایت های دیگر را با رسیدن آنها به صفحه ای مرده! از دست بدهید. شما می توانید با اصلاح ارور جستجو و ارسال آن به سمت آدرسی صحیح باعث بهبود رنک خود شوید.

مضاف بر این، گوگل بودجه جستجو مشخصی را برای سایت شما درنظر گرفته است و اگر مقدار زیادی از زمان روبوت صرف جستجو صفحات خطای شما شود، زمان کافی برای بدست آوردن اطلاعات با ارزش صفحاتی که واقعا کار می‌کنند را ندارد.

بدون بحث اضافی، بخش اصلی ارورهای جستجو که توسط ابزار وبمستر گوگل گزارش شده است در پایین آمده است:

(البته دقت داشته باشید شاید و انشاا… شما همه بخش های زیر را در بخش crawl errors خود نداشته باشید چراکه هر بخشی که مشکل داشته باشد را گوگل لیست میکند)

HTTP

این بخش معمولا صفحاتی را که ارورهایی مانند صفحات 403 را دارا می باشند ، نشان می دهند. برای کسب اطلاعات بیشتر از لیست همه‌ی کدهای HTTP ، صفحه راهنمای گوگل خود را بررسی کنید.

In Sitemaps (این مورد خیلی کم رخ می دهد چراکه سایت مپ های جدید همگی داینامیک هستند)

اغلب ارورها در نقشه سایت توسط نقشه های سایت قدیمی ایجاد می شوند که همچنان بصورت 404 هستند یا صفحه های لیست شده در نقشه سایت فعلی به یک ارور 404 می رسند. اطمینان حاصل کنید که تمامی لینک های موجود در نقشه سایت شما بخوبی کار می کنند و برای جستجوگر گوگل مفید هستند.

ذکر این نکته نیز ضروری به نظر می رسد که sitemap ها فقط توسط ربات های جستجوگر استفاده می شوند.

یکی از کارهای طاقت فرسای گوگل این است که نقشه های قدیمی سایت را که حذف کرده اید، بررسی می کند تا نقشه های سایتی و آدرس هایی که واقعا حذف شده اند را بیاید. اگر نقشه سایت قدیمی دارید که از ابزار وبمستر حذف کرده اید، و دوست ندارید که مورد جستجو قرار گیرد، مطمئن شوید که آن نقشه 404 به نقشه سایت فعلی شما redirect نشود.

به گفته یکی از کارمند گوگل، سوزان موسکوا:

“بهترین راه برای جلوگیری از موردجستجو قرار گرفتن آدرس‌ها و نقشه‌های قدیمی سایت توسط روبات گوگل، این است که آنها را تبدیل به 404 کنید. اگر ما ببینیم که آدرسی بطور پی در پی 404 می شود، از جستجو کردن آن دست می کشیم، و سپس جستجوی نقشه سایت را متوقف می کنیم، این کار را از تب all sitemaps انجام دهید “.

Not Followed

بیشتر این ارورها اغلب از ارورهای redirect بوجود می آیند. اطمینان حاصل کنید که زنجیره redirect را حداقل کرده اید، زمان redirect برای بازه کوتاهی تنظیم شود و از meta refreshes در بالای صفحات خود استفاده نکنید.

مت کات ویدئوی یوتیوب خوبی در مورد زنجیره redirect دارد:

جستجوگر گوگل بعد از یک زنجیره redirect خسته می شود.

نتایج و آثار redirect کردن:

• هنگامیکه صفحات را برای همیشه redirect می کنید، مطمئن شوید که آنها به کد HTTP مورد نظر برمیگردند (301 برای انتقال دائمی).
• مطمئن شوید که حلقه‌ی redirect ندارید، یعنی نقاط redirect بخودشان بازگردند!
• اطمینان حاصل کنید که نقاط را صفحات درستی redirect کنید نه صفحات 404 یا دیگر صفحاتی که ارور دارند مانند (server error یا 403 forbidden).
• مطمئن شوید که redirect های شما در حقیقت به یک صفحه‌ی دارای محتوا برسد.

ابزارهای مورد استفاده:

• Redirect های خود را با ابزاری برای چک کردن پاسخ header مانند URL Valet یا Check Server Headers Tool بررسی نمایید.
• Screaming Frog ابزاری عالی برای چک کردن صفحاتی از سایت شما است که redirect 301 و ارور 404 و 500 را نشان میدهند. نسخه رایگان آن 500 صفحه را پوشش می دهد، اگر نیازی بیشتر از این دارید باید نسخه نهایی آن را بخرید.
• Search Engine Indexing Checker ابزاری بسیار مفید است که شما می توانید لیستی از آدرس هایتان که به عنوان redirect ثبت کرده اید را در آن قرار دهید. این ابزار به شما این اجازه را می دهد که آدرسهایتان را در فضایی بررسی کنید تا ببینید کدامشان ایندکس شده است و کدامشان نه. اگر آدرس‌های اولیه شما که redirect شده اند دیگر ایندکس نیستند به این معنی است که گوگل بعد از مشاهده redirect 301، آدرس قبلی را از لیست ایندکسش خارج کرده است و شما نیز می توانید آن را از خط redirect فایل .htaccess پاک نمایید.

سایت خود را بصورت فقط متن (با مشاهده نسخه کَش سایت از لیست SERP گوگل) آزمایش کنید. مطمئن شوید که می توانید تمامی لینک هایتان را ببینید و هیچ لینکی توسط جاوااسکریپت، فلش، کوکی ها، شماره بخش‌ها، DHTML و فریم ها پنهان نشده است.

همواره از لینک های مستقل و نه لینک های وابسته استفاده کنید. اگر ویرایشگرهای مخرب مطالب، روی عکسها و لینک های شما اثر می گذارند می توانند به لینک های وابسته شما ارجاع دهند و اگر به شکل نادرستی تجزیه شود ممکن است شما نتوانید ارورهای نمایان شده در ابزار وبمسترتان را ببینید، این ارورها ممکن است در یکی از سایت های ما اتفاق بیفتد و معمولا شناسایی لینک اصلی که باعث این ارور شده است غیرممکن است.

Not Found

ارورهای “پیدا نشد” بخش بزرگی از ارورهای سایت شما را شامل می شود. ارورهای 404 می توانند از طرق محدودی رخ دهند:

• شما صفحه ای از سایتتان را حذف کرده اید و آن را redirect 301 نکرده اید.
• شما نام صفحه ای را در سایتتان تغییر داده اید و آن را redirect 301 نکرده اید.
• شما مشکل تایپی در لینکی داخلی روی سایتتان دارید که لینک می دهد به صفحه ای که وجود ندارد.
• شخص دیگری از سایت دیگری به سایت شما لینک می دهد اما در لینکشان مشکل تایپی وجود دارد.
• شما سایتی را به دامنه ای جدید منتقل کرده اید و زیرپوشه ها دقیقا منطبق نیستند.

بهترین راه حل:

اگر لینک های خوبی را به صفحه 404 داده اید، بایستی آنها را redirect 301 کنید به صفحه ای که باید باشد، یا اگر آن صفحه حذف شده است بایستی به صفحه ای مشابه redirect 301 کنید. نیازی نیست که همه ی صفحات 404 را redirect 301 کنید. اینکار در واقع اگر redirect های زیادی دارید باعث کاهش سرعت سایت شما می شود. اگر صفحه قدیمی یا دسته بزرگی از صفحات که می خواهید کاملا پاک شوند، در سایتتان دارید، بدون هیچ مشکلی آنها را به حالت 404 باقی بگذارید. این در واقع راه پیشنهاد گوگل است که اجازه می دهد روبوتش بداند چه صفحاتی را شما دیگر نمی خواهید.

Restricted by robots.txt

این ارورها بیشتر اطلاعاتی هستند با وجود اینکه نشان می دهد که تعدادی از آدرس های شما توسط فایل robot.txt تان بلاک شده است لذا اولین گام این است که فایل robot.txt را بررسی کنید و مطمئن شوید که دقیقا کدامیک از آدرس هایی که لیست شده اند را مایلید بلاک کنید.

گاهی اوقات آدرس هایی لیست شده است که بطور واضح توسط robot.txt بلاک نشده است. چرا که امکان دارد بعضی از آنها به دلایل عجیب و غریبی بلاک شده باشند. روشی خوب برای فهمیدن این موضوع این است که آدرس هایی پرسشی در آدرس پیشنویس اجرا شوند و پاسخ کد به آن دیده شود. همچنین فایل .htaccess را چک کنید تا اگر قانونی برای redirect شدن آن آدرس وجود دارد آن را ببینید.

Soft 404

اگر صفحاتی دارید که محتوای کمی دارند ممکن است بعنوان soft 404 دسته بندی شوند. این دسته بندی دلخواه نیست، اگر تمایل دارید که صفحه ای 404 شود بایستی مطمئن شوید که نتیجه آن hard 404 است، و اگر صفحه شما بعنوان soft 404 لیست شده است و در عین حال یکی از صفحات اصلی سایت شما است بایستی آن را اطلاح کنید تا مطمئن شوید به ارور ختم نمی شود.

اگر صفحه ای 404 را بازگردانی می کنید و بصورت soft 404 لیست شده است، به این معناست که کد پاسخ header HTTP کد پاسخ Not Found صفحه 404 را بازگردانی نمی کند. پیشنهاد گوگل را نیز بخوانید.

هنگامیکه برای یکی از مشتریانمان مشغول redirect کردن هزاران آدرس خراب به صفحه ای موقتی بودیم که فقط یک عکس و مقدار کمی متن داشت، دسته ای از این ارورها را مشاهده نمودیم. گوگل این را به عنوان یک صفحه 404 رایج درنظر گرفت حتی با اینکه landing page بود و تمامی آدرس های redirect شده اش بصورت soft 404 دسته بندی شده بود.

Timed Out

اگر صفحه ای زمان زیادی برای لود شدن می گیرد، روبوت گوگل پس از مدتی از تلاش برای فراخوانی آن دست می کشد. گزارشات سرورتان را برای هر مسئله ای چک کنید و همچنین سرعت لود صفحاتی که زمان بارگذاری شان به پایان می رسد را چک کنید.

انواع ارورهای timed out :

• DNS lookup timeout: جستجو روبوت گوگل به سرور دامنه شما نمی رسد، تنظیمات DNS را چک کنید. گاهی اوقات اگر همه چیز درست باشد پایان گوگل فرا می رسد. Pingdom ابزار بسیار خوبی برای چک کردن سلامت DNS دامنه شما دارد و هر مشکلی که بوجود آید را به شما اعلام می کند.
• URL-timeout : اروری از صفحات بخصوصی از سایتتان نه از همه ی دامنه.
• Robot.txt timeout: اگر robot.txt شما وجود دارد اما در زمانیکه گوگل آن را جستجو می کند، سرور time out شود، گوگل جستجو سایت شما را تازمانیکه بتواند فایل robot.txt را بررسی کند به تاخیر می اندازد تا مطمئن شود آدرس هایی که بررسی کرده است قبلا توسط robot.txt بلاک نشده اند. توجه کنید که اگر فایل robot.txt ندارید و گوگل برای یافتن آن با ارور 404 مواجه شود، به جستجو سایت ادامه می دهد با این فرض که چنین فایلی وجود ندارد.

Unreachable

ارورهای غیرقابل دسترس می تواند از ارورهای داخلی سرور یا مشکلات DNS نشأت بگیرد. یک صفحه هم می تواند بصورت غیرقابل دسترس باشد اگر robot.txt جستجوگر را از مشاهده آن صفحه منع کرده باشد. ارورهای ممکن در حالت غیرقابل دسترس “بدون پاسخ”، “ارور 500” و “مشکل DNS” می باشد.

نتیجه گیری

ابزار وبمستر گوگل بدون ایراد نیست. در حالیکه ما قدرت گوگل را به دلیل چیزهایی که می بیند تحسین می کنیم، ولی همچنان مواردی وجود دارد که نیاز به اصلاح دارند. گوگل بهترین موتور جستجو در جهان است، ولی شما نمی توانید تمامی گزارشات ارورتان را جستجو کنید تا آدرسی از ماه قبل که شما را بالا نگه داشته بود را پیدا کنید. حداقل آنها می توانند گزارش خوبی در این مورد تهیه کنند اما با اینحال شما باید بصورت دستی روی 20 صفحه کلیک کنید تا به صفحه 21 برسید. یک راه دور زدن این مشکل این است که شماره صفحه را با ویرایش آخر رشته آدرسی که بخشی از ارور را نشان میدهد، اصلاح کنید. شما می توانید تمامی داده ها را در یک فایل اکسل دانلود کنید که بهترین راه حل است اما گوگل باید ابزار وبمستر را اپدیت کند تا امکان جستجو از درون نرم افزار را بدهد.

همچنین صاحب سایت باید قدرت پاک کردن تمامی نقشه های سایت را داشته باشد حتی اگر شخص دیگری یکسال قبل روی سایت چیزی اپلود کرده باشد. درحال حاضر شما فقط می توانید نقشه سایت را که توسط خودتان در ابزار وبمستر آپلود شده است حذف کنید. اگر سپیده از اصفهان نقشه سایت عکسی را یکسال قبل آپلود کرده باشد همچنان در تب همه ی نفشه سایتها نمایش داده می شود. راه حل رها شدن از شر این مشکل این است که اجازه دهید نقشه سایت موردنظر بصورت 404 باشد و نهایتا باعث کمرنگ شدن آن می شود.

شاید از زمانیکه Bing شروع به بهینه کردن ابزار وبمستر خودش کرده است، ما شاهد رقابتی بین دو موتور جستجو باشیم. و نهایتا روزی شاید بتوانیم کنترل سایتمان را در موتورهای جستجو بدست بگیریم.