پس از طی کردن مراحل طراحی سایت و سئو، معمولا مشکلات کوچک و بزرگ بسیاری بر سر راه وبمسترها سبز می‌شوند. یکی از این مشکلات ایندکس صفحات سایت در گوگل و سایر موتورهای جستجو می‌باشد. اولین قدم برای گرفتن ورودی از گوگل، ایندکس شدن صفحات سایت در گوگل می‌باشد و اگر این اتفاق نیافتد، وب سایت شما حتی در صفحات آخر نتایج گوگل نیز نمایش داده نمی‌شود.

در اینجا دو مساله وجود دارد:

• صفحات سایت کند و با تاخیر زیاد در گوگل ایندکس می‌شوند
• صفحات سایت در گوگل ایندکس نمی‌شوند

اگر شما با مشکل اول دست به گریبان هستید یعنی صفحات سایت شما در گوگل ایندکس می‌شوند اما سرعت ایندکس صفحات بسیار پایین است و مدت زمان زیادی طول می‌کشد تا گوگل صفحات جدید سایت شما را ایندکس کند، اما اگر با مشکل دوم مواجه شده‌اید یعنی صفحات سایت شما ایندکس نمی‌شوند، در ادامه‌ی این نوشته با ما همراه باشید.

دلایل ایندکس نشدن صفحات سایت در گوگل

در ابتدا باید بررسی کنیم که وضعیت ایندکس صفحات سایت شما در گوگل به چه شکل است. برای اینکار عبارت site:yoursite.com را در گوگل جستجو کنید (به جای yoursite.com آدرس وب سایت خود را وارد کنید). با جستجوی این عبارت، لیست تمامی صفحات وب سایت شما که توسط گوگل ایندکس شده‌اند را مشاهده می‌کنید.

پس از بررسی وضعیت ایندکس صفحات با یکی از دو حالت زیر مواجه شویم:

• ممکن است هیچکدام از صفحات وب سایت ایندکس نشده باشند
• ممکن است فقط بخشی از صفحات مانند تگ‌ها و یا دسته‌ها ایندکس نشده باشند

اگر تمامی صفحات سایت ایندکس نمی‌شوند:

اگر وب سایت شما قبلا در گوگل ایندکس شده اما پس از گذشت مدتی از فعالیت سایتتان ناگهان تمامی ایندکس‌ها حذف شده و ورودی سایت شما از گوگل به شدت کاهش یافته است، احتمالا با بحرانی به نام پنالتی گوگل (پنالایز) مواجه شده‌اید که پرداختن به این موضوع خارج از بحث این نوشته می‌باشد.

اما اگر مدتی از راه اندازی وب سایت شما گذشته و هنوز هیچکدام از صفحات وب سایتتان ایندکس نشده است، باید دلایل زیر را به ترتیب بررسی کنید:

وجود متاتگ robots با مقدار noindex در هدر سایت

یکی از مهمترین دلایل ایندکس نشدن صفحات در گوگل، وجود عبارت زیر در هدر سایت است:

برای اینکه بدانید این کد در هدر سایت شما وجود دارد یا خیر، با مرورگر کروم یا فایرفاکس وارد وب سایت خود شده و پس از کلیک راست بر روی صفحه، بر روی گزینه‌ی View page source کلیک کنید (یا از کلید ترکیبی ctrl+u استفاده کنید). در صفحه‌ی جدید کدهای وب سایت خود را مشاهده می‌کنید که می‌توانید با جستجوی عبارت robots در این صفحه، مقادیر این متاتگ را بررسی کنید و در صورتی که با عبارت noindex مواجه شدین، باید آن را از طریق ویرایش فایل‌های وب سایت خود و یا ویرایش تنظیمات افزونه‌ی سئو اصلاح کنید.

وجود دستورات اشتباه در فایل robots.txt

فایل robots.txt در ریشه‌ی وب سایت قرار دارد و از طریق آدرس yoursite.com/robots.txt می‌توانید محتویات آن را مشاهده کنید. هرگاه در این فایل دستور Disallow را مشاهده کردین، دقت کنید که برای چه مسیری از آن استفاده شده است زیرا این دستور باعث جلوگیری از دسترسی ربات‌های گوگل به آن مسیر می‌شود. یکی از دلایل ایندکس نشدن صفحات سایت، استفاده‌ی نادرست از دستور Disallow می‌باشد.

قبلا در مطلبی با عنوان آموزش ایجاد فایل robots.txt بهینه و حرفه‌ای به نکات مهمی در خصوص ایجاد این فایل اشاره کرده‌ام که پیشنهاد می‌کنم حتما مطالعه کنید.

تنظیمات اشتباه در فایل htaccess

ممکن است دستوراتی در فایل htaccess وب سایت شما قرار داشته باشد که مانع از ایندکس شدن صفحات سایت در گوگل شود. برای مشاهده‌ی محتویات فایل htaccess می‌توانید از کنترل پنل هاست خود اقدام کنید زیرا معمولا این فایل توسط نرم‌افزارهای مدیریت FTP قابل نمایش نیستند.

با توجه به پیچیدگی دستورات htaccess توصیه می‌کنم از یک متخصص کمک بگیرید زیرا ممکن است با ویرایش این فایل، اشکالاتی در وب سایت شما ایجاد شود.

اگر فقط بخشی از صفحات مانند تگ‌ها و یا دسته‌ها ایندکس نمی‌شود:

در این صورت تمامی موارد بالا را برای آدرس و مسیر مورد نظر بررسی کنید. به عنوان مثال اگر فقط تگ‌های شما ایندکس نمی‌شوند، وارد آدرس یکی از تگ‌های خود شده و با View source گرفتن از صفحه، وجود تگ noindex را بررسی کنید و…

نتیجه گیری

بجز عوامل بالا، عامل دیگری وجود ندارد که به قطعیت باعث جلوگیری از ایندکس صفحات سایت شود اما عواملی مانند وجود نقشه سایت، بهینه سازی ساختار پیوند یکتا، ثبت سایت در سرچ کنسول (Search Console) و… می‌توانند در کندتر یا سریعتر شدن ایندکس صفحات موثر باشند.