صفحه شما در گوگل ایندکس نشده است. برای حل این مشکل، شما نیاز به بررسی عمیق گزارش indexing و رفع خطاهای not indexed در سرورهای گوگل دارید تا مطمئن شوید تمام زحماتتان به هدر نمیرود.
در مقاله گزارش indexing و رفع خطاهای not indexed به عنوان یک راهنمای عملی و گامبهگام، تمام بخشهای گزارش ایندکس سرچ کنسول را کالبدشکافی میکنیم و به شما یاد میدهیم چطور خطاهای مختلف را مانند یک متخصص سئو برطرف کنید.
چرا گزارش ایندکس گوگل سرچ کنسول تا این حد حیاتی است؟
همهچیز از چشمهای بینای گوگل شروع میشود
پیش از آنکه به سراغ راهحلها برویم، باید بدانید که گوگل چطور کار میکند. فرآیند حضور یک صفحه در نتایج گوگل شامل سه مرحله است: خزش (Crawling)، ایندکس (Indexing) و رتبهبندی (Ranking). اگر صفحهای از سایت شما ایندکس نشود، اساساً برای گوگل وجود ندارد؛ بنابراین رتبهبندی و جذب ترافیک هم غیرممکن خواهد بود.
گزارش Page Indexing در گوگل سرچ کنسول، در واقع کارنامه سلامت فنی سایت شماست. این گزارش به شما میگوید گوگل کدام صفحات را پیدا کرده، کدامها را بدون مشکل آرشیو کرده (Indexed) و کدام صفحات را به دلایل فنی یا محتوایی رد کرده است (Not Indexed). بررسی مداوم این بخش به شما کمک میکند قبل از افت شدید ترافیک، مشکلات زیرساختی سایت خود را شناسایی و حل کنید.
چرا صفحات سایت شما در گوگل دیده نمیشوند؟
پیش از آنکه دست به آچار شوید، نقشه مسیر را یاد بگیرید
وقتی وارد پنل گوگل سرچ کنسول میشوید و از منوی سمت چپ روی گزینه Pages کلیک میکنید، با یک نمودار دو رنگ مواجه میشوید:
- بخش سبز رنگ (Indexed): صفحات بدون مشکل که در نتایج گوگل حضور دارند.
- بخش خاکستری رنگ (Not Indexed): صفحاتی که به هر دلیلی در پایگاه داده گوگل ثبت نشدهاند.
وجود صفحات در بخش خاکستری همیشه به معنای وجود خطا یا آسیب به سایت نیست. به عنوان مثال، طبیعی است که صفحات سبد خرید، پنل کاربری یا صفحات تکراری فیلترها ایندکس نشوند. چالش اصلی زمانی آغاز میشود که صفحات مهم سایت شما مثل صفحات فرود (Landing Pages)، مقالات اصلی یا محصولات پرفروش سر از این بخش درآورند. در ادامه به بررسی عمیق گزارش indexing و رفع خطاهای not indexed در قالب رایجترین پیامهای سرچ کنسول میپردازیم.
کالبدشکافی و رفع خطاهای not indexed در گوگل سرچ کنسول
حل بزرگترین چالشهای فنی سایت به زبان ساده
گوگل برای هر صفحهای که ایندکس نمیکند، دلیل مشخصی ارائه میدهد. در ادامه رایجترین این دلایل را بررسی کرده و راهکار حل هرکدام را در بستر کسبوکارهای ایرانی توضیح میدهیم.
۱. خطای Excluded by ‘noindex’ tag
وقتی خودتان به گوگل میگویید: وارد نشو!
این خطا زمانی رخ میدهد که گوگل در کدهای صفحه شما با تگ noindex مواجه شده است. این تگ به خزندهها دستور میدهد که صفحه را در نتایج جستجو نشان ندهند.
- دلیل رخ دادن در سایتهای ایرانی: بارها دیده شده که برنامهنویسان یا طراحان سایت در ایران، هنگام طراحی نسخه تستی سایت روی دامنه اصلی، گزینه “از موتورهای جستجو درخواست کن تا محتوای این سایت را بررسی نکنند” را در وردپرس فعال میکنند و پس از تحویل پروژه، فراموش میکنند این تیک را بردارند!
نحوه رفع خطا
- اگر از وردپرس استفاده میکنید، به بخش تنظیمات > خواندن بروید و مطمئن شوید تیک گزینه «نمایش به موتورهای جستجو» غیرفعال است.
- اگر خطا مربوط به یک صفحه خاص است، تنظیمات سئوی آن صفحه (در افزونههایی مثل رنکمث یا یوست) را بررسی کنید تا روی حالت Noindex نباشد.
- کدهای سورس صفحه را باز کنید (با کلید Ctrl+U) و عبارت noindex را جستجو کنید. در صورت وجود، آن را از بخشحذف کنید.
۲. خطای Blocked by robots.txtنگهبانی که جلوی ورود خزندهها را میگیرد
این خطا نشان میدهد که قوانین ثبتشده در فایل robots.txt سایت شما، دسترسی گوگلبات (Googlebot) را به آن صفحه مسدود کرده است.
مثال واقعی: فرض کنید یک سایت فروشگاهی در حوزه لوازم خانگی دارید. تصمیم میگیرید بخش نظرات یا صفحات فیلتر محصولات را مسدود کنید، اما به اشتباه کل پوشه محصولات (/product/) را در فایل robots.txt دیسآلو (Disallow) میکنید. نتیجه؟ تمام محصولات شما از نتایج گوگل حذف میشوند!
نحوه رفع خطا
- فایل robots.txt سایت خود را با وارد کردن آدرس yourdomain.com/robots.txt در مرورگر بررسی کنید.
- به دنبال دستوراتی مانند Disallow: /your-important-page/ بگردید.
- قوانین مسدودکننده اشتباه را حذف یا اصلاح کنید و فایل جدید را آپلود نمایید.
۳. خطای Discovered – currently not indexed
شناسایی شده، اما گوگل هنوز وقت نکرده نگاهش کند
این پیام یعنی گوگل آدرس صفحه را پیدا کرده (مثلاً از طریق نقشه سایت یا لینکهای داخلی)، اما هنوز آن را نخریده (Crawl نکرده) و ایندکس نکرده است.
- چرا این اتفاق میافتد؟ این مشکل معمولاً به دو دلیل رخ میدهد: کمبود بودجه خزش (Crawl Budget) یا سرعت بسیار پایین سرور سایت. اگر هاست شما در ساعات شلوغی کند شود، گوگل خزش را متوقف میکند تا به سرور آسیب نزند.
نحوه رفع خطا
- سرعت سایت خود را بهبود ببخشید. هاستهای ارزانقیمت و ضعیف ایرانی معمولاً عامل اصلی این خطا هستند.
- به صفحات مهم خود از صفحات پربازدید سایت لینک داخلی بدهید.
- نقشه سایت (Sitemap) خود را آپدیت کنید.
۴. خطای Crawled – currently not indexed
گوگل صفحه را دید، ولی آن را نپسندید!
این یکی از نگرانکنندهترین خطاهاست. گوگل صفحه شما را خزش کرده، محتوای آن را خوانده، اما تصمیم گرفته است که ارزش ایندکس شدن را ندارد.
- ریشه مشکل در کجاست؟ کیفیت پایین محتوا! اگر محتوای شما کپیبرداری شده از سایتهای دیگر باشد، بسیار کوتاه باشد (Thin Content) یا ارزش افزودهای برای کاربر ایرانی نداشته باشد، گوگل از ذخیره کردن آن خودداری میکند.
نحوه رفع خطا
- محتوا را بازنویسی کنید. اطلاعات منحصربهفرد، تصاویر اختصاصی و جدول به آن اضافه کنید.
- مطمئن شوید که صفحه شما محتوای تکراری (Duplicate Content) با دیگر صفحات سایت خودتان ندارد.
- تجربه کاربری (UX) صفحه را بهبود دهید تا کاربر زمان بیشتری در آن بماند.
۵. خطای Not found (404)
بنبستهای سایت که خزندهها را کلافه میکنند
این خطا زمانی رخ میدهد که گوگل تلاش کرده صفحهای را خزش کند که دیگر وجود ندارد و سرور کد وضعیت 404 را برمیگرداند.
- سناریوی رایج: شما ساختار لینکهای مقالات خود را تغییر دادهاید یا یک محصول ناموجود را بدون هیچ اقدامی پاک کردهاید. گوگل همچنان لینکهای قدیمی را در حافظه دارد و با مراجعه به آنها با خطای ۴۰۴ مواجه میشود.
نحوه رفع خطا
- اگر صفحه حذف شده جایگزینی دارد (مثلاً محصول جدید جایگزین قبلی شده)، آن را با ریدایرکت ۳۰۱ به صفحه جدید منتقل کنید.
- اگر صفحه به طور کامل و بدون جایگزین حذف شده است، بگذارید روی همان حالت ۴۰۴ یا ۴۱۰ باقی بماند تا به مرور از حافظه گوگل پاک شود.
- لینکهای داخلی شکسته که به این صفحه اشاره میکنند را اصلاح کنید.
۶. خطای Soft 404
صفحاتی که ادای زنده بودن را در میآورند!
خطای سافت ۴۰۴ زمانی رخ میدهد که یک صفحه خالی است یا پیغامی مثل “محصول یافت نشد” را نشان میدهد، اما به جای ارسال کد وضعیت ۴۰۴ به مرورگر و گوگل، کد وضعیت ۲۰۰ (به معنی بدون مشکل) را ارسال میکند. این کار گوگل را گمراه میکند.
نحوه رفع خطا
- اگر صفحه واقعاً خالی است، مطمئن شوید سرور شما کد وضعیت صحیح ۴۰۴ را ارسال میکند.
- اگر صفحه نباید خالی باشد (مثلاً دستهبندی محصولی است که فعلاً محصولی در آن نیست)، حداقل چند خط توضیح یا محصولات مشابه را به آن اضافه کنید تا از حالت خالی بودن خارج شود.
تاثیر هاستهای ایرانی و مشکلات شبکه بر روند ایندکس صفحات
چالشهای پنهان زیرساخت که سئوکاران کمتر به آن توجه میکنند
یکی از چالشهای بزرگ کسبوکارهای اینترنتی در ایران، نوسانات اینترنت و کیفیت سرورهای میزبان است. وقتی خزندههای گوگل که سرورهایشان در خارج از کشور قرار دارد، تلاش میکنند سایت شما را بررسی کنند، ممکن است با اختلالات شبکه مواجه شوند.
استفاده از ابزارهای چک کردن رتبه در لوکیشن های مختلف (SerpRobot)
اگر هاست شما در پاسخگویی به درخواستهای گوگلبات تاخیر داشته باشد، در گزارش سرچ کنسول با خطاهای Server error (5xx) یا Crawl anomaly مواجه میشوید. برای به حداقل رساندن این مشکلات:
- از هاستهای معتبر با آپتایم بالا (ترجیحاً دارای کلودفلور یا شبکههای توزیع محتوای داخلی مانند آروان کلود) استفاده کنید.
- حجم تصاویر سایت را بهینهسازی کنید تا سرعت لود صفحه برای خزندهها افزایش یابد.
- دیتابیس سایت خود را به طور مرتب بهینهسازی کنید تا کوئریها با سرعت بیشتری اجرا شوند.
جدول خلاصه: راهنمای سریع رفع خطاهای رایج Not Indexed
┌──────────────────────────────────────┬─────────────────────────────┬──────────────────────────────────────────┐
│ نوع خطا │ علت اصلی │ راهکار سریع │
├──────────────────────────────────────┼─────────────────────────────┼──────────────────────────────────────────┤
│ Excluded by ‘noindex’ tag │ وجود تگ مخفی عدم ایندکس │ اصلاح تنظیمات افزونه سئو یا کدهای هدر │
├──────────────────────────────────────┼─────────────────────────────┼──────────────────────────────────────────┤
│ Blocked by robots.txt │ دستور مسدودسازی در فایل متنی│ ویرایش فایل robots.txt و حذف Disallow │
├──────────────────────────────────────┼─────────────────────────────┼──────────────────────────────────────────┤
│ Discovered – currently not indexed │ سرعت پایین سرور یا کمبود بودجه│ بهبود سرعت سایت و افزایش لینکهای داخلی │
├──────────────────────────────────────┼─────────────────────────────┼──────────────────────────────────────────┤
│ Crawled – currently not indexed │ بی کیفیت بودن یا تکراری بودن│ بازنویسی محتوا و ارائه ارزش واقعی به کاربر│
├──────────────────────────────────────┼─────────────────────────────┼──────────────────────────────────────────┤
│ Soft 404 │ صفحه خالی با کد وضعیت اشتباه│ تصحیح کد وضعیت سرور یا پر کردن صفحه │
└──────────────────────────────────────┴─────────────────────────────┴──────────────────────────────────────────┘
گام نهایی؛ نحوه ثبت درخواست بررسی مجدد (Validate Fix)
به گوگل اعلام کنید که خانهتکانی تمام شده است
پس از اینکه با استفاده از روشهای بالا خطاهای سایت خود را برطرف کردید، نباید دست روی دست بگذارید تا گوگل خودش متوجه تغییرات شود. شما باید از گوگل بخواهید صفحات اصلاحشده را مجدداً بررسی کند.
- وارد بخش Pages در سرچ کنسول شوید.
- روی خطای اصلاحشده (مثلاً Blocked by robots.txt) کلیک کنید.
- دکمه خاکستری رنگ Validate Fix را بزنید.
- گوگل فرآیند بررسی مجدد را آغاز میکند. این فرآیند ممکن است از چند روز تا چند هفته طول بکشد. وضعیت پیشرفت را میتوانید از طریق همین بخش رصد کنید.
راهنمای اصطلاحات تخصصی (Glossary)
- Googlebot (گوگلبات): نرمافزار و ربات خزنده گوگل که وظیفه گشتوگذار در وب و جمعآوری اطلاعات صفحات را بر عهده دارد. مثال فارسی: مانند بازرس سلامتی است که به تمام مغازههای یک شهر سر میزند تا وضعیت آنها را گزارش کند.
- Sitemap (نقشه سایت): یک فایل XML شامل لیست تمام صفحات مهم سایت که به موتورهای جستجو کمک میکند ساختار سایت را بهتر درک کنند. مثال فارسی: مثل کاتالوگ یا نقشه راهنمای یک مجتمع تجاری بزرگ است که در ورودی آن نصب شده است.
- Canonical Tag (تگ کانونی): کدی که به گوگل میگوید از بین چند صفحه مشابه یا تکراری، کدام صفحه نسخه اصلی است و باید ایندکس شود. مثال فارسی: وقتی یک محصول با دو رنگ مختلف دو آدرس مجزا دارد، با این تیک مشخص میکنیم که صفحه رنگ اصلی باید در گوگل رتبه بگیرد.
- Redirect 301 (ریدایرکت ۳۰۱): انتقال دائمی یک آدرس وب به آدرس دیگر. مثال فارسی: مثل این است که مغازه خود را جابهجا کنید و روی شیشه مغازه قدیمی بنویسید: «به آدرس جدید مراجعه کنید».
- Crawl Budget (بودجه خزش): تعداد صفحاتی که گوگلبات در یک بازه زمانی مشخص تصمیم میگیرد در سایت شما خزش کند. مثال فارسی: مقدار زمانی که یک خریدار حاضر است در مغازه شما برای پیدا کردن جنس مورد نظرش وقت بگذارد.
اگر با بررسی سرچ کنسول خود متوجه انبوهی از خطاهای قرمز و خاکستری شدهاید و احساس میکنید رفع این خطاها فراتر از توان فنی شماست، نگران نباشید. ما در شرکت دیجیتال مارکتینگ چکاوک شهر با بهرهگیری از متخصصان ارشد سئو فنی، سایت شما را به طور کامل آنالیز کرده و تمامی خطاهای ایندکس را در سریعترین زمان ممکن برطرف میکنیم تا جاده ورود مشتریان از گوگل به سایت شما کاملاً هموار شود.
برای دریافت مشاوره اختصاصی و تحلیل رایگان وضعیت ایندکس سایت خود، همین حالا با کارشناسان چکاوک شهر تماس بگیرید!
برای ثبت دیدگاه باید وارد حساب کاربری خود شوید.
ورود / ثبتنامهنوز دیدگاهی برای این مطلب ثبت نشده است.