علت و رفع خطای Crawled - currently not indexed

ربات‌های گوگل با موفقیت آدرس‌های صفحات مورد نظر از وب‌سایت شما را کراول کرده‌اند، اما به دلایلی، این صفحات تاکنون در نتایج جستجوی گوگل ایندکس نشده‌اند.

علت بروز خطا در گوگل سرچ کنسول

این موارد ممکن است به دلایل زیر رخ دهند:

کیفیت پایین محتوا

گوگل ممکن است تصمیم بگیرد صفحاتی با محتوای کم‌کیفیت، تکراری یا کم‌محتوا را ایندکس نکند.

به ترجمهٔ دقیق‌تر از مستندات گوگل “کیفیت پایین محتوا”، اشاره شده است. زمانی که صفحات وب سایت شما دارای محتوای کم‌کیفیت، تکراری یا کم‌محتوا هستند، گوگل ممکن است تصمیم بگیرد آن صفحات را در نتایج جستجوی خود ایندکس نکند. به عنوان مثال، صفحاتی که محتوای بی‌اهمیت، تکراری از سایر صفحات یا محتوای کمتر از حد مورد انتظار دارند، ممکن است به عنوان محتوای کم‌کیفیت در نظر گرفته شوند و ایندکس نشوند.

برای رفع این مشکل، می‌توانید به بهبود و ارتقاء محتوای صفحات مورد نظر بپردازید تا گوگل تشویق به ایندکس‌کردن آنها شود و آنها در نتایج جستجوی گوگل ظاهر شوند.

مشکلات فنی

صفحاتی با مشکلات فنی مانند خطاهای سرور، لینک‌های شکسته یا زمان بارگیری طولانی ممکن است ایندکس نشوند.

به مشکلات فنی یا تکنیکالی اشاره دارد که معمولا با مشکلات فنی و برنامه نویسی مرتبط است، ممکن است باعث عدم ایندکس شدن صفحات توسط موتورهای جستجو شود. این مشکلات می‌توانند شامل خطاهای سرور، لینک‌های شکسته یا زمان بارگیری طولانی صفحات باشند.

به عنوان مثال، اگر صفحه‌ای به درستی لود نشود و یا به خطا مواجه شود، موتورهای جستجو نمی‌توانند آن را ایندکس کنند. همچنین، وجود لینک‌های شکسته که به صفحه‌های ناپیدا یا ناموجود اشاره دارند، موجب مشکلات فنی می‌شود و موتورهای جستجو نمی‌توانند به درستی به آنها دسترسی پیدا کنند.

برای حل این مشکلات، باید به بررسی مجدد ساختار وب‌سایت، ارتباط با سرور هاست برای رفع خطاهای سرور، و بررسی لینک‌ها و اطمینان از اینکه همه آنها به صفحات موجود و قابل دسترسی منجر می‌شوند، پرداخته شود. این اقدامات به گوگل کمک می‌کنند تا به درستی به صفحات شما دسترسی پیدا کند و آنها را ایندکس کند.

تگ‌های noindex

صفحاتی که دارای متا تگ ربات یا هدر HTTP با مقدار “noindex” باشند توسط موتورهای جستجو ایندکس نمی‌شوند.

تگ‌های noindex در متا تگ‌ها یا هدرهای HTTP استفاده می‌شوند تا به موتورهای جستجو اطلاع دهند که صفحه مورد نظر برای ایندکس‌کردن مناسب نیست. به عبارت دیگر، با اضافه کردن تگ noindex به صفحه، شما به موتورهای جستجو خودتان اجازه نمی‌دهید آن را در نتایج جستجو نمایش دهند.

اگر صفحه‌هایی با تگ noindex تولید شده باشند و شما انتظار دارید که در نتایج جستجو نمایش داده نشوند، این امر معمولی است. اما اگر تگ noindex به طور ناخواسته یا اشتباه اضافه شده باشد، صفحه ممکن است ایندکس نشده و از نظر SEO آسیب ببیند.

برای رفع این مشکل، باید تمامی صفحات را مورد بررسی قرار داده و اطمینان حاصل کرد که تگ noindex به صورت صحیح اعمال شده است. در صورتی که تگ noindex به صورت نادرست اعمال شده باشد، باید آن را اصلاح کرده و سپس درخواست ایندکس‌کردن صفحه را از طریق کنسول جستجوی گوگل ارسال کنید تا گوگل بتواند صفحه را مجدداً ایندکس کند.

کانونی‌سازی (Canonicalized)

اگر صفحات به آدرس صفحه دیگری کانونی‌سازی شوند، گوگل ممکن است تصمیم بگیرد محتوای تکراری را ایندکس نکند.

کانونی‌سازی به معنی ارجاع یک صفحه به یک صفحه دیگر به عنوان منبع اصلی محتواست. وقتی یک صفحه به یک صفحه دیگر با تگ canonical اشاره می‌شود، به موتورهای جستجو اطلاع داده می‌شود که صفحه‌ی کانونی‌سازی شده باید به عنوان منبع اصلی محتوا در نظر گرفته شود و نباید صفحه‌های دیگری از آن محتوا را ایندکس کنند.

اگر یک صفحه به عنوان کانونیکال به یک صفحه دیگر ارجاع داده شود، گوگل ممکن است تصمیم بگیرد که صفحه‌ای که کانونی‌سازی شده است را ایندکس کند و صفحه‌های دیگر را ایندکس نکند، به شرطی که منابع محتوایی که به آن اشاره دارند از منبع اصلی محتوا باشند. اما اگر کانونی‌سازی به طور ناخواسته انجام شود یا به صورت نادرستی، ممکن است این اقدام منجر به مشکلات در نمایش صفحات در نتایج جستجو شود.

برای رفع مشکلات استفاده نادرست از تگ canonical، باید اطمینان حاصل کرد که صفحات به صورت صحیح کانونیکال شده‌اند و ارجاع‌ها به صورت درستی به منابع اصلی محتوا صورت گرفته باشند. در صورتی که کانونی‌سازی به طور نادرست انجام شده باشد، باید آن را اصلاح کرده و سپس درخواست ایندکس‌کردن صفحات را ارسال کنید تا گوگل بتواند مجدداً به درستی به صفحات دسترسی پیدا کرده و آنها را ایندکس کند.

محتوای جدید یا با اولویت پایین

گوگل ممکن است اولویت ایندکس‌کردن صفحاتی را که مرتبط‌تر یا محبوب‌تر هستند نسبت به صفحات جدید یا با اولویت پایین داشته باشد.

ربات های گوگل ممکن است اولویت بیشتری را برای ایندکس‌کردن صفحاتی که محتوای جدید دارند یا از اهمیت بیشتری برخوردارند، قائل شود. این به این معناست که صفحات جدید، محتوای با ارزش یا صفحاتی که بیشترین ترافیک را جذب می‌کنند، اغلب اولویت بیشتری در ایندکس شدن دارند. به عنوان مثال، صفحاتی که با استفاده از کلمات کلیدی پرجستجو سئو شده‌اند و محتوای جدید و خواندنی دارند، ممکن است به سرعت توسط گوگل ایندکس شوند.

از طرف دیگر، صفحات با اولویت پایین‌تری که ممکن است محتوای کمتری داشته باشند یا به دلایل دیگری اهمیت کمتری دارند، ممکن است به طور معمول توسط گوگل ایندکس نشوند یا اینکه فرآیند ایندکس‌شدن آنها به زمان بیشتری نیاز داشته باشد.

برای اینکه گوگل به سرعت صفحات جدید یا صفحات با اولویت پایین شما را ایندکس کند، می‌توانید از روش‌هایی مانند ایجاد لینک‌های داخلی به آنها، بهبود سئو صفحات، ارسال نقشه سایت (sitemap) و روش های دیگر استفاده کنید. این اقدامات می‌توانند به تسریع فرآیند ایندکس‌کردن صفحات و افزایش نمایش آنها در نتایج جستجو کمک کنند.

بررسی مشکل و رفع خطا

برای رفع این مشکل، شما باید دلایل عدم ایندکس شدن این صفحات را بررسی کرده و تشخیص دهید مشکل این صفحه کدام یک از موارد گفته شده رت دارد و اقدامات لازم را انجام دهید.

این موارد شامل بهبود کیفیت محتوا، رفع مشکلات فنی، حذف تگ‌های noindex در صورت نیاز، اطمینان از کانونی‌سازی صحیح و تنظیم مجدد دستورالعمل‌های robots.txt می‌شود.

بعد از رفع مشکلات، می‌توانید درخواست ایندکس‌کردن صفحات مورد نیاز را از طریق کنسول جستجوی گوگل ارسال کنید.