علت ایندکس نشدن سایت در گوگل چیست؟

 ایندکس نشدن سایت در گوگل

 

بهتر است که هر روز به سرچ کنسول خود مراجعه کنید و به بررسی ارورهای موجود در گزارش coverage بپردازید. در ادامه نیز اقدام به رفع آنها نمایید. ممکن است در ابتدا همه چیز خوب به نظر برسد و برایتان یکنواخت باشد. اما این کار باعث می شود که ارورهای مهم و تاثیرگذار وب سایت خود را خیلی سریع پیدا کرده و درصدد حل آن ها برآیید(مقاله سرچ کنسول گوگل چیست (Google Search Console)؟ را مطالعه نمایید.

 

ایندکس نشدن سایت به دلیل خطاهای سایت

 

• خطای DNS

ارورهای DNS برای مدیریت یک وب سایت از اهمیت بسیار زیادی برخوردارند و می توانند روی ایندکس نشدن سایت در گوگل نقش مهمی را ایفا کند. DNS مخفف عبارت Domain Name System به معنای سیستم نام دامنه است. خطاهای dns اولین و مهم ترین خطایی هستند که می توان به آن ها اشاره نمود.

داشتن مشکل dns به این معنا است که ربات گوگل به دلیل dns timeout یا مشکل dns lookup نمی تواند به دامنه شما متصل شود. همه دامنه ها به طور قطع توسط یک شرکت ارائه دهنده خدمات هاستیگ میزبانی می شوند. اگر با چنین مشکلی مواجه شدید، باید سریعا برای رفع آن اقدام کنید. چرا که در واقع اولین مرحله دسترسی ربات های گوگل به وب سایتتان همین مرحله است.

• خطاهای سرور (server errors)

 این خطا اغلب به این معنا است که زمان پاسخگویی سرور بیش از اندازه طولانی می شود. به همین دلیل با خطای سرور رو به رو می شوید. ربات های گوگل در هنگام خزیدن در وب سایت می توانند تنها یک بازه زمانی مشخص را برای بارگذاری سایت صبر کنند. اگر زمان بارگذاری بیش از اندازه طولانی شود، ربات گوگل دست از تلاش برای crawl کردن وب سایتتان برمی دارد.(مقاله تاثیر هاست و سرور بر روی  سئو سایت را مطالعه کنید.)

• خرابی robots

در این حالت ربات گوگل نمی تواند فایل robots.txt را بازیابی کند و این امر منجر به ایندکس نشدن سایت می شود. شاید برایتان جالب باشد که بدانید تنها زمانی استفاده از فایل robots.txt ضرورت پیدا می کند که قصد داشته باشید دسترسی گوگل به برخی از صفحات خود را محدود کنید. اگر قصد دارید موتورهای جستجو تمامی اطلاعات موجود در وب سایتتان را ایندکس کند، نیازی به فایل robots.txt ندارید.

 

ایندکس نشدن به دلیل خطاهای URL

 

• خطای 404

 زمانی که ربات های گوگل تلاش می کنند تا صفحه ای که آدرس آن دیگر معتبر نیست را crawl کنند، با ارور 404 مواجه می شوند. حال با توجه به اینکه یک عامل نرم افزاری سبب این اتفاق شده است یا اینکه صفحه مورد نظر دیگر وجود ندارد، می توان این ارور را به دو دسته soft و hard تقسیم کرد.

• خطای hard 404

این خطا یکی از پیچیده ترین و در عین حال ساده ترین اروری است که می توان با آن رو به رو شد. خطای 404 زمانی اهمیت خود را بیشتر نشان می دهد که برای صفحات مهم وب سایت به نمایش گذاشته شود. این خطا زمانی خود را نشان می دهد که صفحه مورد نظر دیگر وجود خارجی نداشته باشد. در نتیجه زمانی که کاربر یا ربات های گوگل وارد آن صفحه می شوند با این ارور مواجه می شوند.

• خطای soft 404

خطای soft 404 زمانی رخ می دهد که اعتبار آدرس یک صفحه به خاطر عاملی نرم افزاری اعتبار خود را از دست بدهد. این عامل می تواند رول هایی که در htaccess تعریف شده اند، افزونه ها یا هر مورد مشابه دیگر باشد. زمانی که یک کاربر با پیغام 404 رو به رو می شود، متوجه این نکته خواهد شد که آن صفحه دیگر وجود ندارد. اما در خطای soft 404 ماجرا کمی متفاوت است.

• خطای Access denied

زمانی با خطای دسترسی رد شد رو به رو می شوید که ربات گوگل به دلیل نداشتن مجوز دسترسی نتواند صفحه وب سایتتان را crawl کند.

• کاربران برای اینکه بتوانند URL سایتتان را مشاهده نمایند، باید ابتدا در سایت ثبت نام کنند. به همین دلیل ربات گوگل نیز نمی تواند به آن دسترسی پیدا کند.
• از طریق فایل robots.txt دسترسی گوگل به یک URL، فولدر یا کل سایت بلاک شده است.
• سرویس ارائه دهنده میزبانی وب، دسترسی ربات گوگل به وب سایتتان را بلاک کرده است یا سرور نیاز دارد که کاربران توسط پروکسی اعتبار خود را تایید کنند.
• و…

مطمئنا زمانی که دسترسی ربات های گوگل به وب سایتتان محدود شده باشد، در زمینه ایندکس شدن محتوا دچار مشکل خواهید شد. به همین دلیل بررسی این موضوع و حل آن امری مهم است.

• خطای Not followed

نباید این خطا را با ارور (nofollow) در بحث لینک دهی اشتباه بگیرید. مورد (not followed) در واقع به این معنا است که گوگل نمی تواند یک URL مشخص را دنبال کند. بیشتر اوقات این خطا به این دلیل پیش می آید که گوگل هنوز با خواندن محتوای Flash، کدهای Javascript و مقوله ریدایرکت شدن مشکل دارد. به همین دلیل اگر صفحات اصلی دچار مشکل not followed شده اند، باید برای رفع آن ها اقدام نمایید.(برای کسب اطلاعات بیشتر مقاله لینک فالو چیست؟ را مطالعه کنید.)