ملیکا رادمهر
موتور های جستجو به منظور مرور ، ایندکس کردن و رتبه بندی صدها میلیون صفحه وب در اینترنت، از ربات های ویژه ای به نام خزنده یا کراولر استفاده می کنند که به عنکبوت های وب معروف هستند (زیرا مانند عنکبوت می خزند).
این خزنده ها اینترنت را جستجو می کنند و صفحات وب جدیدی را برای ارزیابی و فهرست بندی ایندکس می کنند. آنها از لینک به لینک، URL به URL می روند و داده ها را به سرورهای مرکزی موتور جستجو بازمی گردانند تا بتوانند در پایگاه داده گوگل ادغام شوند. اساساً، آنها خط مقدم اینترنت هستند که با شناسایی داده های جدید و طبقه بندی آن ها، دامنه اینترنت را گسترش می دهند.
حال که می دانید crawler چیست به Crawlability می پردازیم. کراول پذیری یا قابلیت خزش به سهولت پردازش یا خزیدن اطلاعات در وب سایت برای موتور جستجو اشاره دارد.
یک وب سایت که قابلیت خزش دارد
موتورهای جستجو این ویژگی ها را دوست دارند زیرا باعث پیمایش سایت می شوند. در نتیجه ، موتور جستجو برای ایندکس کردن وب سایت زمان کمتری نیاز دارد.
در طرف مقابل ،یک وب سایت که قابلیت خزش زیادی ندارد
اینها ویژگی های خوبی برای صفحات وب نیستند زیرا مسیر یابی و رتبه بندی را برای موتورهای جستجو و خزنده های وب پیچیده تر می کنند.
1. موتورهای جستجو
موتورهای جستجو و برخی از سایت‌ها دارای خزنده‌ها و یا روبات‌هایی هستند که برای گردآوری اطلاعات وب سایت‌ها و نیز بروز نگه داشتن اطلاعات مورد استفاده قرار می‌گیرند. مهم‌ترین کار بعد از گردآوری اطلاعات، ایندکس کردن آنها برای پردازش سریع هنگام جستجو است. این خزنده‌ها معمولا در بازه‌های زمانی منظمی اطلاعات را بروز کرده و با نسخه‌های قبلی مقایسه می‌کنند.
2. مدیریت فنی وب سایت
مدیریت فنی وب سایت بخشی از کار این خزنده‌هاست که شامل یافتن لینکهای شکسته(Broken Link) ، اعتبار سنجی (Validation) کدهای HTML، فایل‌های CSS و … می‌باشد.
3. جمع آوری اطلاعات خاص
کاربرد دیگر خزنده‌های وب جمع آوری اطلاعات خاصی مانند آدرس‌های ایمیل است. معمولا هدف از اینکار ارسال هرزنامه (spam) می‌باشد. برای جلوگیری از ثبت آدرس ایمیل توسط این خزنده‌ها، می‌توانید آدرس ایمیل خود را به صورت saeidREMOVEME AT جیمیل و یا موارد مشابه دیگر بنویسید.
به صورت عمومی نحوه کار Web crawler ها به این صورت است که ابتدا لیستی از URL ها (آدرس های وب) که به عنوان seed شناخته می‌شوند را برای بازدید پردازش می‌کنند. هنگام پردازش این آدرس‌ها، لیست لینک‌ها و آدرس‌های موجود در صفحات آنها را گردآوری کرده و به لیست ابتدایی اضافه می‌کنند. بقیه اطلاعات را نیز با توجه به نیاز و هدف خود ذخیره و پردازش می‌نمایند.
ساختار سایت شما یک عنصر اساسی در تعیین قابلیت خزش است. با یک نقشه ی سایت XML و HTML که به خوبی سازماندهی شده است ، خزنده وب قادر خواهد بود وب سایت شما را جستجو کند و اطلاعات مورد نیاز برای فهرست بندی شما را پیدا کند. از طرف دیگر ، یک نقشه سایت ضعیف ، کار را برای خزنده سخت می کند.
درست مثل انسان ها ، خزنده ها نمی خواهند تا ابد صبر کنند تا یک صفحه وب بارگذاری شود. آنها فقط مقدار “زمان خزیدن” یا بودجه خزش محدودی دارند که می توانند قبل از انتقال به صفحه دیگر ، آن را در یک صفحه صرف کنند. با سرعت بارگذاری کمتر ، وب سایت شما بودجه خزش کمتری برای کار دارد.
یک لینک داخلی یک پیوند بین دو صفحه از محتوای سایت شما است.
(به عنوان مثال ، در اینجا یک لینک داخلی به صفحه اصلی ما وجود دارد.)
خزنده های وب به دو دلیل لینک های داخلی را دوست دارند. در ابتدا ، لینک های داخلی به خزنده کمک می کنند تا صفحات بیشتری را در سایت شما پیدا کنند و به “بودجه خزش” شما کمک کند. دوم ، اگر پیوند شما شامل یک کلمه کلیدی باشد ، این کلمه کلیدی به خزنده کمک می کند تا بفهمد صفحه بعدی راجع به چه چیزی باشد ، خزیدن بیشتر محتوای شما را برای آن آسان تر می کند.
سایت ها باید از یک طرح منظم و سازمان یافته استفاده کنند. با پیاده سازی نقشه های سایت XML و HTML ، مرور وب سایت های خود را برای crawler های وب آسان کنید.
برای به حداکثر رساندن ارزش پیوندهای داخلی از یک استراتژی کامل لسنک داخلی استفاده کنید. علاوه بر این، همچنین باید احتمال خطاهای 404 را که باعث ایجاد خسارت در قابلیت خزیدن سایت شما می شود ، کاهش دهید.
به قالب های سازگار با موبایل که زمان بارگذاری بهینه شده را نشان می دهند، پایبند بمانید. با این کار ، وب سایت های خود را ساده و پر سرعت می سازید و به خزنده ها اجازه می دهید تا آن ها را در حداقل زمان اسکن کنند.
خزنده ها دوست دارند محتوای جدید و تازه را در یک وب سایت مشاهده کنند. با دادن چیز جدید به آنها ، کراولر ها را به وب سایت های خود باز گردانید. در این روند می بینید که رتبه بندی موتور جستجو به طور مداوم تازه می شود و بهبود می یابد.
به طور کلی ، هنگامی که ما در مورد سئو صحبت می کنیم ، در مورد بهبود تجربه کاربر صحبت می کنیم. ما به دنبال راه هایی برای بهینه سازی وب سایت هستیم تا خواندن ، پیمایش و درک آن برای انسان راحت تر باشد.
با این وجود قابلیت خزش نوعی سئو فنی است. ما به دنبال بهبود تجربه کاربر نیستیم. ما به دنبال بهبود تجربه خزنده وب هستیم. ما می خواهیم دسترسی به ربات های گوگل را برای دسترسی به اطلاعات ذخیره شده در سایت شما آسان کنیم.
چرا مهم است؟
نداشتن قابلیت خزش به رتبه بندی موتور جستجوگر شما آسیب می رساند. گوگل نمی خواهد برای ایندکس کردن سایت شما خود را در زحمت بیندازد. آنها می خواهند داده های سایت شما برای خوانندگان و خزنده ها و ربات هایشان واضح ، قابل خواندن و در دسترس باشد. اگر گوگل در پردازش وب سایت شما مشکل داشته باشد، جریمه و مجازات خواهید شد.
ربات های خزنده دارای چیزی هستند که بودجه خزش یا Crawl Budget نامیده می شود: حد بالایی برای میزان زمان و منابعی که می توانند در هر وب سایت صرف کنند. اگر خزنده تمام وقت خود را به مرور سایت شما اختصاص داده است به جای اینکه در واقع محتوا را پیمایش کند، این بر رتبه بندی آنلاین شما تأثیر می گذارد. در بدترین حالت، حتی ممکن است از نمایه سازی سایت شما جلوگیری کند و شما را از نمایش در نتایج جستجوی گوگل منع کند.
حتی مشکلات جزئی ، مانند لینکهای مرده و خطاهای 404 ، می تواند Crawl Budget شما را محدود کند و بر نتایج رتبه بندی شما تأثیر بگذارد. در نهایت ، مهم است که وب سایت خود را تا آنجا که ممکن است خزش پذیر باشد. قابلیت خزش بیشتر ، دید بالاتری داشته باشد.
1400 © حق نشر برای میرسافت محفوظ است
نظر خود را بگذارید