آموزش کامل رفع مشکل بودجه خزش سئو در وردپرس

در یک بررسی کامل متوجه شدیم که بسیاری از مخاطبین وردپرسی از عدم دیده شدن در موتور جستجو شکایت دارند. در صورتی که بصورت کامل و استاندارد مشغول فعالیت هستند اما این معضل برایشان وجود داشته و به اصطلاح خزشی توسط گوگل در سایتشان انجام نمی‌شود. در واقع خزش موتور جستجو به تعداد دفعاتی می‌گویند که موتورهای جستجو صفحات را در وبسایت شما مورد بررسی قرار می‌دهد. زمانی که این خزش کم شده یا اصلا اتفاق نیفتد با مشکل جدی ایندکس نشدن صفحات و مطالب یا مشکل بودجه خزش سئو در وردپرس مواجه خواهیم شد. همین امر موجب آسیب رسیدن به وبسایت و افت رتبه می‌شود. امروز اینجاییم تا این معضل را بررسی کرده و با هم به حل آن بپردازیم.

مشکل بودجه خزش سئو در وردپرس

در واقع در مقاله امروز قصد داریم درباره دلایل ایندکس نشدن سایت (مشکل بودجه خزش سئو در وردپرس) و عدم بررسی موتور جستجو داخل آن صحبت کرده و در نهایت راهکارهایی را بصورت اصولی خدمت شما تقدیم کنیم تا مشکلات خود در این حوزه را بطور کامل برطرف کنید.

خزش موتور جستجو چگونه انجام می شود؟

موتور جستجویی مانند گوگل از یک ربات قوی برای خزیدن داخل سایت‌ها استفاده می‌کند. چنانچه شما محتوای جدیدی تولید کنید، تغییراتی ایجاد کنید یا محتواهای قدیمی خود را بروز کنید باید منتظر بررسی توسط موتور جستجو و ایندکس شدن محتوای خود باشید. این عملیات را می‌توانید بصورت تصویری ببینید:

آن‌ها تمامی لینک‌ها را در صفحه موردنظر بررسی می‌کنند و این فرآیند برای تمامی صفحات وبسایت انجام‌ می‌شود. روشی که ربات‌ها از یک پیوند به پیوند دیگر در یک صفحه حرکت می‌کنند، شبیه نحوه خزیدن عنکبوت‌های واقعی در تارهایشان است. به همین دلیل است که از اصطلاح خزیدن برای توصیف این فعالیت استفاده می‌شود و گاهی اوقات ممکن است با ربات‌هایی مواجه شوید که به عنوان عنکبوت موتورهای جستجو شناخته می‌شوند.
برای داشتن سئوی استاندارد، باید مطمئن شوید که موتورهای جستجو می‌توانند وبسایت شما را به راحتی و بطور کامل بررسی کنند.

سئوی بودجه خزش یا SEO crawl budget چیست؟

SEO crawl budget در واقع به تعداد دفعاتی که موتور جستجویی مانند گوگل در صفحات وبسایت شما خزش می‌کند، گویند. به زبان ساده‌تر دفعاتی که سایت شما توسط موتور جستجو مورد بررسی و نظارت قرار می‌گیرد را سئوی بودجه خزش می‌گویند.
ربات‌های گوگل هر روز میلیاردها صفحه را مورد بررسی قرار می‌دهند. آنها تعداد صفحات در هر دامنه وبسایت را محاسبه کرده تا از منابع به طور موثر استفاده کنند. این عدد به طور خودکار توسط الگوریتم‌های خزنده براساس عوامل متعدد تعیین می‌شود.

این محاسبات روزانه در نوسان است، به این معنی که تعداد صفحات ثابتی برای ربات گوگل در وبسایت وردپرسی شما وجود ندارد. به طور کلی، وبسایت‌های بزرگتر با محتوای بیشتر دارای بودجه خزیدن بالاتر و وبسایت‌های کوچکتر بودجه کمتری دارند.
عوامل دیگری نیز بر SEO crawl budget تأثیر می‌گذارند، مانند محبوبیت URL، بروز بودن سایت از هر جهت، محتوای استاندارد و موارد دیگر.

با این حال، به دلایل متعدد، ممکن است SEO crawl budget را در صفحات بطور ناخواسته از دست بدهید. به عنوان مثال، اگر وبسایت شما به درستی بهینه سازی نشده باشد، موتورهای جستجو بودجه خزش را صرف بخش‌های کم اهمیت وبسایت می‌کنند و همین امر سبب بروز مشکل بودجه خزش سئو در وردپرس می‌شود.

چه چیزی باعث بروز مشکلات در بودجه خزش سئو در وردپرس می شود؟

در روشی که وردپرس URLها و محتوای تکراری تولید می‌کند، می‌تواند باعث مشکلات crawl budget شود. به عنوان مثال، وردپرس به طور خودکار فیدهای RSS را برای مناطق مختلف وبسایت شما تولید می‌کند. فیدهای RSS برای وبلاگ اصلی، دسته‌ها و برچسب‌ها، نظرات در مورد هر پست و صفحه بصورت جداگانه وجود دارد و حتی انواع پست سفارشی دارای URLهای فید RSS بطور جداگانه هستند.

پیوندهای این فیدهای RSS به کد منبع HTML وبسایت شما اضافه شده که باعث می‌شود موتورهای جستجو آنها را شناسایی کنند. اکنون، موتورهای جستجو به اندازه کافی هوشمند هستند که محتوای تکراری را تشخیص دهند و آن را نادیده بگیرند. با این حال، همچنان آنها را خزیده و بودجه خزش سئوی شما را خرج این موارد می‌کنند.
جدای از آن، موتورهای جستجو اقلامات کم اهمیت را خیلی بیشتر از آنچه لازم است درنظر گرفته و مورد بررسی قرار می‌دهند. این اقداماتی که می‌گوییم شامل آرشیوها، دسته‌بندی‌ها، نویسندگان، فایل‌های PDF و موارد دیگر می‌شود.

افزونه‌های وردپرسی یا سایر ابزارها نیز می‌توانند پارامترهای کوئری را به URLهای وردپرس شما اضافه کنند. خزنده‌های گوگل ممکن است این کوئری‌ها را یک صفحه متفاوت در نظر بگیرند و آنها را مورد بررسی و خزش قرار دهند. به عنوان مثال، پارامترهای UTM برای ردیابی Google Analytics استفاده می‌شوند و صفحه‌ای با یا بدون این پارامترهای کوئری همچنان برای خزنده‌ها یکسان به نظر می‌رسد.

به عنوان مثال آدرس زیر را درنظر بگیرید:

https://yourdomain.com/landingpage/?utm_source=newsletter

چنین آدرسی باعث هدر رفتن بودجه خزش سئو برای موارد کم اهمیت شده و تبدیل به یک مشکل می‌شود.

چگونه می توان بودجه خزش سئو را محاسبه کرد؟

بودجه خزش یا SEO crawl budget تعداد صفحات مشخصی نیست. نوسانات زیادی دارد و هیچ روش قابل اعتمادی برای پیش‌بینی تعداد صفحاتی که گوگل در هر روز در وب‌سایت شما بررسی می‌کند، وجود ندارد. با این حال، می‌توانید براساس فعالیت‌های اخیر موتور جستجو، ایده بسیار مناسبی برای تخمین این خزش در وبسایت خود داشته باشید.

اگر این کار را تا به حال انجام نداده‌اید، ابتدا باید وبسایت خود را به کنسول جستجوی گوگل متصل کنید. کنسول گوگل یک ابزار رایگان است که توسط Google ارائه شده تا به صاحبان وبسایت‌ها کمک کند تا از عملکرد وبسایت خود در موتور جستجوی Google مطلع شوند. همچنین مشکل بودجه خزش سئو در وردپرس را نیز بررسی کنند.

پس از اتصال به کنسول گوگل؛ به سادگی به داشبورد کنسول جستجوی خود بروید. از ستون سمت چپ به منوی «settings» رفته و سپس روی «Open Report» از بخش «Crawling» کلیک کنید.

در این بخش می‌توانید گزارشات مربوط به Crawl stats را مشاهده کنید.

می‌توانید موس خود را روی نمودار ببرید تا ببینید هر روز چند صفحه برای خزش و بررسی درخواست شده است.

این مشاهدات به شما کمک می‌کند تا میانگین نرخ خزیدن در سایت را متوجه شوید. در زیر آن، می‌توانید تفکیک فرآیند خزیدن را براساس یک سری فیلترها ببینید:

از اینجا، می‌توان دید که چقدر بودجه خزیدن برای خطاها، پیوند (فیدهای RSS)، جاوا اسکریپت، CSS، تصاویر و موارد دیگر صرف می‌شود. این به شما یک گزارش فوری از مواردی می‌دهد که می‌توانید برای استفاده موثرتر از این بودجه و رفع مشکل بودجه خزش سئو در وردپرس درنظر بگیرید.
به عنوان مثال، اگر تعداد زیادی خطای 404 دارید و این صفحات در حال بررسی هستند، می‌توانید از یک افزونه تغییر مسیر مانند Redirect301 استفاده کنید تا اطمینان حاصل شود که این خزنده‌ها روی محتوای مفید قرار می‌گیرند.

چرا باید از crawl budget خود مراقبت کنیم؟

موتورهای جستجو باید وبسایت شما را به طور موثر بررسی کنند تا بتوانند محتوا را به موقع فهرست بندی کنند. با این حال، اگر بودجه خزش سئوی سایت هدر رود، ممکن است محتوای مهم و جدید شما به موقع بررسی نشود. حتی ممکن است هفته‌ها طول بکشد تا موتورهای جستجو متوجه بروزرسانی مقالات قدیمی شوند یا محتوای جدید شما را کشف کنند.
دریافت ترافیک از موتورهای جستجو را از دست خواهید داد، ممکن است رتبه و جایگاه افت کرده و درنهایت در فروش خود ضرر خواهید کرد.

چگونه بودجه خزش سئو یا SEO crawl budget را بهینه کنیم؟

بهترین راه برای رفع مشکل بودجه خزش سئو در وردپرس استفاده از افزونه‌های موثر و حرفه‌ای سئوی وردپرس است. افزونه‌هایی همچون Yoast seo یا All in one Seo که دارای تنظیمات خوبی بوده و جهت دهی خوبی برای موتورهای جستجو و خزش آن‌ها هستند. این افزونه‌ها نه تنها تنظیمات مشخصی برای موتورهای جستجو دارند بلکه عملیات ریدایرکت را می‌توان با کمک آن‌ها انجام داد تا دیگر صفحات بی مورد توسط گوگل خزش نشود. همچنین شما در صفحه محتوا با کمک آن‌ها می‌توانید بهینه سازی را بطور کامل انجام دهید.

با مواردی که در این مقاله گفته شد، قطعا می‌توانید خزیدن موتورهای جستجو در سایت خود را کنترل کرده و به درستی هدایت کنید تا این خزش به سمت موارد پر اهمیت رفته و درنهایت موجب دیده شدن شما در موتورهای جستجو و دریافت امتیاز و جایگاه درستی شود. فقط یادتان باشد تنها نصب این افزونه‌های سئو و موارد مهمی که گفتیم کافی نیست، بلکه باید کار با آن‌ها را به درستی بلد باشید تا مرتکب خسارت نشوید.