بهینه سازی فایل وردپرس robot.txt

وردپرس robot.txt

سلام  دوستان عزیز؛
بهینه سازی بعضی از فایل های وردپرس نقش مهمی در سئو وبسایت دارد.
در این مقاله روش بهینه سازی فایل وردپرس robot.txt را به شما یاد می دهیم. همچنین سعی داریم اهمیت این فایل را برای شما مشخص کنیم!!وردپرس robot.txt نقش مهمی در عملکرد کلی سئو وبسایت دارد. فایل وردپرس robot.txt با موتورهای جستجو ارتباط برقرار می کند. همچنین برای موتورهای جستجو مشخص می کند که چه بخش هایی از سایت را ایندکس کنند.

بهینه سازی فایل وردپرس robot.txt

شما برای معرفی نقشه XML سایت به موتورهای جستجو، می توانید از فایل وردپرس robot.txt استفاده کنید. زیرا این فایل دقیقا فایلی است که موتورهای جستجو در آن به دنبال نقشه xml سایت می گردند. مگر اینکه شما آن را در Google Webmaster Tools مشخص کرده باشید!
پس از اینکه اهمیت وردپرس robot.txt را دریافتید. در ادامه به ایجاد و بهینه سازی این فایل می پردازیم

فایل وردپرس robot.txt کجا قرار دارد و چگونه ساخته می شود؟

وردپرس robot.txt معمولا در روت هاست قرار دارد. با استفاده از FTP و یا file manager هاست می توانید به آن دسترسی داشته باشید.
فایل وردپرس robot.txt را همانند هر فایل متنی می توانید با ویرایشگر متنی ساده مثل نوت پد باز کنید.
حال برای ایجاد فایل وردپرس robot.txt همانند روش زیر عمل نمایید. روش ساخت این فایل بسیار ساده است!
اگر وردپرس robot.txt در هاست شما وجود ندارد، زودتر این فایل را ایجاد نمایید. برای ساخت فایل وردپرس robot.txt، ابتدا در سیستم خود یک
فایل متنی (نوت پد) با نام robot.txt ایجاد کنید. سپس این فایل را در روت هاست آپلود نمایید.

نحوه استفاده از  فایل وردپرس robot.txt

پس از ایجاد وردپرس robot.txt، لازم است که شما اطلاعاتی برای استفاده از این فایل داشته باشید.
فرمت کلی فایل وردپرس robot.txt کاملا ساده است. در خط ابتدای این فایل، user agent ( عامل کاربر ) مشخص می شود. user agent در واقع نام ربات جستجو کننده است، که شما در تلاش برای برقراری ارتباط با آن هستید! برای مثال Googlebot (ربات گوگل) یا Bingbot (ربات بینگ).

نکته!! شما می توانید از علامت * برای دستور دادن به همه ربات ها استفاده کنید.

خطوط بعدی این فایل شامل دستورات Allow (اجازه دادن) یا Disallow (عدم اجازه) برای موتورهای جستجو است. از این طریق به موتورهای جستجو،
اعلام می کنید که چه بخش هایی را ایندکس کنند و چه بخش هایی را نمی توانند، ایندکس کنند.

کد زیر نمونه ای از فایل وردپرس robot.txt است:

<pre>User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /readme.html</pre>

با توجه به مثال وردپرس robot.txt فوق داریم:

خط 2، نشان دهنده ایندکس پوشه تصاویر آپلود شده توسط موتورهای جستجو است. یعنی موتورهای جستجو می توانند پوشه تصاویر را ایندکس کنند!

خط 3 و 4، نشان دهنده عدم ایندکس  پوشه افزونه ها و فایل readme.html توسط موتورهای جستجو است. به عبارتی موتورهای جستجو نمی توانند این دو بخش را با توجه به مثال فوق ایندکس کنند.

بهینه سازی فایل وردپرس robot.txt برای سئو وبسایت

حال نوبت به بهینه سازی آن می رسد. در ابتدا یک پیشنهاد برای وبمستران داریم!!
گوگل به وبمستران توصیه می کند که، از این فایل برای مخفی سازی محتواهای با کیفیت پایین استفاده نکنند.
اگر این چنین فکر می کنید با استفاده از فایل وردپرس robot.txt از ایندکس شدن دسته بندی ها، آرشیو صفحات و… توسط گوگل جلوگیری کنید.
متاسفانه فکر و کار شما نادرست است! پس بهتره که وظیفه این فایل را یادآوری کنیم.

  آموزش سئوی فروشگاه اینترنتی با افزونه WooCommerce All in One SEO Pack

یادآوری!! هدف وردپرس robot.txt، راهنمایی کردن ربات ها برای ایندکس مطالب سایت است. این فایل از خزیدن ربات ها در سایت شما جلوگیری نمی کند!!

اگر شما نمی خواهید بعضی از صفحات ایندکس شوند، می توانید از افزونه های وردپرس استفاده کنید. شما می توانید با نصب بعضی از افزونه های وردپرس، متا تگ هایی را همانند nofollow ،noindex را به آرشیو صفحات اضافه کنید. برای مثال از افزونه های سئو وردپرس استفاده کنید.

در ادامه نکات کلی را برای بهینه سازی این فایل برای شما می گوییم.

مورد اول: صفحاتی همانند ورود، ثبت نام، مدیریت (admin) را لازم نیست به  فایل وردپرس robot.txt اضافه کنید. به دلیل اینکه صفحه ورود و ثبت نام
دارای برچسب noindex هستند. در اینصورت قابل ایندکس نیستند!!

مورد دوم: همچنین توصیه می شود فایل readme.html را در در این فایل، غیر مجاز (disallow) کنید. شاید بپرسید چرا؟؟

زیرا بعضی از افراد با استفاده از فایل readme.html سعی می کنند، نسخه وردپرس را بدست آورند. حال با شخصی سازی این فایل از دسترسی
راحت افراد به  فایل readme.html جلوگیری می کنید. به عبارتی دیگر با disallow کردن این فایل از حملات مخرب در امان هستید!!

مورد سوم: در فایل وردپرس robot.txt، دایرکتوری افزونه های وبسایت خود را disallow کنید!

این کار امنیت سایت شما را افزایش می دهد و از حملات مخرب جلوگیری می کند. زیرا افرادی به دنبال پلاگین های خاص آسیب پذیر برای سو استفاده
از وبسایت ها هستند.
در این قسمت از آموزش برای شما سه روش کلی برای بهینه سازی فایل وردپرس robot.txt معرفی کردیم. امیدواریم با استفاده از این نکات بتوانید
این فایل را بهینه کنید.

افزودن نقشه XML سایت به فایل وردپرس robot.txt

اگر شما از افزونه وردپرس Yoast SEO یا سایر افزونه ها برای تولید نقشه XML سایتتون استفاده می کنید. این افزونه ها به صورت خودکار نقشه سایت تون را به خطوط مربوط این فایل اضافه می کنند.

اما اگر افزونه نتوانست این کار را انجام دهد!! در این صورت شما باید لینک نقشه XML را به صورت دستی به این فایل اضافه کنید. همانند نمونه زیر:

<pre>Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml</pre>

در مبحث آخر مقاله امروز هم دو نمونه از این فایل را به صورت ایده آل برای شما معرفی می کنیم.

فایل ایده آل وردپرس robot.txt به چه صورتی است؟

بسیاری از وبسایت های مشهور از این فایل ساده استفاده می کنند. همانند نمونه زیر:

<pre>User-agent: *Disallow:Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml</pre>

این فایل ساده به همه ربات ها اجازه ایندکس محتوای سایت را می دهد. همچنین لینک هایی را برای نقشه XML سایت ارائه می دهد.

نمونه ی دیگری از فایل بهینه:

<pre>User-Agent: *Allow: /?display=wideAllow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /readme.htmlDisallow: /refer/Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xmlSitemap: http://www.example.com/deals-sitemap.xmlSitemap: http://www.example.com/hosting-sitemap.xml</pre>

دوستان امیدوارم این مقاله مورد استفاده شما قرار گیرد. شما بتوانید با این آموزش فایل وردپرس robot.txt سایتتون را بهینه کنید. تا بتوانید از این طریق گامی برای بهبود سئو کلی سایت بردارید.

دلتون شاد!!

منبع: wpbeginner.com

آیا این مقاله برای شما مفید بود؟
تقریبا
خیر

اگر می‌خواهید از آخرین و محبوب‌ترین مقالات ما در ایمیل خود مطلع شوید، همین الان ایمیل خود را در کادر زیر وارد کنید:

تعداد علاقه‌مندانی که تاکنون عضو خبرنامه ما شده‌اند:

دیدگاهتان را بنویسید

دیدگاه‌های این نوشته جدید ترین ها شاخص

  1. 5 سال عضو همیار وردپرس

    سلام.. ممنون از آموزش خوبتون… این robot.txt که گداشتید برای ووکامرس هم مورد تایید هستش ؟

  2. 3 سال عضو همیار وردپرس

    سلام وقت بخیر
    نقشه سایت رو با Yoast seo به Search Console گوگل وبمستر اضافه کردم،
    اروری که میده به این صورته:
    URL restricted by robots.txt
    اگر ممکنه راهنمایی کنید ممنون میشم

  3. تشکر از سایت همیار وردپرس که در مورد هر موضوعی، محتوای کامل انتشار می دهند.

    فقط یک نکته را در خصوص فایل ربات اضافه کنم که :
    ربات های استاندارد مثل googlebot فایل robots.txt را می خونند ولی ربات های اسپم و حتی در مواقعی خود googlebot هم توجهی نمیکنه و این فایل را در نظر نمی گیره/
    دلیل این که بعضی موقع ها شما صفحه را noindex کردین ولی index شده، هم این دلیله.

    سپاس

  4. سلام به شما و مرسی از وب خوبتون
    یه سوالی برای من ایجاد شد و اونم اینه که خب بنده میخوام وبمو ایندکس کنم نه کلیه فایل هام رو داخل هاست . پس بنده باید داخل فایل منیجر هاستم دنبال آدرس وبم باشم و فایل رو داخل اون پوشه آپلود کنم ولی به گفته ی شما باید این فایل تکست داخل روت هاست آپلود شه.
    تکلیف چیه ؟!

  5. واقعا لذت میبرم این همه مطالب خوب رو میخونم
    عالیه
    سایت خوبی دارین

  6. فایل Robots.txt نه robot.txt
    :/

  7. سلام
    بنده یه بلاگ به آدرس دارم که بلاگ خبری فروشگاه هست. این بلاگ در یکی از فولد های سایت قرار داره. حالا توی وبمستر اونو اد کردم اما توی بخش robot.txt، اطلاعات سایت اصلی یعنی yasinrayan.com رو نمایش میده. چجوری میتونم فایل robot.txt رو تنظیم کنم که مشکلی برای بلاگ و فروشگاه پیش نیاد؟
    ممنون میشم دقیق و جامع پاسخ بدید.

  8. اول تشکر کنم بابت سایت که همجوره جامعه وردپرس ایرانی داره ارتقا میده من از اولین روز یادگیری وردپرس همیشه تو این سایت مشکلات حل کردم. و با استفاده از پلاگین و تم های این سایت پروژه زیاد انجام دادم.
    من ۲ تا سوال دارم

    (۱) تو فایل robot.txt آدرس های فارسی(url) رو چجوری disallow کنیم چون من هرجوری مینویسم و از وبمستر تست میگیرم Allow هست.

    (۲) من یک سری محصولات ساده تو ووکامرس دارم که نیازی به ایندکس کردن اونها نیست و تو فایل robot.txt کلا این آدرس رو disallow کردم (Disallow: /product/) و کار هم میکنه هر آدرسی بعد کلمه product میاد disallow هست و جور دیگه ای هم نمیتونم تعریف کنم (یعنی استفاده از متا تگ ها)چون نزدیک به ۱۳۰۰ محصول. حالا من یک سری محصولات گروهی دارم که اونها هم آدرسشون شبیه محصولات ساده است یعنی آدرسشون با کلمه product شروع میشه ولی من این محصولات با افزونه Custom Permalinks لینک هاشو تغییر دادم و آدرسهاشون تغییر کرده که فکر میکنم این افزونه ریدایرکت ۳۰۱ کرده این آدرس ها رو حالا چون آدرس اصلیشون این کلمه وجود داشته و من تغییرشون دادم این محصولات گروهی disallow بشه؟؟

  9. با احترام /
    این پیغام در زیر آدرس سایتم A description for this result is not available because of this site’s robots.txt میاد
    لطفا من رو راهنمایی کنید.
    سپاس

  10. سلام .بنده وقتی که آدرس سایتم رو در گوگل سرچ میکنم و گوگل آدرس سایتم رو نشون میده ، عنوان سایت دیده نمیشه و در عوض این پیغام در زیر آدرس سایت ظاهر میشه A description for this result is not available because of this site’s robots.txt.
    لطفا بنده رو راهنمایی کنید که چطور میتونم این مشکل رو حل کنم . البته بنده از برنامه نویسی هیچی نمیدونم و سایتم رو خودم با ورد پرس طراحی کردم.

  11. 4 سال عضو همیار وردپرس

    سلام
    فرقی نمی کنه. لازم نیست شما نام فایلتون رو تغییر بدید.

  12. وقت بخیر ، من الان با یه ابهام مواجه شدم ! یک عمر فایل robots.txt رو در سایتم داشتم. اما در عنوان و سرتاسر این مطلب نوشته شده robot.txt !
    یعنی باید robot باشه یا robots ؟ ممنون میشم این ابهام رو رفع کنید.

  13. 5 سال عضو همیار وردپرس

    چرا دیدگاه هم تایید نشد ؟

  14. 4 سال عضو همیار وردپرس

    سلام

    خیر .در اینصورت نیازی به معرفی نقشه سایت به گوگل با این فایل نیست ولی در هر صورت باید این فایل موجود باشد.

    • بله مچکرم
      امتحان کردم
      بود این فایل در ریشه سایت
      بسیار ممنون از پاسخ نظر و راهنمایی

  15. ممنونم خانوم رسالت از پست آموزشی خوبتون اگر از طریق افزونه هایی مانند همین yoast نقشه سایت رو به گوگل وبمستر معرفی کرده باشیم
    آیا نیازی به استفاده از این فایل و معرفی نقشه گوگل هستش ؟
    با تشکر از شما بخاطر پست خوبتون

مطالب زیر را حتما بخوانید

دوره‌های آموزشی