آموزش کامل بهینه سازی فایل Robot.txt برای بهبود سئو

بهینه سازی فایل Robot.txt
بهینه سازی فایل Robot.txt

در حال حاضر سئو و بهینه‌سازی سایت از جمله موارد مهمی است که به وبسایت شما کمک می‌کند تا در نتایج جستجوی گوگل جایگاه بهتری داشته باشد. این امر زمانی اتفاق می‌افتد که بتوانید رضایت بازدیدکنندگان را جلب و نیاز آن‌ها را برآورده کنید که این کار باعث افزایش ترافیک سایت، افزایش نرخ تبدیل، افزایش فروش محصولات و خدمات می‌شود. همواره با افزایش رقابت در بستر اینترنت مدیران سایت‌ها تلاش بسیاری می‌کنند تا با استفاده از روش‌های مناسب و مختلفی بتوانند امتیاز بالاتری در گوگل کسب کنند، یکی از روش‌های ساده‌ و البته مهمی که تاثیر زیادی در سئو و بهینه‌سازی سایت دارد ساخت فایل robots.txt می‌باشد، این فایل به ربات‌های جستجو دستور می‌دهد که کدام یک از صفحات وبسایت را ایندکس کنند. تا انتهای این مقاله با ما همراه باشید تا نحوه بهینه سازی فایل Robot.txt را به شما آموزش دهیم.

بهینه سازی فایل Robot.txt

آنچه در این مقاله به اختصار خواهید خواند:

  • بهینه سازی فایل txt برای بهبود سئو
  • فایل txt چیست؟
  • آیا برای سایت‌­های وردپرسی به فایل txt نیاز است؟
  • بهترین فایل txt چگونه است؟
  • ایجاد فایل txt در وردپرس
  • تست فایل txt

بهینه سازی فایل Robot.txt برای بهبود سئو

از روش‌های ساده و آسانی که می‌توانید برای بهبود و بهینه‌سازی سایت کمک بگیرید از طریق بهینه سازی فایل Robot.txt صورت می‌گیرد. با بهینه سازی فایل Robot.txt به راحتی می‌توانید به ربات‌های جستجو دستور دهید که فقط صفحات ضروری را پیمایش کنند و از ایندکس کردن صفحات غیرضروری خودداری کنند، با این کار سرعت پیمایش وبسایت توسط ربات‌های جستجو تا اندازه قابل توجهی افزایش می‌یابد و در نتیجه سایت رتبه بالاتری کسب می‌کند. در ادامه مقاله با ساخت فایل robots.txt بیشتر آشنا خواهید شد.

فایل Robot.txt چیست؟

فایل Robots.txt یک فایل متنی است که مدیران وبسایت از آن برای هدایت ربات‌های موتور جستجو استفاده می‌کنند و با کمک آن می‌توان نحوه خزیدن و ایندکس صفحات وبسایت را فهرست کرد.

فایل robots.txt در پوشه اصلی وبسایت شما ذخیره می‌شود و قالب اصلی آن به شکل زیر است:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

شما می‌توانید با استفاده از چندین دستورالعمل به URLهای خاصی اجازه فعالیت دهید یا آن‌ها را ممنوع و مسدود کنید، همچنین امکان افزودن چند نقشه به سایت را برای شما فراهم می‌کند.

در ادامه یک نمونه فایل robots.txt را مشاهده خواهید کرد که در آن موتورهای جستجو می‌توانند فایل‌ها را در پوشه آپلودهای وردپرس جستجو و فهرست کنند، اما اجازه خزیدن در افزونه‌ها و همچنین پنل مدیریت وبسایت را نداشته باشند.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

آیا برای سایت‌­های وردپرسی به فایل Robots.txt نیاز است؟

کلیه سایت‌ها برای ایندکس شدن توسط موتورهای جستجوی به فایل robots.txt نیاز دارند. اگر سایت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست می‌کنند که در این صورت نمی‌توانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایل‌ها را پیمایش کنند. این عمل زمانی که به تازگی وبسایت خود را راه‌اندازی کرده‌اید و محتوای زیادی در سایت ندارید تاثیر زیادی نخواهد داشت، اما پس از رشد و گسترش وبسایت، توصیه می‌کنیم برای کنترل بهتر و نحوه خزیدن موتورهای جستجو و در نهایت سئوی وردپرس، از فایل Robots.txt استفاده کنید.

وجود فایل Robots.txt در سایت‌ها از اهمیت بسیاری برخوردار است، ربات‌های جستجو برای هر وبسایت سهمیه خزیدن دارند و تعداد مشخصی از صفحات را در یک جلسه پیشمایش می‌کنند، بنابراین اگر نتوانند کل وبسایت شما را پیمایش کنند، مجددا به سایت شما برگشته و در یک جلسه دیگر ادامه این فرایند را تکمیل می‌کنند. این روند می‌تواند سرعت ایندکس شدن وبسایت شما را تا اندازه زیادی کاهش دهد که برای برطرف نمودن این مشکل می‌توانید از پیمایش صفحات مدیریت وردپرس، فایل افزونه‌ها و قالب‌ها توسط ربات‌های جستجو جلوگیری کنید، این عمل به موتورهای جستجو کمک می‌کند تا صفحات بیشتری را در سایت شما جستجو، فهرست‌بندی و پیمایش کنند.

یکی دیگر از مزایای استفاده از فایل robots.txt جلوگیری از ایندکس یک پست یا صفحه در وبسایت می‌باشد، این کار امن‌ترین راه برای پنهان‌سازی مطالب از دید کاربران نیست اما به شما کمک می‌کند تا از نمایش آن‌ها در نتایج جستجو جلوگیری کنید.

بهترین فایل robot.txt چگونه است؟

بسیاری از وبسایت‌های معروف از یک فایل robots.txt بسیار ساده استفاده می‌کنند. محتوای این فایل‌ها بسته به نیاز سایت ممکن است متفاوت باشد:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این کد به ربات‌های جستجو دستور می‌دهد تا کلیه تصاویر و فایل‌های وردپرس را فهرست‌بندی کنند. همچنین با افزودن نقشه سایت به فایل robots.txt جستجوی کلیه صفحات سایت خود را برای ربات‌های گوگل آسان‌تر می‌کند.

ایجاد فایل Robots.txt در وردپرس

برای ساخت یک فایل robots.txt در وردپرس دو روش وجود دارد که می‌توانید یکی از آن‌ها را انتخاب کنید:

  • ایجاد و ویرایش فایل txt با استفاده از All in One SEO

All in One SEO که با نام AIOSEO نیز شناخته می‌شود که با بیش از 2 میلیون نصب فعال جزو محبوب‌ترین افزونه‌ها برای سئو و بهینه‌سازی وبسایت می‌باشد. این افزونه با طراحی کاربری بسیار آسانی که دارد برای مبتدیان بهترین گزینه بشمار می‌آید و به همراه یک فایل robots.txt ارائه می‌شود که با کمک آن می‌توانید فایل robots.txt را به طور مستقیم ایجاد و ویرایش کنید. پس از نصب و فعالسازی افزونه، گزینه Tools را از منوی All in One SEO انتخاب کنید تا صفحه زیر برای شما نمایان شود:

بخش Tools در افزونه All in One SEO
بخش Tools در افزونه All in One SEO

در مرحله بعد لازم است گزینه Enable Custom Robots.txt را فعال کنید. با فعال کردن این گزینه یک فایل سفارشی robots.txt در وردپرس ایجاد خواهد شد.

فعال کردن گزینه Enable Custom Robots
فعال کردن گزینه Enable Custom Robots

افزونه All in One SEO فایل robots.txt موجود در سایت شما را در بخش Robots.txt Preview در پایین صفحه نشان می‌دهد. در این قسمت قوانین پیش‌فرض که توسط وردپرس اضافه شده است را نشان می‌دهد.

این قوانین به موتورهای جستجو دستور می‌دهد که از فایل‌های اصلی وردپرس شما استفاده نکنند، اجازه فهرست‌بندی و ایندکس کلیه مطالب را داشته باشند و همچنین دسترسی به نقشه‌های XML سایت را برای آن‌ها فراهم می‌آورد.

در این صفحه می‌توانید با انتخاب دکمه Add Ruleقوانین سفارشی خود را برای بهبود سایت به فایل robots.txt اضافه کنید.

برای افزودن یک قانون جدید، لازم است یک عامل کاربری در قسمت “User Agent” وارد کنید. استفاده از علامت * قانون را برای همه کاربران اعمال می‌کند، در قسمت Rule اجازه دسترسی یا عدم دسترسی خزیدن را برای موتورهای فراهم آورید. سپس، نام فایل یا مسیر دایرکتوری را در قسمت Directory Path وارد کنید.

پس از وارد کردن قوانین برای ذخیره تنظیمات می‌بایست بر روی دکمه Save Changes کلیک کنید.

  • ایجاد و ویرایش فایل txt به صورت دستی

یکی دیگر روش‌های ویرایش فایل robots.txt به صورت دستی می‌باشد که می‌توانید از طریق سی پنل هاست و یا FTP به هاست خود متصل شده و فایل را ویرایش و سفارشی‌سازی کنید. در این مقاله برای ورود به هاست از FTP استفاده می‌کنیم. پس از ورود به هاست، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود یا public_html پیدا کنید. چنانچه فایلی با این عنوان مشاهده نکردید مطابق تصویر زیر می-توانید با کلیک راست بر روی گزینه Create new file کلیک کرده و نام robots.txt را برای آن انتخاب کنید.

ساختن فایل جدید در ftp برای ساخت فایل robots.txt
ساختن فایل جدید در ftp

تست فایل robots.txt

همیشه بهتر است پس از ساخت فایل robots.txt آن را تست نموده از صحت عملکرد آن اطمینان حاصل کنید. ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می‌کنیم. ابتدا می‌بایست به صفحه Google Search Console وارد شوید.

پس از ورود به صفحه خوشامدگویی سرچ کنسول صفحه‌ای مانند زیر مشاهده خواهید کرد که دو روش برای ثبت‌نام وجود دارد:

در روش URL prefix لازم است آدرس سایت خود را با پیشوندهای مختلف به صورت جداگانه ثبت کنید، به عنوان مثال آدرس سایت همیار وردپرس با پیشوندهای مختلف به صورت زیر قابل استفاده است:

http://www.hamyarwp.com

https://www.hamyarwp.com

https://hamyarwp.com

http://hamyarwp.com

و در روش Domain نیز کافیست آدرس سایت خود را بدون پیشوند Hamyarwp.com وارد کنید. پس از وارد کردن آدرس سایت کد موجود در صفحه را کپی کرده و در بخش DNS manager هاست خود اضافه نمایید. در این آموزش از روش URL prefix استفاده کردیم.

وارد کردن سایت در سرچ کنسول
وارد کردن سایت در سرچ کنسول

پس از وارد نمودن آدرس سایت بر روی دکمه Continue کلیک کنید تا وارد صفحه زیر شوید:

احراز هویت در سرچ کنسول
احراز هویت در سرچ کنسول

جندین روش برای احراز هویت وجود دارد که بتوانید تا مالکیت خود را ثابت کنید.

در روش اول می‌بایست فایل HTML را دانلود کرده و در پوشه Public_html هاست خود آپلود کنید. سپس دکمه Verify را انتخاب و بر روی Done کلیک کنید. پس از وارد شدن به ابزار سرچ کنسول صفحه اصلی آن مانند تصویر زیر نمایان خواهد شد.

صفحه overview در پنل سرچ کنسول
صفحه overview در پنل سرچ کنسول

از بخش Web tools گزینه Testing Tools را انتخاب کرده تا خطاها و هشدارهای احتمالی را به شما نشان دهد.

بخش Testing Tools در سرچ کنسول
بخش Testing Tools در سرچ کنسول

بهینه سازی فایل Robot.txt

امروزه با رشد روز افزون کسب و کارهای اینترنتی رقابت سختی میان وبسایت‌ها درگرفته است و مدیران سایت‌ها همواره در تلاشند تا سایت خود را جزو نتایج اولیه در گوگل نمایش دهند. متدها و راهکارهای بسیاری در این زمینه وجود دارند که یکی از این موارد با کمک بهینه سازی فایل Robot.txt انجام می‌شود. در این مقاله به معرفی و ساخت فایل robots.txt پرداختیم. امیدواریم مطالعه این مقاله گامی مثبت در راستای بهینه‌سازی سایت شما باشد. شما می‌توانید سوالات و نظرات خود را از بخش دیدگاه‌ها با ما مطرح کنید؛ همچنین اگر محتوای امروز همیار وردپرس برایتان مفید بود، خوشحال می‌شویم آن را با دوستان خود در شبکه‌های اجتماعی به اشتراک بگذارید.

منبع: wpbeginner.com

آیا این مقاله برای شما مفید بود؟
تقریبا
خیر

اگر می‌خواهید از آخرین و محبوب‌ترین مقالات ما در ایمیل خود مطلع شوید، همین الان ایمیل خود را در کادر زیر وارد کنید:

تعداد علاقه‌مندانی که تاکنون عضو خبرنامه ما شده‌اند:

397,303 نفر

دیدگاهتان را بنویسید

ارسال دیدگاه به معنی این است که شما ابتدا قوانین ارسال دیدگاه را مطالعه کرده‌اید و با آن موافق هستید.

دیدگاه‌های این نوشته جدید ترین ها شاخص

  1. 6 سال عضو همیار وردپرس

    سلام.. ممنون از آموزش خوبتون… این robot.txt که گداشتید برای ووکامرس هم مورد تایید هستش ؟

  2. 4 سال عضو همیار وردپرس

    سلام وقت بخیر
    نقشه سایت رو با Yoast seo به Search Console گوگل وبمستر اضافه کردم،
    اروری که میده به این صورته:
    URL restricted by robots.txt
    اگر ممکنه راهنمایی کنید ممنون میشم

  3. تشکر از سایت همیار وردپرس که در مورد هر موضوعی، محتوای کامل انتشار می دهند.

    فقط یک نکته را در خصوص فایل ربات اضافه کنم که :
    ربات های استاندارد مثل googlebot فایل robots.txt را می خونند ولی ربات های اسپم و حتی در مواقعی خود googlebot هم توجهی نمیکنه و این فایل را در نظر نمی گیره/
    دلیل این که بعضی موقع ها شما صفحه را noindex کردین ولی index شده، هم این دلیله.

    سپاس

  4. سلام به شما و مرسی از وب خوبتون
    یه سوالی برای من ایجاد شد و اونم اینه که خب بنده میخوام وبمو ایندکس کنم نه کلیه فایل هام رو داخل هاست . پس بنده باید داخل فایل منیجر هاستم دنبال آدرس وبم باشم و فایل رو داخل اون پوشه آپلود کنم ولی به گفته ی شما باید این فایل تکست داخل روت هاست آپلود شه.
    تکلیف چیه ؟!

  5. واقعا لذت میبرم این همه مطالب خوب رو میخونم
    عالیه
    سایت خوبی دارین

  6. فایل Robots.txt نه robot.txt
    :/

  7. سلام
    بنده یه بلاگ به آدرس دارم که بلاگ خبری فروشگاه هست. این بلاگ در یکی از فولد های سایت قرار داره. حالا توی وبمستر اونو اد کردم اما توی بخش robot.txt، اطلاعات سایت اصلی یعنی yasinrayan.com رو نمایش میده. چجوری میتونم فایل robot.txt رو تنظیم کنم که مشکلی برای بلاگ و فروشگاه پیش نیاد؟
    ممنون میشم دقیق و جامع پاسخ بدید.

  8. اول تشکر کنم بابت سایت که همجوره جامعه وردپرس ایرانی داره ارتقا میده من از اولین روز یادگیری وردپرس همیشه تو این سایت مشکلات حل کردم. و با استفاده از پلاگین و تم های این سایت پروژه زیاد انجام دادم.
    من ۲ تا سوال دارم

    (۱) تو فایل robot.txt آدرس های فارسی(url) رو چجوری disallow کنیم چون من هرجوری مینویسم و از وبمستر تست میگیرم Allow هست.

    (۲) من یک سری محصولات ساده تو ووکامرس دارم که نیازی به ایندکس کردن اونها نیست و تو فایل robot.txt کلا این آدرس رو disallow کردم (Disallow: /product/) و کار هم میکنه هر آدرسی بعد کلمه product میاد disallow هست و جور دیگه ای هم نمیتونم تعریف کنم (یعنی استفاده از متا تگ ها)چون نزدیک به ۱۳۰۰ محصول. حالا من یک سری محصولات گروهی دارم که اونها هم آدرسشون شبیه محصولات ساده است یعنی آدرسشون با کلمه product شروع میشه ولی من این محصولات با افزونه Custom Permalinks لینک هاشو تغییر دادم و آدرسهاشون تغییر کرده که فکر میکنم این افزونه ریدایرکت ۳۰۱ کرده این آدرس ها رو حالا چون آدرس اصلیشون این کلمه وجود داشته و من تغییرشون دادم این محصولات گروهی disallow بشه؟؟

  9. با احترام /
    این پیغام در زیر آدرس سایتم A description for this result is not available because of this site’s robots.txt میاد
    لطفا من رو راهنمایی کنید.
    سپاس

    • 8 سال عضو همیار وردپرس

      سلام
      اسکرین شات بفرستید لطفا

    • با احترام با ایمیل براتون فرستادم
      سپاس

    • متاسفانه ایمیل اشتباه هستش
      چه حوری برا تون عکس پیغام خطا رو ارسال کنم؟

    • 8 سال عضو همیار وردپرس

      سلام
      تصویر رو داخل آپلود سنتری آپ کنید و لینک بدید.
      ممنونم

    • سلام
      خوشبختانه درست شد
      ممنونم از همراهیتون

  10. سلام .بنده وقتی که آدرس سایتم رو در گوگل سرچ میکنم و گوگل آدرس سایتم رو نشون میده ، عنوان سایت دیده نمیشه و در عوض این پیغام در زیر آدرس سایت ظاهر میشه A description for this result is not available because of this site’s robots.txt.
    لطفا بنده رو راهنمایی کنید که چطور میتونم این مشکل رو حل کنم . البته بنده از برنامه نویسی هیچی نمیدونم و سایتم رو خودم با ورد پرس طراحی کردم.

    • 8 سال عضو همیار وردپرس

      سلام
      میشه از این مشکلی که میگید اسکرین شات بفرستید

  11. 5 سال عضو همیار وردپرس

    سلام
    فرقی نمی کنه. لازم نیست شما نام فایلتون رو تغییر بدید.

  12. وقت بخیر ، من الان با یه ابهام مواجه شدم ! یک عمر فایل robots.txt رو در سایتم داشتم. اما در عنوان و سرتاسر این مطلب نوشته شده robot.txt !
    یعنی باید robot باشه یا robots ؟ ممنون میشم این ابهام رو رفع کنید.

    • 5 سال عضو همیار وردپرس

      سلام
      فرقی نمی کنه. لازم نیست شما نام فایلتون رو تغییر بدید.

  13. 5 سال عضو همیار وردپرس

    چرا دیدگاه هم تایید نشد ؟

  14. 5 سال عضو همیار وردپرس

    سلام

    خیر .در اینصورت نیازی به معرفی نقشه سایت به گوگل با این فایل نیست ولی در هر صورت باید این فایل موجود باشد.

    • بله مچکرم
      امتحان کردم
      بود این فایل در ریشه سایت
      بسیار ممنون از پاسخ نظر و راهنمایی

  15. ممنونم خانوم رسالت از پست آموزشی خوبتون اگر از طریق افزونه هایی مانند همین yoast نقشه سایت رو به گوگل وبمستر معرفی کرده باشیم
    آیا نیازی به استفاده از این فایل و معرفی نقشه گوگل هستش ؟
    با تشکر از شما بخاطر پست خوبتون

دوره‌های آموزشی