آموزش کامل بهینه سازی فایل Robot.txt برای بهبود سئو

بهینه سازی فایل Robot.txt بهینه سازی فایل Robot.txt

در حال حاضر سئو و بهینه‌سازی سایت از جمله موارد مهمی است که به وبسایت شما کمک می‌کند تا در نتایج جستجوی گوگل جایگاه بهتری داشته باشد. این امر زمانی اتفاق می‌افتد که بتوانید رضایت بازدیدکنندگان را جلب و نیاز آن‌ها را برآورده کنید که این کار باعث افزایش ترافیک سایت، افزایش نرخ تبدیل، افزایش فروش محصولات و خدمات می‌شود. همواره با افزایش رقابت در بستر اینترنت مدیران سایت‌ها تلاش بسیاری می‌کنند تا با استفاده از روش‌های مناسب و مختلفی بتوانند امتیاز بالاتری در گوگل کسب کنند، یکی از روش‌های ساده‌ و البته مهمی که تاثیر زیادی در سئو و بهینه‌سازی سایت دارد ساخت فایل robots.txt می‌باشد، این فایل به ربات‌های جستجو دستور می‌دهد که کدام یک از صفحات وبسایت را ایندکس کنند. تا انتهای این مقاله با ما همراه باشید تا نحوه بهینه سازی فایل Robot.txt را به شما آموزش دهیم.

بهینه سازی فایل Robot.txt

آنچه در این مقاله به اختصار خواهید خواند:

  • بهینه سازی فایل txt برای بهبود سئو
  • فایل txt چیست؟
  • آیا برای سایت‌­های وردپرسی به فایل txt نیاز است؟
  • بهترین فایل txt چگونه است؟
  • ایجاد فایل txt در وردپرس
  • تست فایل txt

بهینه سازی فایل Robot.txt برای بهبود سئو

از روش‌های ساده و آسانی که می‌توانید برای بهبود و بهینه‌سازی سایت کمک بگیرید از طریق بهینه سازی فایل Robot.txt صورت می‌گیرد. با بهینه سازی فایل Robot.txt به راحتی می‌توانید به ربات‌های جستجو دستور دهید که فقط صفحات ضروری را پیمایش کنند و از ایندکس کردن صفحات غیرضروری خودداری کنند، با این کار سرعت پیمایش وبسایت توسط ربات‌های جستجو تا اندازه قابل توجهی افزایش می‌یابد و در نتیجه سایت رتبه بالاتری کسب می‌کند. در ادامه مقاله با ساخت فایل robots.txt بیشتر آشنا خواهید شد.

فایل Robot.txt چیست؟

فایل Robots.txt یک فایل متنی است که مدیران وبسایت از آن برای هدایت ربات‌های موتور جستجو استفاده می‌کنند و با کمک آن می‌توان نحوه خزیدن و ایندکس صفحات وبسایت را فهرست کرد.

فایل robots.txt در پوشه اصلی وبسایت شما ذخیره می‌شود و قالب اصلی آن به شکل زیر است:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

شما می‌توانید با استفاده از چندین دستورالعمل به URLهای خاصی اجازه فعالیت دهید یا آن‌ها را ممنوع و مسدود کنید، همچنین امکان افزودن چند نقشه به سایت را برای شما فراهم می‌کند.

در ادامه یک نمونه فایل robots.txt را مشاهده خواهید کرد که در آن موتورهای جستجو می‌توانند فایل‌ها را در پوشه آپلودهای وردپرس جستجو و فهرست کنند، اما اجازه خزیدن در افزونه‌ها و همچنین پنل مدیریت وبسایت را نداشته باشند.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

آیا برای سایت‌­های وردپرسی به فایل Robots.txt نیاز است؟

کلیه سایت‌ها برای ایندکس شدن توسط موتورهای جستجوی به فایل robots.txt نیاز دارند. اگر سایت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست می‌کنند که در این صورت نمی‌توانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایل‌ها را پیمایش کنند. این عمل زمانی که به تازگی وبسایت خود را راه‌اندازی کرده‌اید و محتوای زیادی در سایت ندارید تاثیر زیادی نخواهد داشت، اما پس از رشد و گسترش وبسایت، توصیه می‌کنیم برای کنترل بهتر و نحوه خزیدن موتورهای جستجو و در نهایت سئوی وردپرس، از فایل Robots.txt استفاده کنید.

وجود فایل Robots.txt در سایت‌ها از اهمیت بسیاری برخوردار است، ربات‌های جستجو برای هر وبسایت سهمیه خزیدن دارند و تعداد مشخصی از صفحات را در یک جلسه پیشمایش می‌کنند، بنابراین اگر نتوانند کل وبسایت شما را پیمایش کنند، مجددا به سایت شما برگشته و در یک جلسه دیگر ادامه این فرایند را تکمیل می‌کنند. این روند می‌تواند سرعت ایندکس شدن وبسایت شما را تا اندازه زیادی کاهش دهد که برای برطرف نمودن این مشکل می‌توانید از پیمایش صفحات مدیریت وردپرس، فایل افزونه‌ها و قالب‌ها توسط ربات‌های جستجو جلوگیری کنید، این عمل به موتورهای جستجو کمک می‌کند تا صفحات بیشتری را در سایت شما جستجو، فهرست‌بندی و پیمایش کنند.

یکی دیگر از مزایای استفاده از فایل robots.txt جلوگیری از ایندکس یک پست یا صفحه در وبسایت می‌باشد، این کار امن‌ترین راه برای پنهان‌سازی مطالب از دید کاربران نیست اما به شما کمک می‌کند تا از نمایش آن‌ها در نتایج جستجو جلوگیری کنید.

بهترین فایل robot.txt چگونه است؟

بسیاری از وبسایت‌های معروف از یک فایل robots.txt بسیار ساده استفاده می‌کنند. محتوای این فایل‌ها بسته به نیاز سایت ممکن است متفاوت باشد:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این کد به ربات‌های جستجو دستور می‌دهد تا کلیه تصاویر و فایل‌های وردپرس را فهرست‌بندی کنند. همچنین با افزودن نقشه سایت به فایل robots.txt جستجوی کلیه صفحات سایت خود را برای ربات‌های گوگل آسان‌تر می‌کند.

ایجاد فایل Robots.txt در وردپرس

برای ساخت یک فایل robots.txt در وردپرس دو روش وجود دارد که می‌توانید یکی از آن‌ها را انتخاب کنید:

  • ایجاد و ویرایش فایل txt با استفاده از All in One SEO

All in One SEO که با نام AIOSEO نیز شناخته می‌شود که با بیش از 2 میلیون نصب فعال جزو محبوب‌ترین افزونه‌ها برای سئو و بهینه‌سازی وبسایت می‌باشد. این افزونه با طراحی کاربری بسیار آسانی که دارد برای مبتدیان بهترین گزینه بشمار می‌آید و به همراه یک فایل robots.txt ارائه می‌شود که با کمک آن می‌توانید فایل robots.txt را به طور مستقیم ایجاد و ویرایش کنید. پس از نصب و فعالسازی افزونه، گزینه Tools را از منوی All in One SEO انتخاب کنید تا صفحه زیر برای شما نمایان شود:

  سئو داخلی سایت چیست ؟ + چک لیست اقدامات مهم
بخش Tools در افزونه All in One SEO
بخش Tools در افزونه All in One SEO

در مرحله بعد لازم است گزینه Enable Custom Robots.txt را فعال کنید. با فعال کردن این گزینه یک فایل سفارشی robots.txt در وردپرس ایجاد خواهد شد.

فعال کردن گزینه Enable Custom Robots
فعال کردن گزینه Enable Custom Robots

افزونه All in One SEO فایل robots.txt موجود در سایت شما را در بخش Robots.txt Preview در پایین صفحه نشان می‌دهد. در این قسمت قوانین پیش‌فرض که توسط وردپرس اضافه شده است را نشان می‌دهد.

این قوانین به موتورهای جستجو دستور می‌دهد که از فایل‌های اصلی وردپرس شما استفاده نکنند، اجازه فهرست‌بندی و ایندکس کلیه مطالب را داشته باشند و همچنین دسترسی به نقشه‌های XML سایت را برای آن‌ها فراهم می‌آورد.

در این صفحه می‌توانید با انتخاب دکمه Add Ruleقوانین سفارشی خود را برای بهبود سایت به فایل robots.txt اضافه کنید.

برای افزودن یک قانون جدید، لازم است یک عامل کاربری در قسمت “User Agent” وارد کنید. استفاده از علامت * قانون را برای همه کاربران اعمال می‌کند، در قسمت Rule اجازه دسترسی یا عدم دسترسی خزیدن را برای موتورهای فراهم آورید. سپس، نام فایل یا مسیر دایرکتوری را در قسمت Directory Path وارد کنید.

پس از وارد کردن قوانین برای ذخیره تنظیمات می‌بایست بر روی دکمه Save Changes کلیک کنید.

  • ایجاد و ویرایش فایل txt به صورت دستی

یکی دیگر روش‌های ویرایش فایل robots.txt به صورت دستی می‌باشد که می‌توانید از طریق سی پنل هاست و یا FTP به هاست خود متصل شده و فایل را ویرایش و سفارشی‌سازی کنید. در این مقاله برای ورود به هاست از FTP استفاده می‌کنیم. پس از ورود به هاست، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود یا public_html پیدا کنید. چنانچه فایلی با این عنوان مشاهده نکردید مطابق تصویر زیر می-توانید با کلیک راست بر روی گزینه Create new file کلیک کرده و نام robots.txt را برای آن انتخاب کنید.

ساختن فایل جدید در ftp برای ساخت فایل robots.txt
ساختن فایل جدید در ftp

تست فایل robots.txt

همیشه بهتر است پس از ساخت فایل robots.txt آن را تست نموده از صحت عملکرد آن اطمینان حاصل کنید. ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می‌کنیم. ابتدا می‌بایست به صفحه Google Search Console وارد شوید.

پس از ورود به صفحه خوشامدگویی سرچ کنسول صفحه‌ای مانند زیر مشاهده خواهید کرد که دو روش برای ثبت‌نام وجود دارد:

در روش URL prefix لازم است آدرس سایت خود را با پیشوندهای مختلف به صورت جداگانه ثبت کنید، به عنوان مثال آدرس سایت همیار وردپرس با پیشوندهای مختلف به صورت زیر قابل استفاده است:

http://www.hamyarwp.com

https://www.hamyarwp.com

https://hamyarwp.com

https://hamyarwp.com

و در روش Domain نیز کافیست آدرس سایت خود را بدون پیشوند Hamyarwp.com وارد کنید. پس از وارد کردن آدرس سایت کد موجود در صفحه را کپی کرده و در بخش DNS manager هاست خود اضافه نمایید. در این آموزش از روش URL prefix استفاده کردیم.

وارد کردن سایت در سرچ کنسول
وارد کردن سایت در سرچ کنسول

پس از وارد نمودن آدرس سایت بر روی دکمه Continue کلیک کنید تا وارد صفحه زیر شوید:

احراز هویت در سرچ کنسول
احراز هویت در سرچ کنسول

جندین روش برای احراز هویت وجود دارد که بتوانید تا مالکیت خود را ثابت کنید.

در روش اول می‌بایست فایل HTML را دانلود کرده و در پوشه Public_html هاست خود آپلود کنید. سپس دکمه Verify را انتخاب و بر روی Done کلیک کنید. پس از وارد شدن به ابزار سرچ کنسول صفحه اصلی آن مانند تصویر زیر نمایان خواهد شد.

صفحه overview در پنل سرچ کنسول
صفحه overview در پنل سرچ کنسول

از بخش Web tools گزینه Testing Tools را انتخاب کرده تا خطاها و هشدارهای احتمالی را به شما نشان دهد.

بخش Testing Tools در سرچ کنسول
بخش Testing Tools در سرچ کنسول

بهینه سازی فایل Robot.txt

امروزه با رشد روز افزون کسب و کارهای اینترنتی رقابت سختی میان وبسایت‌ها درگرفته است و مدیران سایت‌ها همواره در تلاشند تا سایت خود را جزو نتایج اولیه در گوگل نمایش دهند. متدها و راهکارهای بسیاری در این زمینه وجود دارند که یکی از این موارد با کمک بهینه سازی فایل Robot.txt انجام می‌شود. در این مقاله به معرفی و ساخت فایل robots.txt پرداختیم. امیدواریم مطالعه این مقاله گامی مثبت در راستای بهینه‌سازی سایت شما باشد. شما می‌توانید سوالات و نظرات خود را از بخش دیدگاه‌ها با ما مطرح کنید؛ همچنین اگر محتوای امروز همیار وردپرس برایتان مفید بود، خوشحال می‌شویم آن را با دوستان خود در شبکه‌های اجتماعی به اشتراک بگذارید.

افزونه All in One SEO

سوالات متداول

فایل Robots.txt یک فایل متنی است که مدیران وبسایت از آن برای هدایت ربات‌های موتور جستجو استفاده می‌کنند و با کمک آن می‌توان نحوه خزیدن و ایندکس صفحات وبسایت را فهرست کرد.
کلیه سایت‌ها برای ایندکس شدن توسط موتورهای جستجوی به فایل robots.txt نیاز دارند. اگر سایت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست می‌کنند که در این صورت نمی‌توانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایل‌ها را پیمایش کنند. این عمل زمانی که به تازگی وبسایت خود را راه‌اندازی کرده‌اید و محتوای زیادی در سایت ندارید تاثیر زیادی نخواهد داشت، اما پس از رشد و گسترش وبسایت، توصیه می‌کنیم برای کنترل بهتر و نحوه خزیدن موتورهای جستجو و در نهایت سئوی وردپرس، از فایل Robots.txt استفاده کنید.
بسیاری از وبسایت‌های معروف از یک فایل robots.txt بسیار ساده استفاده می‌کنند. محتوای این فایل‌ها بسته به نیاز سایت ممکن است متفاوت باشد: User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
آیا این مقاله برای شما مفید بود؟
تقریبا
خیر

دیدگاهتان را بنویسید

ارسال دیدگاه به معنی این است که شما ابتدا قوانین ارسال دیدگاه را مطالعه کرده‌اید و با آن موافق هستید.

دیدگاه‌های این نوشته جدید ترین ها شاخص

  1. 3 سال عضو همیار وردپرس

    سلام چند تا سوال دارم لطفا جواب بدید من سایت خود را با دامین اضافه کرده ام بعدا توسط گوگل با این خطا روبه رو شده Server error (5xx) ایا با افزودن سایت با url prefix مشکل من حل میشه وممکن است این خطا بخاطر ایندکس نشدنssl سایت باشه در coverage سایت این امده است
    sarzamin-file.ir/?s={search_term_string}
    و ایا افزونه ای که معرفی کردید با yoast seo تداخل دارد یا نه ممنون می شم لطف کنیدبه سوالات من جواب بدید و بهم کمک کنید

    • 6 سال عضو همیار وردپرس

      سلام
      این ارور از سمت سرور شماست و باید از طریق هاستینگ پیگیری کنید.

  2. 8 سال عضو همیار وردپرس

    سلام.. ممنون از آموزش خوبتون… این robot.txt که گداشتید برای ووکامرس هم مورد تایید هستش ؟

  3. 7 سال عضو همیار وردپرس

    سلام وقت بخیر
    نقشه سایت رو با Yoast seo به Search Console گوگل وبمستر اضافه کردم،
    اروری که میده به این صورته:
    URL restricted by robots.txt
    اگر ممکنه راهنمایی کنید ممنون میشم

  4. تشکر از سایت همیار وردپرس که در مورد هر موضوعی، محتوای کامل انتشار می دهند.

    فقط یک نکته را در خصوص فایل ربات اضافه کنم که :
    ربات های استاندارد مثل googlebot فایل robots.txt را می خونند ولی ربات های اسپم و حتی در مواقعی خود googlebot هم توجهی نمیکنه و این فایل را در نظر نمی گیره/
    دلیل این که بعضی موقع ها شما صفحه را noindex کردین ولی index شده، هم این دلیله.

    سپاس

  5. سلام به شما و مرسی از وب خوبتون
    یه سوالی برای من ایجاد شد و اونم اینه که خب بنده میخوام وبمو ایندکس کنم نه کلیه فایل هام رو داخل هاست . پس بنده باید داخل فایل منیجر هاستم دنبال آدرس وبم باشم و فایل رو داخل اون پوشه آپلود کنم ولی به گفته ی شما باید این فایل تکست داخل روت هاست آپلود شه.
    تکلیف چیه ؟!

  6. واقعا لذت میبرم این همه مطالب خوب رو میخونم
    عالیه
    سایت خوبی دارین