آموزش کامل ساخت فایل Robots.txt برای بهبود سئو

در حال حاضر سئو و بهینه‌سازی سایت از جمله موارد مهمی است که به وبسایت شما کمک می‌کند تا در نتایج جستجوی گوگل جایگاه بهتری داشته باشد. این امر زمانی اتفاق می‌افتد که بتوانید رضایت بازدیدکنندگان را جلب و نیاز آن‌ها را برآورده کنید که این کار باعث افزایش ترافیک سایت، افزایش نرخ تبدیل، افزایش فروش محصولات و خدمات می‌شود. همواره با افزایش رقابت در بستر اینترنت مدیران سایت‌ها تلاش بسیاری می‌کنند تا با استفاده از روش‌های مناسب و مختلفی بتوانند امتیاز بالاتری در گوگل کسب کنند، یکی از روش‌های ساده‌ و البته مهمی که تاثیر زیادی در سئو و بهینه‌سازی سایت دارد ساخت فایل robots.txt می‌باشد، این فایل به ربات‌های جستجو دستور می‌دهد که کدام یک از صفحات وبسایت را ایندکس کنند. تا انتهای این مقاله با ما همراه باشید تا نحوه بهینه سازی فایل Robots.txt را به شما آموزش دهیم.

فایل Robots.txt چیست؟

فایل Robots.txt یک فایل متنی است که متخصصان سئو از آن برای هدایت ربات‌های موتور جستجو استفاده می‌کنند و با کمک آن می‌توان نحوه خزیدن و ایندکس صفحات وبسایت را فهرست کرد.

فایل robots.txt در پوشه اصلی وبسایت شما ذخیره می‌شود و قالب اصلی آن به شکل زیر است:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

شما می‌توانید با استفاده از چندین دستورالعمل به URLهای خاصی اجازه فعالیت دهید یا آن‌ها را ممنوع و مسدود کنید، همچنین امکان افزودن چند نقشه به سایت را برای شما فراهم می‌کند.

در ادامه یک نمونه فایل robots.txt را مشاهده خواهید کرد که در آن موتورهای جستجو می‌توانند فایل‌ها را در پوشه آپلودهای وردپرس جستجو و فهرست کنند، اما اجازه خزیدن در افزونه‌ها و همچنین پنل مدیریت وبسایت را نداشته باشند.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

آیا برای سایت‌­های وردپرسی به فایل Robots.txt نیاز است؟

کلیه سایت‌ها برای ایندکس شدن توسط موتورهای جستجوی به فایل robots.txt نیاز دارند. اگر سایت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست می‌کنند که در این صورت نمی‌توانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایل‌ها را پیمایش کنند. این عمل زمانی که به تازگی وبسایت خود را راه‌اندازی کرده‌اید و محتوای زیادی در سایت ندارید تاثیر زیادی نخواهد داشت، اما پس از رشد و گسترش وبسایت، توصیه می‌کنیم برای کنترل بهتر و نحوه خزیدن موتورهای جستجو و در نهایت سئوی وردپرس، از فایل Robots.txt استفاده کنید.

وجود فایل Robots.txt در سایت‌ها از اهمیت بسیاری برخوردار است، ربات‌های جستجو برای هر وبسایت سهمیه خزیدن دارند و تعداد مشخصی از صفحات را در یک جلسه پیشمایش می‌کنند، بنابراین اگر نتوانند کل وبسایت شما را پیمایش کنند، مجددا به سایت شما برگشته و در یک جلسه دیگر ادامه این فرایند را تکمیل می‌کنند. این روند می‌تواند سرعت ایندکس شدن وبسایت شما را تا اندازه زیادی کاهش دهد که برای برطرف نمودن این مشکل می‌توانید از پیمایش صفحات مدیریت وردپرس، فایل افزونه‌ها و قالب‌ها توسط ربات‌های جستجو جلوگیری کنید، این عمل به موتورهای جستجو کمک می‌کند تا صفحات بیشتری را در سایت شما جستجو، فهرست‌بندی و پیمایش کنند.

یکی دیگر از مزایای استفاده از فایل robots.txt جلوگیری از ایندکس یک پست یا صفحه در وبسایت می‌باشد، این کار امن‌ترین راه برای پنهان‌سازی مطالب از دید کاربران نیست اما به شما کمک می‌کند تا از نمایش آن‌ها در نتایج جستجو جلوگیری کنید.

بهترین فایل robot.txt چگونه است؟

بسیاری از وبسایت‌های معروف از یک فایل robots.txt بسیار ساده استفاده می‌کنند. محتوای این فایل‌ها بسته به نیاز سایت ممکن است متفاوت باشد:

User-Agent: *
Allow: /wp-content/uploads
Disallow: /wp-content/plugins
Disallow: /wp-admin
Disallow: /readme.html
Disallow: /refer
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این کد به ربات‌های جستجو دستور می‌دهد تا کلیه تصاویر و فایل‌های وردپرس را فهرست‌بندی کنند. همچنین با افزودن نقشه سایت به فایل robots.txt جستجوی کلیه صفحات سایت خود را برای ربات‌های گوگل آسان‌تر می‌کند.

ایجاد فایل Robots.txt در وردپرس

برای ساخت یک فایل robots.txt در وردپرس دو روش وجود دارد که می‌توانید یکی از آن‌ها را انتخاب کنید:

• استفاده از افزونه
• ساخت فایل روبوتس بصورت دستی

ایجاد و ویرایش فایل txt با استفاده از All in One SEO

All in One SEO که با نام AIOSEO نیز شناخته می‌شود که با بیش از 2 میلیون نصب فعال جزو محبوب‌ترین افزونه‌ها برای سئو و بهینه‌سازی وبسایت می‌باشد. افزونه All in One SEO با طراحی کاربری بسیار آسانی که دارد برای مبتدیان بهترین گزینه بشمار می‌آید و به همراه یک فایل robots.txt ارائه می‌شود که با کمک آن می‌توانید فایل robots.txt را به طور مستقیم ایجاد و ویرایش کنید. پس از نصب و فعالسازی افزونه، گزینه Tools را از منوی All in One SEO انتخاب کنید تا صفحه زیر برای شما نمایان شود:

در مرحله بعد لازم است گزینه Enable Custom Robots.txt را فعال کنید. با فعال کردن این گزینه یک فایل سفارشی robots.txt در وردپرس ایجاد خواهد شد.

افزونه All in One SEO فایل robots.txt موجود در سایت شما را در بخش Robots.txt Preview در پایین صفحه نشان می‌دهد. در این قسمت قوانین پیش‌فرض که توسط وردپرس اضافه شده است را نشان می‌دهد.

این قوانین به موتورهای جستجو دستور می‌دهد که از فایل‌های اصلی وردپرس شما استفاده نکنند، اجازه فهرست‌بندی و ایندکس کلیه مطالب را داشته باشند و همچنین دسترسی به نقشه‌های XML سایت را برای آن‌ها فراهم می‌آورد.

در این صفحه می‌توانید با انتخاب دکمه Add Ruleقوانین سفارشی خود را برای بهبود سایت به فایل robots.txt اضافه کنید.

برای افزودن یک قانون جدید، لازم است یک عامل کاربری در قسمت “User Agent” وارد کنید. استفاده از علامت * قانون را برای همه کاربران اعمال می‌کند، در قسمت Rule اجازه دسترسی یا عدم دسترسی خزیدن را برای موتورهای فراهم آورید. سپس، نام فایل یا مسیر دایرکتوری را در قسمت Directory Path وارد کنید.

پس از وارد کردن قوانین برای ذخیره تنظیمات می‌بایست بر روی دکمه Save Changes کلیک کنید.

• ایجاد و ویرایش فایل txt به صورت دستی

یکی دیگر روش‌های ویرایش فایل robots.txt به صورت دستی می‌باشد که می‌توانید از طریق سی پنل هاست و یا FTP به هاست خود متصل شده و فایل را ویرایش و سفارشی‌سازی کنید. در این مقاله برای ورود به هاست از FTP استفاده می‌کنیم. پس از ورود به هاست، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود یا public_html پیدا کنید. چنانچه فایلی با این عنوان مشاهده نکردید مطابق تصویر زیر می-توانید با کلیک راست بر روی گزینه Create new file کلیک کرده و نام robots.txt را برای آن انتخاب کنید.

تست فایل robots.txt

همیشه بهتر است پس از ساخت فایل robots.txt آن را تست نموده از صحت عملکرد آن اطمینان حاصل کنید. ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می‌کنیم. ابتدا می‌بایست به صفحه Google Search Console وارد شوید.

پس از ورود به صفحه خوشامدگویی سرچ کنسول صفحه‌ای مانند زیر مشاهده خواهید کرد که دو روش برای ثبت‌نام وجود دارد:

در روش URL prefix لازم است آدرس سایت خود را با پیشوندهای مختلف به صورت جداگانه ثبت کنید، به عنوان مثال آدرس سایت همیار وردپرس با پیشوندهای مختلف به صورت زیر قابل استفاده است:

http://www.hamyarwp.com

https://www.hamyarwp.com

https://hamyarwp.com

https://hamyarwp.com

و در روش Domain نیز کافیست آدرس سایت خود را بدون پیشوند Hamyarwp.com وارد کنید. پس از وارد کردن آدرس سایت کد موجود در صفحه را کپی کرده و در بخش DNS manager هاست خود اضافه نمایید. در این آموزش از روش URL prefix استفاده کردیم.

پس از وارد نمودن آدرس سایت بر روی دکمه Continue کلیک کنید تا وارد صفحه زیر شوید:

چندین روش برای احراز هویت وجود دارد که بتوانید تا مالکیت خود را ثابت کنید.

در روش اول می‌بایست فایل HTML را دانلود کرده و در پوشه Public_html هاست خود آپلود کنید. سپس دکمه Verify را انتخاب و بر روی Done کلیک کنید. پس از وارد شدن به ابزار سرچ کنسول صفحه اصلی آن مانند تصویر زیر نمایان خواهد شد.

از بخش Web tools گزینه Testing Tools را انتخاب کرده تا خطاها و هشدارهای احتمالی را به شما نشان دهد.

کلام پایانی

امروزه با رشد روز افزون کسب و کارهای اینترنتی رقابت سختی میان وبسایت‌ها درگرفته است و مدیران سایت‌ها همواره در تلاشند تا سایت خود را جزو نتایج اولیه در گوگل نمایش دهند. متدها و راهکارهای بسیاری در این زمینه وجود دارند که یکی از این موارد با کمک بهینه سازی فایل Robot.txt انجام می‌شود. در این مقاله به معرفی و ساخت فایل robots.txt پرداختیم. امیدواریم مطالعه این مقاله گامی مثبت در راستای بهینه‌سازی سایت شما باشد. شما می‌توانید سوالات و نظرات خود را از بخش دیدگاه‌ها با ما مطرح کنید؛ همچنین اگر محتوای امروز همیار وردپرس برایتان مفید بود، خوشحال می‌شویم آن را با دوستان خود در شبکه‌های اجتماعی به اشتراک بگذارید.