آموزش سئو و بهینه سازی فایل robots.txt

یکی از فایل هایی که اغلب از دید ویمستران به دور می ماند، فایل robots.txt است. این فایل وظیفه مشخص کردن دسترسی یا عدم دسترسی خزنده ها به قسمت های مختلف سایت را برعهده دارد. برای مثال، ممکن است که نخواهید یک بخش از سایت توسط موتورهای جستجوگر ایندکس نشود، برای این منظور از فایل robots.txt استفاده می شود.

با اینکه عدم وجود این فایل مشکلی را برای سایت به وجود نخواهد آورد، اما اگر از آن به شکل نادرست استفاده شود، ممکن است به ضرر سئو سایت تمام شود. بدین منظور لازم است که نحوه استفاده از این فایل را به درستی یاد گرفت.

اهمیت وجود فایل robots.txt

همانطور که اشاره شد، عدم وجود فایل robots.txt مشکلی را به وجود نمی آورد و موتورهای جستجوگر به راحتی قادر به خزش در سایت و ایندکس صفحات خواهند بود. با این وجود پیشنهاد می شود که حتما این فایل را بر روی سایت خود داشته باشید.

همچنین از این فایل برای شناساندن نقشه XML سایت به موتورهای جستجوگر استفاده می شود. در این حالت می بایستی آدرس نقشه سایت را در فایل robots.txt وارد کنید تا موتورهای جستجوگر قادر به شناسایی نقشه XML سایت باشند.

 

چگونه فایل robots.txt ایجاد کنیم؟

قبل از اینکه به فکر ایجاد فایل robots.txt باشید، ابتدا بررسی کنید که این فایل بر روی سایت شما وجود دارد یا خیر. برای اطلاع از این موضوع عبارت robots.txt را به انتهای آدرس سایت خود وارد کنید. در صورتی که فایل وجود داشته باشد، اطلاعات مندرج در آن را مشاهده خواهید کرد.

اگر فایل robots.txt وجود نداشت، جای نگرانی وجود ندارد، شما به راحتی می توانید خودتان یکی ایجاد کنید. برای این منظور نرم افزار notepad یا هر نرم افزار ویرایشگر متنی را باز کنید و یک سند متنی با نام robots.txt ذخیره کنید. سپس فایل ایجاد شده را در مسیر اصلی سایت آپلود کنید.

توجه: برای آپلود فایل از خود وردپرس استفاده نکنید. بلکه باید به هاست سایت مراجعه کنید و از آنجا این کار را انجام دهید و یا از طریق اتصال FTP فایل robots.txt را در مسیر root (پوشه اصلی وب سایت) آپلود کنید.

ساختار فایل robots.txt

فایل robots.txt ساختار بسیار ساده‌ای دارد. در خط اول کاربر عامل (User-Agent) مشخص می شود. منظور از کاربر عامل همان نام خزنده موتورهای جستجوگر است که می خواهید با آن ارتباط برقرار کنید.
برای مثال، Googlebot برای خزنده های گوگل و Bingbot برای خزنده های بینگ مورد استفاده قرار می گیرد. اگر بخواهیدد که تمام موتورها مورد خطاب قرار گیرند آن موقع باید از علامت ستاره * استفاده کنید.

خط بعدی دسترسی یا عدم دسترسی را برای کاربر عامل مشخص می کند. بدین طریق، موتورهای جستجوگر مطلع خواهند شد که کدام صفحات را ایندکس کنند و از ایندکس کردن کدام بخش های سایت خودداری کنند.

یک نمونه ساده از فایل robots.txt را مشاهده کنید:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

در این فایل robots.txt که برای سایت وردپرسی است؛ مشخص کرده ایم که تمام موتورهای جستجوگر می توانند پوشه تصاویر سایت را ایندکس کنند. در مقابل حق ایندکس کردن پوشه افزونه ها و فایل readme.html را از آنها صلب کرده ایم.

چند نکته در ارتباط با فایل robots.txt

برخی از مدیران وب سایت ها به اشتباه از فایل robots.txt برای عدم ایندکس صفحات و بخش های مختلف سایت استفاده می کنند. این در حالی است که فایل robots.txt جلوی خزش موتورهای جستجوگر را نمی گیرد، بلکه تنها نحوه رفتار با محتوای مورد نظر را برای آنها مشخص می کند.

این موضوع حتی در دستور العمل های گوگل وبمستر نیز آمده است و اشاره شده است که مدیران سایت ها هرگز از فایل robots.txt برای مخفی کردن محتوای کم ارزش استفاده نکنند.

با این توضیحات، اگر شما از این روش استفاده کرده اید، بهتر است که هم اکنون روش کاری خود را تغییر دهید؛ چراکه انتخاب درستی نکرده اید. برای مثال، اگر نمی خواهید که صفحاتی از سایت ایندکس شوند، بهترین راه کار برای این منظور اضافه کردن تگ noindex به هدر وب سایت می باشد.

 

در مقابل قطع دسترسی به فایل readme.html می تواند گزینه مناسبی باشد. در این فایل اطلاعات مربوط به نسخه وردپرس وجود دارد. بنابراین، اگر شما از آخرین نسخه وردپرس استفاده نمی کنید و در نسخه های قبلی حفره امنیتی وجود داشته باشد، افراد با اطلاع از این موضوع می توانند حملاتی را بر روی سایت انجام دهند.

درج آدرس نقشه سایت در فایل Robots.txt

یکی از استفاده های اصلی فایل robots.txt درج آدرس نقشه سایت است. بدین طریق، موتورهای جستجوگر از وجود نقشه سایت مطلع شده و از آن برای خزش بهتر در سایت استفاده خواهند کرد.

بسیاری از افزونه های ایجاد نقشه سایت در وردپرس همانند Yoast WordPress SEO این کار را به صورت خودکار انجام می دهند. اما اگر مشکلی وجود داشته باشد و افزونه ها نتوانند مشخصات نقشه سایت را در فایل Robots.txt درج کنند، شما باید خودتان این کار را به صورت دستی انجام دهید که البته بسیار ساده است. به نمونه زیر نگاه کنید:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

شما هر چند تا که نقشه سایت داشته باشید، می توانید آدرس آنها را در فایل robots.txt درج کنید. فایل نهایی به صورت زیر خواهد بود که در آن تمام موتورهای جستجوگر می توانند تمام صفحات سایت را خزش کنند و برای این منظور دو نقشه سایت نیز در نظر گرفته شده است.

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

امیدواریم که این آموزش برای‌تان مفید و کاربردی بوده باشد. در صورت وجود مشکل و یا سوال می توانید از بخش نظرات سایت با ما در میان بگذارید.

ارسال دیدگاه