بررسی فایل robots.txt وکاربردهای آن برای سئو

فایل robot.txt چیست؟

فایل robot.txtیک فایل متنی است که توسط آن وب مسترها، ربات های جستجو را راهنمایی می کنند که چگونه وب سایت آنها را پیمایش و ایندکس کنند.

در عمل فایل های robot.txt  نشان می دهند که یک ربات موتور جستجو می تواند یا نمی تواند بخشی از وب سایت شما را پیمایش یا ایندکس نماید.

ربات های موتور های جستجو وقتی وارد وب سایت شما می شوند ابتدا این فایل را بررسی می کنند تا بدانند اجازه پیمایش چه بخش هایی از سایت شما را دارند.

بدون این فایل ربات های موتور جستجو اجازه دارند تمامی قسمت های وب سایت شما را پیمایش و ایندکس کنند.

کاربرد فایل ROBOTS.TXT:

فایل robots.txt معمولا در دایرکتوری روت سایت آپلود می شود. بیشتر ربات ها به گونه ای برنامه ریزی شده اند که به دنبال آدرسی همچون www.example.com/robots.txt می گردند.

برای بیشتر ربات ها، پیدا نکردن یک فایل robots.txt معتبر در این موقعیت بدین معنی است که همه صفحات موجود در سایت برای خزش آزاد است. این موضوع حتی زمانی که فایل در موقعیت و آدرس دیگری نیز آپلود شده باشد صدق می کند.

ایجاد فایل robots.txt به سادگی نوشتن دستورالعمل بر روی نوت پد و ذخیره کردن آن با فرمت txt و با نام robots است.

بعد از اینکه فایل robots.txt را ایجاد کردید باید آن را از طریق FTP یا cPanel (یا هر برنامه مدیریت هاست و سروری) به دایرکتوری روت دامنه آپلود کنید. بیشتر پلتفرم های مدرن مدیریت محتوا و افزونه های سئو این فایل را به صورت خودکار ایجاد می کنند. بنابراین شما می توانید وارد آن شوید و ویرایش های مورد نیاز را اعمال نمایید. مواردی که در ادامه بیان می‌شود رایج ترین کاربرد فایل های robots.txt است.

• جلوگیری و رد ایندکس کردن: در میان تمامی دلایلی که برای استفاده از فایل robots.txt بیان می شود، این مورد یکی از رایج ترین هاست. وبمسترها معمولا دوست دارند جلوی ایندکس و خزش صفحاتی که به تجربه های جستجوکنندگان مرتبط نیست را بگیرند. به عنوان مثال صفحاتی همچون بخش‌های در حال ساخت، نتایج جستجوی داخلی، محتوای تولید شده توسط کاربر، پی دی اف ها، صفحات تولید شده توسط فیلترها و …
• حفظ بودجه خزش: وب سایت های بزرگی که هزاران صفحه در خود دارند معمولا دوست ندارند همه صفحاتشان به هنگام بازدید ربات های گوگل مورد خزش قرار بگیرد. آن ها این کار را برای افزایش شانس خزش صفحات مهم و ایندکس آن ها انجام می دهند.

خزش منظم و مکرر بر روی صفحات فرود ترافیک طبیعی بدین معنی است که بهینه سازی اعمالی شما به زودی بر روی صفحه نتایج موتورهای جستجو نشان داده خواهد شد.

این موضوع همچنین بدین معناست که صفحاتی که لینک شده اند می توانند از انتقال لینک بیشتر نفع ببرند.

• بهینه سازی جریان تساوی لینک ها: فایل txt در بهینه سازی جریان تساوی لینک ها برای صفحات سایت می تواند مفید باشد. با دور نگه داشتن خزندگان از صفحاتی که اهمیت زیادی ندارند، تساوی لینک های داخلی در صفحات فرود ترافیک طبیعی حفظ می‌شود. این موضوع بدین معنی است که قدرت رتبه بندی سایت شما بر روی صفحاتی که اهمیت زیادی دارد تمرکز می کند و همین امر باعث می شود این صفحات در نتایج جستجو رتبه بالاتری کسب نماید و ترافیک طبیعی بیشتری به خود جذب کند.
• فهرست نقشه سایت: فایل robots.txt را می توان برای این منظور نیز به کار برد. در این شرایط فایل robots.txt به موتورهای جستجو می گوید که در چه مکانی می‌توانند نقشه سایت را پیدا کنند. این موضوع اختیاری است زیرا می توان نقشه سایت را از طریق کنسول جستجوی گوگل نیز ثبت کرد و همین نتیجه را گرفت اما استفاده از این فایل برای ثبت نقشه سایت، ضرری نخواهد داشت.
• امنیت: برخی از صفحات نباید در اختیار عموم قرار بگیرند. صفحات لاگین و صفحات ادمین از این نمونه صفحات است. هر چقدر این صفحات امن تر باشند خطر حمله به سایت نیز کاهش پیدا می کند. (البته با ثبت این صفحات در فایل روبات دات تکست افراد می‌توانند با مشاهده این فایل، آنها را ببینند!

نحوه تنظیم فایل robots.txt:

یک فایل robots.txt معمولا از دو قانون ساده پیروی می کند، User-agent یا واسط کاربری (نوع خزنده یا ربات) و Disallow یا لینکی که دسترسی به آن را مسدود (یا مجاز) می کنیم؛ علاوه بر این، به یاد داشته باشید که در ابتدای آدرس دایرکتوری ها، باید از یک اسلش (/) نیز استفاده شود و در استفاده از حروف بزرگ یا کوچک نیز دقت کنید (به فرض دایرکتوری Image در مقایسه با image از دید ربات ها، معمولا دو آدرس متفاوت هستند).
به طور مثال اگر در فایل خود کد زیر را قرار دهیم

User-agent: * Disallow: /image/

ربات ها با پیروی از این قانون، دیگر محتوای فولدر image را بررسی نکرده و در نتایج جستجو آن را نمایش نمی دهند، هنگامی که از علامت * برای واسط کاربری استفاده می کنیم، در واقع منظور ما تمام ربات ها هستند، البته ذکر این نکته لازم است که تنها خزنده های برخی سایت ها و شرکت های معروف و معتبر به این قوانین احترام می گذارند و در مقابل برخی حتی برای ارسال اسپم یا نفوذ به صفحات حساس سایت ها، از این فایل، سوء استفاده نیز می کنند، لذا این نکته دارای اهمیت زیادی است که هیچ گاه برای محافظت از دایرکتوری های حساس، مانند دایرکتوری مدیریت سایت، به این فایل بسنده نکنید (بلکه یک سیستم ورود و خروج مطمئن برای آن در نظر بگیرید) و بهتر است آدرس دایرکتوری مدیریت را نیز در آن قرار ندهید، بهترین روش برای جلوگیری از ایندکس شدن دایرکتوری های حساس، این است که هیچ لینک خروجی و در معرض دید و دسترس ربات در صفحات خود نداشته باشید و از طرف دیگر دسترسی به محتوای این نوع صفحات را با ایجاد سیستم دریافت نام کاربری و کلمه عبور، محدود کنید.

چند مثال از نحوه استفاده از فایل robots.txt

برای آشنایی بیشتر و کاربردی تر، در زیر چند مثال با تنظیمات متفاوت را آورده ایم.
استفاده از فایل robots.txt و مسدود کردن یک فولدر برای تمام ربات ها:

User-agent: *
Disallow: /old-posts/

استفاده از فایل robots.txt و مسدود کردن یک فایل برای تمام ربات ها:

User-agent: *
Disallow: /old-posts/mypic.jpg

استفاده از فایل robots.txt و مسدود کردن یک فایل در ریشه سایت برای تمام ربات ها:

User-agent: *
Disallow: /private.html

استفاده از فایل robots.txt و مسدود کردن یک فولدر برای یک ربات خاص:

User-agent: Googlebot
Disallow: /personal/

برای دیدن لیست کامل واسط های کاربری (User-agent) می توانید به دیتابیس موجود در آدرس زیر مراجعه کنید:

http://www.robotstxt.org/db

مسدود بودن تمام صفحات برای تمام ربات ها:

User-agent: *
Disallow: /

مجاز بودن تمام صفحات برای تمام ربات ها:

User-agent: *
Allow: /

اهمیت تنظیم صحیح robots.txt با تغییرات جدید گوگل:

برخی سیستم‌های مدیریت محتوای قدیمی و برخی از توسعه دهندگان سایت در گذشته، برای افزایش ضریب امنیت، دسترسی موتورهای جستجو را به تمامی شاخه‌های فرعی سایت مسدود می‌کردند. این کار سبب می‌شود تا موتورهای جستجو امکان دریافت تصاویر، فایل‌های چندرسانه‌ای، فایل‌های CSS و جاوااسکریپت سایت را نداشته باشند. با پیشرفت‌هایی که گوگل به تازگی داشته است، عدم دسترسی به محتواهای جانبی سبب می‌شود، تا سایت از نظر موتور جستجو ناقص و با کارایی ناقص مشاهده شود.
بنابراین، در هنگام ایجاد این فایل می‌بایست دقت کافی به کار گرفته شود تا موتورهای جستجو بتوانند به تمامی فایل‌های لازم برای نمایش کامل صفحات سایت دسترسی داشته باشند.

عدم تنظیم صحیح این فایل سبب می‌شود تا وضعیت سئو سایت در گوگل آسیب زیادی را تجربه کند.

کاربردهای robots.txt در سئو:

استفاده از قوانین این فایل می‌تواند کاربردهای مختلفی در سئو سایت داشته باشد:

ایجاد یک صفحه برای هدایت کاربران به سایت‌های خارجی و مسدود کردن دسترسی گوگل به آن در جهت جلوگیری از اثرات منفی لینک‌های خارجی بی کیفیت در سایت‌هایی که تعداد زیادی لینک از کاربران در سایت درج می‌شود.

مسدود کردن دسترسی گوگل به پیوندهایی که محتوای مشابه صفحات اصلی سایت را با نشانی متفاوت ایجاد می‌کنند.

معرفی نقشه‌ی سایت برای استفاده‌ی موتورهای جستجو

این مقاله را با دوستان خود به اشتراک بگذارید