دسته بندی
-
robots txt چیست ؟
-
بطور خلاصه فایل robots.txt محدودیتهایی را برای موتورهای جستجو در زمینه جستجو و گردآوری سایت شما انجام میدهد.
-
00
-
بازدید این صفحه : ۳۲۴۶تاريخ : 16 اسفند 1393
robots.txt چیست ؟
بطور خلاصه فایل robots.txt محدودیتهایی را برای موتورهای جستجو در زمینه جستجو و گردآوری سایت شما انجام میدهد.
شاید شما هم به این فکر رسیده باشید که اگر بخواهید جلوی قسمتی از سایت، محتوا و یا جایی از سایت خود را برای خوانده شدن توسط موتورهای جستجویی نظیر گوگل یا یاهو بگیرید چه کاری باید انجام دهید.
راه حل استفاده از فایل robots.txt هست. موتورهای جستجو قبل از هر کاری ابتدا به این فایل مراجعه میکنند و اگر اجازه داشتند به ادامه کار میپردازند. پیروی از فایل robots.txt نوعی قانون در موتورهای جستجو محسوب میشود.
اگه شما میخواهید موتورهای جستجو تمامی محتوای سایت شما را بخوانند نبود این فایل نشانگر رضایت شما از خوانده شدن تمام محتوای قابل دسترس برای موتورهای جستجو است.
فایل robots.txt کجا باید قرار گیرد؟
فایل robots.txt باید در root هاست شما ( پوشه اصلی که دامنه شما در آن قرار دارد ) قرار گیرد.
بطور مثال آدرس فایل http://www.example.com/robots.txt قابل قبول است ولی آدرسی مانند http://www.example.com/mysite/robots.txt غیرقابل قبول محسوب میشود و محتویات آن خوانده نمیشود. اگر شما به پوشه اصلی ( root ) دسترسی ندارید میتوانید از META tagها استفاده کنید.
چگونه فایل robots.txt رو بسازم ؟
شما کافیست برای این کار فایلی با نام robots و با پسوند txt بسازید. توجه داشته باشید تمامی حروف باید کوچک باشد و برای هنگام ذخیره باید حالت ASCII-encoded text را انتخاب کنید. با برنامهای مثل notepad می توانید خیلی راحت این کار را انجام دهید.
سادهترین فایل robots.txt شامل ۲ نقش است
- User-agent : روبات های مجاز
- Disallow : صفحه های غیرمجاز
بطور مثال برای اجازه دادن به تمامی روباتهای خزنده وب میتوانید از دستور زیر استفاده کنید:
User-agent: *
چند تا مثال کاربردی
جلوگیری از خوانده شدن محتوا برای تمامی موتورهای جستجو:
User-agent: * Disallow: /
جلوگیری از خوانده شدن محتوای ۴ پوشه مشخص شده:
User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /tmp/ Disallow: /private/
جلوگیری از خواندن محتویات پوشه private توسط گوگل:
User-agent: Googlebot Disallow: /private/
جلوگیری از خوانده شدن یک فایل خاص:
User-agent: * Disallow: /directory/file.html
برای کامنت گذاری از # استفاده میشود. تمامی نوشتهها بعد از # در یک خط کامنت محسوب میشوند ( در نظر گرفته نمیشوند ).
توجه داشته باشید که بزرگ و کوچک بودن آدرس ها مهم است.
منبع
عصرونه
-
خدمات طراحی سایت
-
ویترین اخبار
- راه اندازی سایت نشریه الکترونیک فرهنگ انقلاب اسلامی
- ملاک شناخت یک شرکت طراحی سایت قوی و توانا برای راه اندازی سایت اینترنتی شما چیست؟
- فرا رسیدن نوروز باستانی، یادآور شکوه ایران و یگانه یادگار جمشید جم بر همه ایرانیان پاک پندار، راست گفتار و نیک کردار خجسته باد
- راه اندازی وب سایت اینترنتی ماشین سازی درستگاههای تولید آرد
- راه اندازی وب سایت اینترنتی ملک آریا
- 7 مورد از قابلیتهای غیرمنتظره در iOS 7
- Apex در برابر Nova: مقایسه دو لانچر اندروید
- پاداش 15,000 دلاری برای شکستن قفل TouchID
- نیکون از AW1، اولین دوربین ضد آب با قابلیت تعویض لنز، پرده برداشت
- لومیا 1520 نوکیا و این بار مشخصات فنی، قیمت و زمان عرضه
- رکورد فروش موبایل در دست 8 مدل
- اپل در حال تست نسخه های 701 و702 و 71 سیستم عامل iOS؟
- علت دقیق سرعت پایین اینترنت را نمیدانیم
- بررسی اکسپریا Z1 سونی
- آموزش ساخت ایمیل یاهو پس از حذف ایران!
- سهام توییتر روانه بازار بورس میشود
- تبلیغات تازه مایکروسافت علیه آیفون شکست خورد
- مدیرعامل اینتل: تبلتهای زیر 100 دلاری در تعطیلات سال نوی میلادی از راه میرسند
- 27 شهریور iOS 7 برای آیفونها و آیپدها منتشر میشود
- کنسول بازی جدید سونی با قابلیت های جذاب و قیمت مناسب معرفی شد: Vita TV
- کمپانی دل برای چینی ها لب تاب لوحی می سازد!!!
- ایسوس فون پد 7 اینچی جدید را معرفی کرد: تبلت/تلفن هیبریدی با اسپیکر دو کاناله
- یاهو لوگوی جدید خود را رونمایی کرد
- ایسوس از لپتاپ لمسی و ارزان قیمت X102BA با پردازنده AMD پرده برداشت
- دوباره Moto X و این بار تصویر رندر شده تبلیغاتی آن [بروز شد]
- ولخرجیهای گوگل در حوزه دیتاسنتر ادامه دارد: 6-1 میلیارد دلار در سه ماهه دوم 2013
- تشکیل گروه جهانی« طراحی فناوریهای پوشیدنی» در موتورولا، با استناد به آگهی استخدام این شرکت
- آشنایی با سیستمفایلها و نحوه فرمتکردن درایوهای خارجی در مک
- سرفیس RT هنوز نمرده است
- دانلود کنید: اپلیکیشن VLC برای کاربران iOS منتشر شد
- بررسی همهجانبۀ شایعات پیرامون ساعتهای هوشمند
- تصاویر واضح از آیفون ارزان قیمت در کنار آیفون 5 فاش شد
- تبدیل تصاویر به فرمت ICO و استخراج آیکونها از فایلهای با فرمت EXE و DLL
- نسخه جدید اندروید در 2 مردادماه معرفی میشود
- ال جی از نام G2 برای پرچمدار بعدی خود استفاده میکند
- مشخصات فنی و بنچمارک گلکسی نوت 3 فاش شد
- تصویر و مشخصات جدید آیفون 5S به بیرون درز کرد: صفحه نمایش IGZO، دوربین 12 مگاپیکسل، پردازنده سریعتر و پردازنده گرافیکی چهار هستهای
- آیا میتوان پس از مرگ اطلاعات با ارزش را در اختیار خانواده، دوستان و آشنایان قرار داد؟
- تصاحب Omek توسط اینتل ممکن است باعث شود هرگز نیاز به لمس کامپیوتر خود نباشید
- نسخه جدید تحت وب نقشه گوگل در دسترس همگان قرار گرفت
- تلفن G2 ال جی مجهز به باتری 2540 میلی آمپر ساعتی است
- جزئیات بیشتر از دوربین 20 مگاپیکسلی هونامی: سنسوری بزرگ ولی نه به اندازهی لومیا 1020
- مرور تاریخچه دوربین در گوشیهای برجسته نوکیا
- دریافت استاندارد و رتبه 6 از 10 گوگل توسط سایت شرکت راوک نگار پارس
- بروزرسانی تعدادی از جدیدترین نمونه آثار طراحی سایت های هوشمند راوک نگار پارس
-
نماد اعتماد الکترونیکی
-
آمار بازدید
- کل (online):۴۴۳۹
- اعضاء (online):۰
- میهمان (online):۴۴۳۹
- بازدید امروز::۱۷۷
- بازدید دیروز::۵۶۰۰
- بازدید کل::۲۵۹۲۲۵۶۷
-
تبلیغات