ساخت فایل Robots.txt

ساخت فایل Robots.txt


حالت دیفالت – دراین حالت همه ربات ها حضور دارند:  
    
تاخیر در جستجوی وب:
    
نقشه سایت: اگر جای خالی ندارید یک جای خالی باز کنید 
     
ربات ها را جستجو کنید: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
دایرکتوری های محدود: دایرکتوری های محدود "/"
 
 
 
 
 
 
   



حالا فایل robots.txt را در ریشه دایرکتوری خود ایجاد نمائید . متن بالا را کپی کنید و آنرا در داخل فایل مربوطه بچسبانید .


درباره ساخت فایل Robots.txt

ساخت فایل Robots.txt

ساخت فایل Robots.txt ابزاری برای بررسی ایجاد فایل Robots.txt می باشد. با استفاده از این ابزار می توان فایل Robots.txt را تولید کرد. در طراحی سایت می توان از این ابزار برای ایجاد فایل Robots.txt استفاده کرد.