Robots.txt γεννήτρια

By default all robots are

Crawl delay

 

Sitemap URL. Leave blank for none.

Robots are allowed to crawl your site:

 

Restricted directories or files. Relative to root, with trailing slash for dirs.

Your Robots.txt

Το αρχείο robots.txt σε έναν ιστότοπο βοηθά τον webmaster να αγνοεί συγκεκριμένα αρχεία ή καταλόγους όταν η Secrch Engine Spider σέρνεται μια τοποθεσία.

Η γεννήτρια robots.txt σας βοηθά να πάρετε το αρχείο robost.txt ευκολότερο, wehn Επιλέξτε τον χρόνο καθυστέρησης της μηχανής αναζήτησης και ανίχνευση χρόνου Ο κώδικας όπως παρακάτω:

Αντιπρόσωπος χρήστη: *

Απαλλαγή: /

Αντιπρόσωπος χρήστη: ia_archiver

Απαγορεύω:

Αντιπρόσωπος χρήστη: Slurp

Απαγορεύω:

Αντιπρόσωπος χρήστη: aport

Απαγορεύω:

Αντιπρόσωπος χρήστη: Teoma

Απαγορεύω:

Αντιπρόσωπος χρήστη: Baiduspider

Απαγορεύω:

Αντιπρόσωπος χρήστη: Twiceler

Απαγορεύω:

Αντιπρόσωπος χρήστη: Robozilla

Απαγορεύω:

Αντιπρόσωπος χρήστη: gigabot

Απαγορεύω:

Αντιπρόσωπος χρήστη: Googlebot

Απαγορεύω:

Αντιπρόσωπος χρήστη: Εικόνα Googlebot

Απαγορεύω:

Αντιπρόσωπος χρήστη: Googlebot-Mobile

Απαγορεύω:

Αντιπρόσωπος χρήστη: mail.ru

Απαγορεύω:

Αντιπρόσωπος χρήστη: MSNBOT

Απαγορεύω:

Αντιπρόσωπος χρήστη: PSBOT

Απαγορεύω:

Αντιπρόσωπος χρήστη: Naverbot

Απαγορεύω:

Αντιπρόσωπος χρήστη: Yeti

Απαγορεύω:

Αντιπρόσωπος χρήστη: NUTCH

Απαγορεύω:

Αντιπρόσωπος χρήστη: stackrambler

Απαγορεύω:

Αντιπρόσωπος χρήστη: Scrubby

Απαγορεύω:

Αντιπρόσωπος χρήστη: Αστερίας

Απαγορεύω:

Αντιπρόσωπος χρήστη: Yahoo-Slurp

Απαγορεύω:

Αντιπρόσωπος χρήστη: Yandex

Απαλλαγή:

Robots.txt γεννήτρια