Generator pliku robots.txt to bardzo przydatne dla pozycjonerów narzÄ™dzie - pozwala na szybkie wygenerowanie tego pliku, bez koniecznoÅ›ci rÄ™cznego wpisywania dyrektyw.
Aby skorzystać z tej opcji, należy kolejno wypeÅ‚nić kilka informacji: czy wszystkie roboty wyszukiwarek majÄ… mieć dostÄ™p do zasobów strony, czy tylko niektóre - wówczas trzeba z listy poniżej wybrać tylko te, które nas interesujÄ… i zaznaczyć opcjÄ™ "Allowed".
Oprócz tego można zastosować Crawl-Delay, czyli dyrektywÄ™, która spowalnia indeksowanie przez roboty, a także podać Å›cieżkÄ™ dostÄ™pu do mapy witryny.
Przed wygenerowaniem pliku należy podać jeszcze te zasoby, które powinny być niedostÄ™pne dla robotów i nieprzeznaczone do indeksowania w wyszukiwarkach.
Skorzystać można z opcji wygenerowania pliku i samodzielnego przekopiowania utworzonych dyrektyw lub utworzenia i automatycznego pobrania pliku w formacie txt. NastÄ™pnie plik ten umieszcza siÄ™ w gÅ‚ównym katalogu na serwerze, na którym przechowywane sÄ… pliki strony internetowej.