Generator pliku robots.txt to bardzo przydatne dla pozycjonerów narzędzie - pozwala na szybkie wygenerowanie tego pliku, bez konieczności ręcznego wpisywania dyrektyw.
Aby skorzystać z tej opcji, należy kolejno wypełnić kilka informacji: czy wszystkie roboty wyszukiwarek mają mieć dostęp do zasobów strony, czy tylko niektóre - wówczas trzeba z listy poniżej wybrać tylko te, które nas interesują i zaznaczyć opcję "Allowed".
Oprócz tego można zastosować Crawl-Delay, czyli dyrektywę, która spowalnia indeksowanie przez roboty, a także podać ścieżkę dostępu do mapy witryny.
Przed wygenerowaniem pliku należy podać jeszcze te zasoby, które powinny być niedostępne dla robotów i nieprzeznaczone do indeksowania w wyszukiwarkach.
Skorzystać można z opcji wygenerowania pliku i samodzielnego przekopiowania utworzonych dyrektyw lub utworzenia i automatycznego pobrania pliku w formacie txt. Następnie plik ten umieszcza się w głównym katalogu na serwerze, na którym przechowywane są pliki strony internetowej.