robots.js 0.9.4

Може да се използва, за да извадя данни от robots.txt файл и да го хранят с други приложения или за статистически инструменти.Ще извлечете целеви URL, причина за достъп до данни и статуси Какво ново в тази версия:. Дръжки HTTP (S ) да изисква...
Безплатно изтегляне ROBOTS.JS за WEB (External Mirror (ZIP))
Безплатно изтегляне ROBOTS.JS за WEB (External Mirror (TAR))

Препоръчителна софтуер за Web