robots.js 0.9.4
Може да се използва, за да извадя данни от robots.txt файл и да го хранят с други приложения или за статистически инструменти.Ще извлечете целеви URL, причина за достъп до данни и статуси Какво ново в тази версия:. Дръжки HTTP (S ) да изисква...