Spidr

Сценарият може да работи на една страница, сайт, множество домейни или дори нон-стоп.
Spidr е проектиран да бъде бърз и лесен за използване

<силни> Характеристики :.

• Възстановяване на опашката spidering и историята от предишна сесия .
• Персонализирани User-Agent струни.
• потребителски настройки за прокси.
• HTTPS подкрепа.

<Ли клас = "bbli"> следва:
• на ключовите думи.
• маркери за вградени рамки.
• рамкови тагове.
• Cookie защитени връзки.
• HTTP 300, 301, 302, 303 и 307 пренасочвания.
• Meta-Обнови Redirects.
• HTTP Basic Auth защитени връзки.

<Ли клас = "bbli"> Черно-списък или бяло-списък URL адреси на базата на:
• схема URL.
• име Host
• Номер на порт
• Full връзка
• URL разширение

<Ли клас = "bbli"> Осигурява кол гръб за:
• Всеки посетил Page.
• Всеки посетил URL.
• Всеки посетил URL, който съвпада с определен модел.
• Всеки излитане и кацане URI на връзка.
• Всеки URL, които не успяха да бъдат посетени.

<Ли клас = "bbli"> осигурява методи за действие, за да:
• Pause spidering.
• Напред обработка на страници.
• Напред обработка на връзки.

Какво ново в тази версия:

• Хвани OpenSSL :: SSL :: SSLError изключения, когато започна HTTPS Sessions.