PHPCrawl

Може да се използва в писмен вид роботи за търсене (паяци) мината уеб страници за различна информация.
PHPCrawl придобива информация е конфигуриран да донесе и той преминава към по-мощни приложения за по-нататъшна обработка

<силни> Характеристики :.

• Филтри за URL и Content-Type данни
• Define начини да се справят бисквитки
• Define начини да се справят файлове robots.txt
• ограничи своята дейност по различни начини

Режими
• Multi-преработвателни

Какво ново в тази версия:

• Фиксирани бъгове:
• Връзки, които са частично urlencoded и частично не се възстанови / кодиран правилно сега.
• Премахнато е ненужно дебъгване var_dump () от PHPCrawlerRobotsTxtParser.class.php
• Сървър-име-индикация в TLS / SSL работи правилно сега.
• & quot; база-HREF & quot;. -tags В уебсайтове се тълкуват правилно сега отново

Какво ново във версия 0.80 бета:

• Code е напълно refactored, при преминаване към PHP5-OO- код и много код е пренаписана.
• Добавена е възможност за ползване на множество процеси на паяк на уебсайт. Метод & quot; goMultiProcessed () & quot; добавя.
• New overridable метод & quot; initChildProcess () & quot; добави за започване на деца-процеси при използване на робота в мулти-процес-режим.
• Implementet алтернатива, вътрешна SQLite кеширане механизъм за URL адреси, които дават възможност да паяк много големи сайтове.
• Метод & quot; setUrlCacheType () & quot; добавя.
• Нов метод setWorkingDirectory () добавя за определяне на местоположението на веригите временна работна-директория ръчно. За тях метод & quot; setTmpFile () & quot; е маркиран, като отхвърлена (има вече не функционира).
• Нов метод & quot; addContentTypeReceiveRule () & quot; замества стария метод & quot; addReceiveContentType () & quot;.
• Функцията & quot; addReceiveContentType () & quot; все още е налице, но бе маркирана като непрепоръчителна.

<силни> Изисквания :

• PHP 5 или по-висока
• PHP с поддръжка на OpenSSL