Scrapy

Scrappy е писано 100% в Python и може да се използва за лесно извличане на данни, за да мониторинг страница, уеб търсачките и дори за код тестване.
Scrapy не е търсачката в истинския смисъл на думата, но той действа като един (без индексиране част). Въпреки Scrapy може да бъде чудесен инструмент за изграждане на Вашето търсене на логиката на двигателя.
Истинската сила на тази рамка се основава на гъвкавост същността си е, Scrapy е система, върху която да се изгради генерични или специални паяци търсене (верижни) на.
Въпреки, че това може да звучи много сложно да нетехнически потребители, с един бърз поглед върху документацията и достъпни уроци, това е доста проста, за да видите как Scrapy е успял да извади цялата тежка работа от това и намаляване на целия процес до малко няколко реда код (за по-лесно, по-малки верижни)

Какво ново в тази версия:.

• Край на цитата искане пътека преди да премине към FTPClient, тя вече спасителни зони.
• Включи тестове / към източника дистрибуция в MANIFEST.in.

Какво ново във версия 1.0.1:

• Край на цитата искане път, преди да премине към FTPClient, тя вече спасителни зони.
• Включи тестове / към източника дистрибуция в MANIFEST.in.

Какво ново във версия 0.24.6:

• Добави UTF8 кодиране с глава към шаблони
• Telnet конзола вече се свързва с 127.0.0.1 по подразбиране
• Актуализация на Debian / Ubuntu инсталирате инструкции
• Disable интелигентни струни в lxml XPath оценки
• Възстановяване на файловата система на базата на кеша по подразбиране за HTTP кеш мидълуер
• Expose текущата робота в Scrapy черупки
• Подобряване testsuite сравняване CSV и XML износителите
• New Външен / филтрира и отдалечено / домейни надминаване
• В помощ на process_links като генератор в CrawlSpider

Какво ново във версия 0.24.5:

• Добави UTF8 кодиране с глава към шаблони
• Telnet конзола вече се свързва с 127.0.0.1 по подразбиране
• Актуализация на Debian / Ubuntu инсталирате инструкции
• Disable интелигентни струни в lxml XPath оценки
• Възстановяване на файловата система на базата на кеша по подразбиране за HTTP кеш мидълуер
• Expose текущата робота в Scrapy черупки
• Подобряване testsuite сравняване CSV и XML износителите
• New Външен / филтрира и отдалечено / домейни надминаване
• В помощ на process_links като генератор в CrawlSpider

Какво ново във версия 0.22.0:

• Rename scrapy.spider.BaseSpider да scrapy.spider .Spider
• Насърчаване стартирането информация за настройките и мидълуер до ниво INFO
• Поддръжка частични в get_func_args Util
• Разрешаване на течаща indiviual тестове чрез токс
• Актуализиране на разширения игнорирани от връзката екстрактори
• селектори регистрират EXSLT именни пространства по подразбиране

<> Li обедини т товарачи, подобни на селектори преименуване
• Направи RFPDupeFilter клас лесно subclassable
• Подобряване на изпитването покритие и предстоящото подкрепа Python 3

Какво ново във версия 0.20.1:

• include_package_data е необходимо да се изгради джанти от публикувани източници.

Какво ново във версия 0.18.4:.

• Фиксирана AlreadyCalledError замяна искане в командния
• Фиксирана start_requests lazyness и началото увисва.

Какво ново във версия 0.18.1:.

• Премахнато допълнително добавени от череша внос качват промени
• Фиксирана пълзи тестове по усукана предварително 11.0.0.
• py26 Не можете да форматирате нулеви полета дължина {}.
• Test PotentiaDataLoss грешки на несвързаните отговори.
• Отнасяйте отговори без съдържание на дължина или Transfer-Encoding като добри отговори.
• Дали не включват ResponseFailed ако http11 манипулатор не е активиран.

<> силни Изисквания

• Python 2.7 или по-висока
• Twisted 2.5.0 или по-висока
• libxml2 06.02.28 или по-висока
• pyOpenSSL