Hadoopy

Това е в основата на Python библиотека за MapReduce написани на Cython

<силни> Характеристики :.

• Подобна интерфейс като Hadoop API (дизайн модели използваеми между Python / Java интерфейси)
• General съвместимост с Дъмбо да позволи на потребителите да превключват
• Използваем на Hadoop клъстери без Python или администратор достъп
• Fast преобразуване и обработка
• Останете малък и добре документирана
• Бъдете прозрачен с това, което се случва
• програми ръкохватка с усложнени Така че те, ctypes и разширения
• Код написана за хак-способност
• Обикновено достъп HDFS (например, четене, писане, LS)
• Support (и не репликира) по-голямата Hadoop екосистемата (например, Oozie, бръмчене)
• Автоматизирани работа паралелизация "авто-oozie" предлага в проекта за hadoopy поток (поддържана от клон)
• Local изпълнение на немодифициран MapReduce работа с launch_local
• четене / запис на файлове последователност на TypedBytes директно до HDFS от питон (readtb, writetb)
• Позволява отпечатване на стандартния изход и STDERR в Hadoop задачи, без да причинява проблеми (използва "тръба подскача" техниката, и двете са на разположение в STDERR задачата е)
• Работи на клъстери, без никаква допълнителна инсталация, Python, или каквито и да било Python библиотеки (използва Pyinstaller който е включен в този източник дърво)
• Работи на OS X
• критичния път е в Cython
• Обикновено достъп HDFS (readtb и LS) вътре Python, дори вътре течаща работни места
• Unit тест интерфейс
• Докладване използвайки статута и броячи (и печат на отчети! Няма нужда да се плаши от тях в Hadoopy)
• Поддържа дизайн модели в книгата Lin & Dyer
• Typedbytes подкрепа (много бързо)
• подкрепа Oozie

<силни> Изисквания

• Cython 0.13 или по-висока