DataFu

DataFu е разработен в LinkedIn и е написана изцяло на Java.

DataFu включва функции / библиотеки за работа с:

- Статистика

- Оценка

- Вземане на проби

- Sessions

- Link Анализ

- Комплект операции

- Чанти

DataFu е идеален за извличане на данни и статистически приложения, работещи на върха на Hadoop или свински бази данни.

Тези функции позволяват на разработчиците да се възползват напълно от всички данни, съхранявани вътре в Hadoop или прасе база данни, без да се налага да се справят с огромни изисквания към системата, за да го направят.

Какво ново в тази версия:.

• Pair на ФГР за проста случайна извадка с подмяна
• Още зависимости сега опаковани в DataFu необходими толкова по-малко JAR зависимости.
• SetDifference СДС за изчисляване определя разлика (например А-В или А-В-С).

Какво ново във версия 1.2.0:

• Pair на ФГР за проста случайна извадка с подмяна.
• Още зависимости сега опаковани в DataFu необходими толкова по-малко JAR зависимости.
• SetDifference СДС за изчисляване определя разлика (например А-В или А-В-С).

Какво ново във версия 1.1.0:.

• Добавено SHA хеш СДС
• InUDF и AssertUDF добавя за Pig 0.12 съвместимост. Това са същите, както в и отстояват.
• SimpleRandomSample, което изпълнява мащабируема прост алгоритъм случайна извадка.