Apache Hadoop

Apache Hadoop първоначално е разработен от Yahoo и проекта е комбинация между предишните Apache Hadoop ядро ​​и Apache Hadoop Общи репо-сделки.

Проектът Hadoop е натрупала много известност благодарение на своите велики резултати в прилагането на мулти-сървър разпределени изчислителни система за обработка на огромни количества данни.

Самият проект е действително направени от четири части. Един от тях е Hadoop Общата, т.нар ядрото, която позволява на всички други модули, за да работят, а вторият е със собствен файлова система - HDFS (Hadoop Distributed File System), а третата е рамка прежди график на Hadoop, и най-накрая има система Hadoop MapReduce за подпомагане на паралелни изчисления.

Използване на тези система чупене земята, на Apache е успял да създаде много други странични проекти, като:

- Apache Ambari

- Apache Avro

- Apache Касандра

- Apache HBase

- Apache Hive

- Apache и дресура

- Apache прасе

- Apache Spark

- Apache ТЕЦ

- Apache Zookeeper

Всички те разчитат на мощна обработка на данни двигател Hadoop или неговите разпределени изчислителни функции, интегриране на една от неговите модули в ядрото на една или друга посока.

Какво е новото в тази версия:

• Подкрепа за архивен съхранение
• Прозрачни данни на криптиране почивка (бета)
• Работна защитен DataNode без да се изисква корен достъп
• Hot суап диск: подкрепа добавяне / премахване на обема възел данни без да се рестартира възел данни (бета)
• AES подкрепа за по-бързо, тел криптиране
• Подкрепа за дълго тичане услуги в прежди
• Поддръжка възел етикети за летния летателен
• Подкрепа за резервации времето на ресурсите в Scheduler Капацитет (бета)
• Global, споделена кеш за артефакти кандидатстване (бета)
• Поддръжка бягане на приложения роден в Docker контейнери (алфа)

Какво ново във версия 2.7.1:

• Подкрепа за архивен съхранение
• Прозрачни данни на криптиране почивка (бета)
• Работна защитен DataNode без да се изисква корен достъп
• Hot суап диск: подкрепа добавяне / премахване на обема възел данни без да се рестартира възел данни (бета)
• AES подкрепа за по-бързо, тел криптиране
• Подкрепа за дълго тичане услуги в прежди
• Поддръжка възел етикети за летния летателен
• Подкрепа за резервации времето на ресурсите в Scheduler Капацитет (бета)
• Global, споделена кеш за артефакти кандидатстване (бета)
• Поддръжка бягане на приложения роден в Docker контейнери (алфа)

Какво ново във версия 2.7.0:

• Подкрепа за архивен съхранение
• Прозрачни данни на криптиране почивка (бета)
• Работна защитен DataNode без да се изисква корен достъп
• Hot суап диск: подкрепа добавяне / премахване на обема възел данни без да се рестартира възел данни (бета)
• AES подкрепа за по-бързо, тел криптиране
• Подкрепа за дълго тичане услуги в прежди
• Поддръжка възел етикети за летния летателен
• Подкрепа за резервации времето на ресурсите в Scheduler Капацитет (бета)
• Global, споделена кеш за артефакти кандидатстване (бета)
• Поддръжка бягане на приложения роден в Docker контейнери (алфа)

Какво ново във версия 2.6.0:

• Подкрепа за архивен съхранение
• Прозрачни данни на криптиране почивка (бета)
• Работна защитен DataNode без да се изисква корен достъп
• Hot суап диск: подкрепа добавяне / премахване на обема възел данни без да се рестартира възел данни (бета)
• AES подкрепа за по-бързо, тел криптиране
• Подкрепа за дълго тичане услуги в прежди
• Поддръжка възел етикети за летния летателен
• Подкрепа за резервации времето на ресурсите в Scheduler Капацитет (бета)
• Global, споделена кеш за артефакти кандидатстване (бета)
• Поддръжка бягане на приложения роден в Docker контейнери (алфа)

Какво ново във версия 2.5.0:.

• подобрения удостоверяване при използване на HTTP прокси сървър
• Нов Hadoop Metrics мивка, която позволява писане директно Graphite.
• Спецификация за Hadoop Съвместим с файловата система усилия.
• Подкрепа за POSIX-стил с файловата система разширени атрибути.
• OfflineImageViewer да разглеждате една fsimage чрез API на WebHDFS.
• подобрения възможности за поддръжка и корекции на грешки до шлюза NFS.
• Модернизирана уеб УИС (HTML5 и Javascript) за HDFS демони.
• REST API, подкрепа Прежди подаване и убива приложения.
• Kerberos интеграция за график магазин за прежда е.

Какво ново във версия 2.4.0:

• Подкрепа за контрол на достъпа списъци в HDFS
• Native подкрепа за Rolling ъпгрейди в HDFS
• Използване на протокола буфери за HDFS FSImage за гладки оперативни подобрения
• Пълна подкрепа HTTPS в HDFS
• Подкрепа за Automatic Failover на преждата ResourceManager
• Подобрена поддръжка за нови приложения на прежда с история Application Server и Application Timeline сървър
• Подкрепа за силни SLAs в прежди CapacityScheduler чрез присвояване

Какво ново във версия 2.3.0:.

• Подкрепа за йерархия хетерогенен съхранение в HDFS
• В-памет кеш за данни HDFS с централизирано администриране и управление.
• Опростена разпределение на MapReduce бинарни файлове чрез HDFS в прежди Distributed Cache.

Какво ново във версия 2.2.0:

• прежди - Система за Hadoop управление с общо предназначение на ресурсите да се даде възможност MapReduce и други други рамки и услуги за обработка на данни
• High Availability за HDFS
• HDFS федерация
• HDFS Snapshots
• NFSv3 достъп до данни в HDFS

Какво ново във версия 2.1.0-бета:

• HDFS Snapshots
• Подкрепа за тичане Hadoop на Microsoft Windows
• стабилизация прежди API

Какво ново във версия 2.0.3-алфа:

• QJM за HDFS HA ​​за NameNode
• график Multi-ресурс (CPU и памет) за прежди
• прежди ResourceManager Restart
• Значително стабилност в мащаб за прежда (над 30,000 възли и 14 милиона приложения до момента, по време на освобождаване)

Какво ново във версия 1.0.0:.

• По-добра сигурност
• HBase (добавяне / hsynch / hflush и сигурност).
• webhdfs (с пълна поддръжка за сигурност).
• Изпълнение-добър достъп до локални файлове за HBase.
• Други подобрения в производителността, корекции на грешки, както и функции.

Какво ново във версия 0.20.2:

• RPC сървър за изпращане буфер запазва размера на най-голямата отговор някога изпратен.
• C ++ библиотеки не се основават на Debian Lenny.
• Някои C ++ скриптове не са chmodded преди мравка изпълнение.
• Streaming:. Процес, при условие съобщения за състоянието са презаписани всеки 10 seoncds
• IllegalArgumentException когато CombineFileInputFormat се използва като InputFormat работа.
• Множество бъгове w / Hadoop архиви.
• Позволи кеширане на файловата система случаи да е забранено на база инстанция.
• Липсва синхронизация за defaultResources в Configuration.addResource.
• GzipCodec не би трябвало да представлява BuiltInZlibInflater като decompressorType.
• NameNode на HttpServer не може конкретни примери InetSocketAddress: IllegalArgumentException е хвърлен
.
• HttpServer спи с отрицателни стойности.
• Namenode работи на недостиг на памет, поради изтичане на памет в IPC Server.
• IPC клиент бъг може да причини RPC повикване виси.
• При липса на тестове пречат на останалите цели на изпитване от изпълнение.
• Contrib тестове не успяват Clover'ed изгради.
• Тестове не се движат по 0.20 клон.
• TestStreamingStatus се проваля на 0.20 клон.