Apache Spark

Spark е предназначена да подобри скорости за анализ на данни и манипулиране на програми за обработка.
Тя е написана в Java и Scala и осигурява функции не се срещат в други системи, най-вече защото те не са мейнстрийм, нито, че полезно за обработка на заявленията не-данни.

Какво ново в тази версия:.

• Основната API вече поддържа агрегация многостепенно дървета, за да ви помогне да се ускори скъпо намали операции
• Подобряване на отчитането на грешки е добавен за някои Пипнах операции.

Jetty зависимостта
• Spark е сега сенчести да помогне да се избегнат конфликти с потребителски програми.
• Spark вече поддържа SSL криптиране за някои крайни точки на комуникация.
• Realtime GC метрики и рекордни обвинения са били добавени към потребителския интерфейс.

Какво ново във версия 1.3.0:

• Основната API вече поддържа няколко нива агрегация дървета да допринесе за ускоряване на скъпо намали операции.
• Подобряване на отчитането на грешки е добавен за някои Пипнах операции.

Jetty зависимостта
• Spark е сега сенчести да помогне да се избегнат конфликти с потребителски програми.
• Spark вече поддържа SSL криптиране за някои крайни точки на комуникация.
• Realtime GC метрики и рекордни обвинения са били добавени към потребителския интерфейс.

Какво ново във версия 1.2.1:

• подреди оператор PySpark сега поддържа външния разливане на големи масиви от данни .
• PySpark вече поддържа излъчване променливи по-голям от 2 GB и извършва външна разливане по време видове.
• Spark добавя страница на работа ниво на напредък в Spark интерфейс, стабилна API за отчитане на напредъка, и динамично актуализиране на изходните показатели като заетост пълна.
• Spark вече има поддръжка за четене бинарни файлове за изображения и други двоични формати.

Какво ново във версия 1.0.0:

• Тази версия разширява стандартните библиотеки на Спарк, въвеждане на нова SQL пакет (Spark SQL), която позволява на потребителите да интегрират SQL заявки в съществуващи Spark работни потоци.
• MLlib, машинно обучение библиотека на Spark, се разширява с рядка поддръжка вектор и няколко нови алгоритми.

Какво ново във версия 0.9.1:

• Фиксирана хеш сблъсък бъг във външната разливане
• Фиксирана конфликт с Log4j Spark за потребители, които разчитат на други сеч Неуспех
• Фиксирана Graphx липсва от Spark сглобяване буркан в Maven изгражда
• Фиксирани мълчаливите откази поради карта статут на изход над размер Ака конструкция
• ненужно пряка зависимост Премахнато Spark по ASM
• Премахнати метрики-ганглии от неизпълнение строителство поради LGPL лиценз конфликт
• Фиксирана бъг в разпределението архив, който не съдържа искра сглобяване буркан

Какво ново във версия 0.8.0:

• развитие се е преместило фондация Apache Sowftware като инкубатор проект.

Какво ново във версия 0.7.3:

• Python изпълнение: механизъм Spark за хвърляне на хайвера Python виртуални машини има е подобрен, за да го направят по-бързо, когато JVM има голям Размер на стек, ускоряване на Python API.
• Mesos поправя: JAR, добавени към вашата работа, сега ще бъдат на CLASSPATH, когато deserializing резултати за изпълнение на задачи в Mesos
.
• докладване. Грешка: По-добро отчитане на грешка за не-Serializable изключения и прекалено големи резултати задачи
• Примери:. Добавен е пример за динамична защитна обработка поток с updateStateByKey
• Build:. Spark Streaming вече не зависи от Twitter4J репо сделка, която трябва да позволи да се изгради в Китай
• Корекции на грешки в foldByKey, стрийминг на брой, статистика методи, документация и уеб интерфейс.

Какво ново във версия 0.7.2:.

• Scala версия обновен до 2.9.3
• Няколко подобрения Bagel, включително поправки за ефективност и ниво конфигурируеми съхранение.
• Нови методи API:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition и др
• Нов показатели за отчитане интерфейс, SparkListener, за да се събере информация за всеки етап изчисление:. Дължини задача, байтове размесват и др
• Няколко нови примери, използващи Java API, включително K-средства и изчислителна пи.

Какво ново във версия 0.7.0:

• Spark 0.7 добавя Python API нарича PySpark <. / Li>
• Spark работни места сега стартират уеб таблото за наблюдение на използването на паметта на всеки разпределени данните (RDD) в програмата.
• Spark вече може да бъде изграден с помощта на Maven в допълнение към SBT.

Какво ново във версия 0.6.1:

• Фиксирана прекалено агресивен съобщение таймаут интервали, които биха могли да причинят работници да изключете от клъстера.
• Фиксирана бъг в режим на самостоятелна Deploy, че не излагайте на хостове към Scheduler, засягащи местността HDFS.
• Подобрена връзка повторна употреба в Shuffle, които могат значително да ускорят малки усуквания.
• Фиксирани някои потенциални мъртвите зони в мениджъра на блок.
• Фиксирана бъг получаване IDs провалени домакини от Mesos.
• Няколко подобрения EC2 скрипт, като по-добро управление на спот инстанции.
• Създадено местната IP адреса, който Spark се свързва с адаптивни.
• Подкрепа за Hadoop две дистрибуции.
• Поддръжка за локализиране Scala на Debian дистрибуции.

Какво ново във версия 0.6.0:.

• Опростени разполагане
• документация на Spark е разширен с водач нов бърз старт, допълнителни инструкции за внедряване, конфигуриране употреба, тунинг за употреба, както и подобрена документация Scaladoc API.
• A нова комуникационна програма за управление на използване на асинхронни Java NIO позволява Shuffle операции работят по-бързо, особено при изпращане на големи обеми от данни, или когато работните места са с много задачи.
• Нов мениджър съхранение поддържа на-набор от данни от нивото на съхранение (например дали да се запази набор от данни в паметта, deserialized, на диск и т.н., или дори повторен цяла възли).
• Засилено отстраняване на грешки.