Dapper Dataflow Engine

Dapper (Distributed и паралелна програма Execution Runtime) е инструмент за опитомяване на сложността на разработването на мащабна облак и изчислителна мрежа, което позволява на потребителя да създаде разпределени изчисления от най-основните - кода, който ще execut
<Силен> Защо Dapper?
Живеем в интересни времена, когато пробиви в областта на науките все повече зависят от нарастващото наличието и изобилието на commoditized, мрежови, изчислителни ресурси. С помощта на облака или мрежа, изчисления, които иначе биха се кандидатира за дни на един десктоп машина вече са разпределени и / или паралелни форми, които могат да бълват чрез, в рамките на няколко часа, вход определя десет пъти по-голям от сто машини , Както съблазнителен като идеята на сила в цифри може да бъде, като просто физически хардуер не е достатъчно - програмист трябва да занаят действителното изчисление, че ще се движат по него. Вследствие на високата стойност пуснат на човешки усилия и креативност, изисква среда за програмиране, която позволява и дори насърчава, сбит израз на разпределени изчисления, и все пак в същото време не се жертва всеобщност.
Dapper, стоящи за Разпределени и паралелна програма Execution Runtime, е един такъв инструмент за преодоляване спецификации на високо равнище на учен / програмист, които да улавят същността на една програма, с механизмите на ниско ниво, които да отразяват неприятни реалности на разпределени и паралелни изчисления. Съгласно подхода си потока на ориентирани, Dapper дава възможност на потребителите да се код на местно ниво в Java и изпълнява в световен мащаб на облака или мрежа. Потребителят първата пише codelets, или малки откъси от код, които изпълняват прости задачи и не го правят, сами по себе си представляват пълна програма. След това, той или тя уточнява как тези codelets, се разглеждат като върхове в потока на, предаване на данните помежду си посредством съвременни отношения. Получената насочено ациклични потока на графиката е на пълна програма за интерпретират от Dapper сървъра, които, след като бъдат в контакт с дълголетни клиенти работник, може да координира разпределено изпълнение.
Под Dapper модел, потребителят вече няма нужда да се притеснявате за традиционно ад-хок аспекти на управлението на облака или мрежа, която включва боравене свързва данни и зависимости, се възстановява от грешки, разпространение на код, както и началните работни места. Може би по-важното е, че тя дава цялата Java-базирани toolchain и по време на работа за рамкиране почти всички едрозърнест разпределени изчисления по последователен формат, който позволява бързо внедряване и лесно пренасяне на други изследователи.

<силни> Характеристики

• разпределителна система A код, който позволява на Dapper сървъра за предаване на необходимата програмен код по мрежата и имат клиенти динамично го заредите. Последица от това е, че, за блокиране на външни изпълними, новини Dapper програми трябва да се случи на страната на сървъра само.
• Мощен subflow метод вграждането за динамично изменение на потока на графиката по време на изпълнение.
• по време на работа в ванилия Java, на език, който много от тях са без съмнение запознати. Освен изискването за скорошен JVM и евентуално Graphviz Dot, Dapper е автономен.
• Здрав протокол за контрол. The Dapper сървърът очаква всеки брой на клиентите да се провали, по всяко време, и има адаптивни политики преоформяне и изчакване да се справят. Следователно, може да се започне и да се спре (дългоживеещи) клиенти, без страх от извеждането на цялата система в неконсистентно състояние.
• Гъвкави семантика, които позволяват пренос на данни чрез файлове или TCP потоци.
• оперативна съвместимост с защитни стени. От вашия местен облак или решетка вероятно седи зад защитна стена, ние измислиха специални семантика за стрийминг на предаване на данни.
• либерални условия за лицензиране. Dapper е освободен под LGPL за предотвратяване на замърсяването на вашия програмния код.
• Operation като вградени приложения. A ръководство описва API програмиране, че потребителите могат да следват, за да изпълните Dapper сървъра вътре приложение като Apache Tomcat.
• Operation като самостоятелен потребителски интерфейс. С него може да се работи радио-и телевизионни шелф демонстрации и да научат основни понятия от визуални примери. Като следвате минимален набор от конвенции, може след това се обединят собствените Dapper програми като изпълнение архиви, и след това да получите в реално време състоянието на потока на и отстраняване на грешки за обратна връзка.

Какво ново в тази версия:

• Методът на ServerLogic # closeIdleClients е променено на по-добро съответствие на интуитивна представа потребителя на леност.
• A вариант на потребителя за определяне име на хост на сървъра е добавен.
• Мрежово Вътрешни елементи са били преработени, за да използвате нови APIs.
• Процесът на натрупване е актуализиран, за да подкрепи както 32- и 64-битови Windows напречно компилация.
• The Dapper. * Йерархия е преименуван на org.dapper. *.

Какво ново във версия 0.96:

• Добавена черпене FlowListener, така че потребителите вече могат да се асоциират метаданни с потоци от данни и техните възли.
• Фиксирана теч с памет в Dapper сървъра.
• Добавено apiviz doclet тагове, така че връзките между класовете могат да бъдат по-добре визуализирани.
• Добавена apiviz за визуализация на зависимости в Javadoc.
• Фиксирана малък бъг в BuildAndTest изпълним.
• Процесът на изграждане вече е напълно интегриран с Apache Ivy. Разпределението на източник сега дълги кораби с SST. Вместо това, зависимости се изтеглят автоматично; ако това е невъзможно, може да изтеглите изходния SST, да го компилирате, и публикува на местно хранилище. Вижте ръководство за употреба за повече информация.
• Updated процес строителство и отстраняват излишните стъпки.
• Нормализирано авторски и лицензионни обявления във всички файлове.
• Java 1.6 сега се изисква да се изгради и тичам.
• Change строителство процес, за да използвате Apache Ivy, което означава, че външни зависимости вече не трябва да бъдат опаковани с основното разпределение на SST.
• "Doxygen" целево Добавено да изгради процес, така че местните компоненти могат да бъдат документирани.

Какво ново във версия 0.95:

• Нов, гъвкава сеч инфраструктура е добавен
• инициализират сеч структури са били преместени от класовете на сървъра и клиента и в двигатели.
• крайни автомати са актуализирани към новата анотация задвижване API.
• Изходният код е нормализирана да има 8 пространства, вместо разделите.

Какво ново във версия 0.94:

• опции за командния ред за клиента и сървъра вече са на разположение, С любезното съдействие на библиотеката Apache Commons CLI.
• жизнения цикъл на процеса на клиента сега се определя като завършва, когато прекъсване на връзката от сървъра се случва.
• Стволови функционалност поколение, считана първоначално метод член на OutputHandleResource да е статичен метод за CodeletUtilities.
• The FlowNodeFactory клас се използва в подкрепа на пряката инстанция на FlowNodes.
• Изграждане на местни компоненти е мигрирала към CMake.
• Logging е мигрирала към SLF4J.
• A README е добавен към всички дистрибуции.

Какво ново във версия 0.93:.

• значително подобрени педагогически примери
• Updated употреба.
• допълнително удобство съчетания в dapper.codelet.CodeletUtilities за ресурс заявки.
• Премахнато Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource и FileBatchResource. Те са заменени с концепцията за абстрактни дръжки на данни под формата на HandleEdge, InputHandleResource, OutputHandleResource. Вижте Ръководство за промени.
• Updated dapper.codelet.Resource да изнася входящи и изходящи потоци.

<силни> Изисквания

• Java 2 Standard Edition Runtime Environment