DataCleaner

DataCleaner е с отворен код и напълно безплатно решение за организации и предприятия, които желаят да се увеличи и измерване на качеството на техните данни.
С DataCleaner, потребителите ще могат да профилира, за сравнение, валидиране на данни, срещу бизнес правила, и да следи развитието на тези измервания с течение на времето.
Сред характеристиките му, можем да говорим за наблюдение на данни, профилиране на данни и анализ DQ, прочистване на данни и обогатяване, откриване и сливат дубликати, качеството на данните на клиентите, както и супер-бърз ETLightweight (Extract-Transform-Load).
За да научите повече за функции и възможности DataCleaner му, както и как да се работи с него, моля обърнете се към http://eobjects.dk/docs

What е нов в тази версия

• Подобрения и нови функции:
• Ние направихме възможно да се създаде и пускате таблици чрез десктоп интерфейс на DataCleaner. Имайте предвид, че терминът & quot; & quot таблицата; Тук всъщност обхваща повече от просто релационни таблици на базата данни. Тя също така включва Sheets в хранилища за данни MS Excel, Колекции в MongoDB, видове разглеждане в CouchDB и ElasticSearch и така нататък ... По принцип всички видове Datastore които поддържат отписвания на операции, с изключение на една маса хранилища за данни, като CSV хранилища за данни, поддържат тази функционалност! Функционалността е изложена чрез:
• & quot; Създаване на маса & quot; активиран чрез менюто на схеми с десния бутон на дървото в лявата част на приложението.
• & quot; Създаване на маса & quot; активирана и чрез входове на маса за подбор в компоненти като вмъкнете в таблица, таблица за справка и актуализиране на маса.
• & quot; Drop маса & quot; активирани чрез десния бутон на мишката на таблици в дървото в лявата част на приложението.
• Добавихме (по желание) възможност за уточняване на вашия Salesforce.com уеб услуга Endpoint URL. Това ви позволява да използвате DataCleaner да се свърже с пясък среди на Salesforce.com, както и на вашите собствени крайни точки.
• Подкрепата на ElasticSearch е подобрено, което позволи на потребителски преобразувания, както и повторно използване на дефинициите на Datastore ElasticSearch сега и за търсене и индексиране.
• Вземането на проби от записи и подбор на потенциални дубликати в функцията за откриване на дублиращи се е подобрило, което води до по-бързо, тъй като конфигурацията на решенията, взети по време на тренировката са по-представителни.
• Форматът Duplicate откриване файл модел е бил актуализиран, която е премахната необходимостта от отделна "референтен" файл, за да спаси минали решения за обучение. Съвместимост с стария формат е запазен, но при използване на новия формат, добавя много ползи за работата на потребителя.
• Фиксирани бъгове:
• A въпрос глад конец е фиксиран в DataCleaner монитор. Въздействието на този въпрос беше страхотно, но се случи само в редки и много персонализирани случаи. Ако обичай слушател Предмети на монитора DataCleaner ще хвърли грешка, това ще доведе до един ресурс никога не е освободен и предприемането на косъм от басейна на Quartz-график на сървъра. Ако това ще се случи много пъти сървърът може евентуално изчерпване на теми в тази басейн.
• Вертикалната менюто на екрана на резултат в момента прави подходяща работа за показване на етикетите на компонентите, които имат резултати. Това го прави по-лесно да се признае, който елемент от менюто точки в каква позиция резултат.

Какво ново във версия 3.5.7:

• Трансформацията "Синоним за справка" сега има опция да гледам всеки знак на входа. Това е полезно, ако сте прави подмяна на синоними в рамките на стойностите на поле дълъг текст.
• Блокиране на изпълнение на DataCleaner работни места чрез уеб услуга на монитора за това може понякога да откаже с грешка, причинени от блокиране на конец. Този въпрос е бил фиксиран.
• Подобрение е направено в начина на работните места и на последователността на компоненти са затворени / почистват след изпълнение.
• The JNLP / Java WebStart версия на DataCleaner е била изложена от бъг в Java Runtime причинявайки някои JAR файлове не могат да бъдат признати от WebStart стартера, при определени обстоятелства. Този въпрос е бил фиксиран, като леки модификации на тези JAR файлове.
• Няколко мъртви връзки в документацията е фиксиран.

Какво ново във версия 3.5.4:

• Това вече е възможно да се скрие изходни колони от трансформации , Укриването няма да се отрази на потока обработка на всички, но просто да ги скрие от потребителския интерфейс, и по този начин потенциално вземане на опита по-чиста, когато общуват с други компоненти.
• A нова уеб услуга, е добавен към мониторинг уеб приложение, което предоставя начин за анкета за състоянието на изпълнението на определена работа.
• A бъг е фиксиран, което води до доклада за HTML, за да фалират за определени видове анализ, когато няма записи са били обработени.
• И 6 други незначителни бъгове е адресирано.

Какво ново във версия 3.5.1:

• Capture променена записи:
• бе добавено ново филтър, за да се даде възможност на частичното обработка на записи, които не са били обработени преди, напр за профилиране или копиране само модифицирана записи. Име Новите филтри е Capture променена записи, позовавайки се на концепцията за улавяне Промяна на данни.
• Чакащи изпълнение на работните места:
• монитор DataCleaner сега ще се редят на опашки за изпълнението на една и съща работа, ако тя се задейства няколко пъти. Това гарантира, че вие ​​не случайно тече една и съща работа едновременно, което може да доведе до най-различни въпроси, в зависимост от това, което върши работа.

<> Li Незначителни поправки:
• Няколко поправки се реализира.

Какво ново във версия 3.5:

• Няколко магьосници са вече на разположение за регистриране на хранилища за данни; включително на файлове качване до сървъра за CSV файлове, запис свързване към база данни, като се ръководи регистрация на Salesforce.com пълномощията и повече.
• магьосници Строителните работа също са били удължени с няколко подобрени функции; Избор на разпределение стойност и модел намиране полета в съветника за Quick анализ, напълно нов съветника за създаване EasyDQ базиран клиент за почистване на работни места и нов съветника работа за изпичане на работни места Pentaho Data интеграция (прочети повече по-долу).
• Вече можете да Временна разгледате някой хранилище на данни директно в уеб интерфейса. Това го прави лесно да получите бързи или спорадични прозрения в данните, без създаване на работни места или други управлявани подходи за обработка на данни.
• След като са създадени работни места или хранилища за данни, потребителят се насочва да предприеме действия с новоизграждащия се обект. Например, можете да много бързо пуснете задание полето, след като е построена или запитвания към хранилището за данни, след като тя е била регистрирана.
• Администраторите вече могат да качват директно работни места до хранилището, което е особено удобно, ако искате да редактирате ръчно съдържанието XML файлове за работа.
• Много от техническата cruft сега е скрито в полза на показване прости диалогови прозорци. Така например, когато дадена задача се задейства голям индикатор зареждане се показва, а когато завърши резултатът ще бъде показан. Разширено сеч Екранът на който вече е бил там все още може да се показва при щракване върху връзка за допълнителна информация.

Какво ново във версия 3.1.2:

• Добавихме уеб услуга в мониторинга заявление за получаване на (списък с) метрични стойности. Това прави наблюдението още по-използваеми, като ключов елемент на инфраструктурата, като начин да се осъществява мониторинг на данните (качество) и да изложи резултатите за приложения на трети лица.
• Компонентът "Таблица за справка" е подобрена чрез добавяне присъединят семантика като конфигурируеми собственост. Използване на присъедините семантика можете да ощипвам, ако желаете на търсене на работа семантично като НАЛЯВО JOIN или INNER JOIN.
• Компонентите на EasyDQ са модернизирани, добавянето на допълнителни опции за конфигуриране и по-богат дедупликация интерфейс резултат.

<> Ли подобрения в производителността са били специално внимание на тази версия. Подобрения са направени в двигателя на DataCleaner нататък да използват подход за обработка на поточно предаване в определени случаи ъглови, която не е била покрита преди това.

Какво ново във версия 3.1.1:

• Датата и свързани време опциите за анализ са били разширени и добави, разпределителни анализатори за седмицата номера, месеци и години. Всички анализатори, свързани с дата и час сега са групирани в рамките на подменю нарича & quot; Дата и час & quot; под & quot; & quot Анализирайте;.
• Като опция & quot; описателна статистика & quot; опция е добавен към анализатора на Брой и анализатор Дата / час. Тази опция добавя допълнителни показатели за резултатите от тези анализатори, като Медиана, асиметрия, персентил и ексцес. Тези показатели не са задължителни, тъй като тяхната памет отпечатък е малко по-голям от съществуващите показатели.
• Линиите във времевата линия класациите на уеб приложението за мониторинг вече имат малки точки в тях. Това е особено полезно за карти с няколко (или дори само един) наблюдения в тях -. Да посоча къде точно точките за наблюдение са
• анализатор на заявката при извикването и извънредни заявки също са били значително по-добри. Сега заявки могат да съдържат отделни клаузи, * -wildcards, подзаявки и са устойчиви на грешки към проблемите на текстови случай.
• Две нови трансформатори са добавени за генериране UUID на и за генериране на времеви отпечатъци.

Какво ново във версия 3.1:

• метрични формули - разработен Data Quality KPIs:
• Това вече е възможно да се изгради много по-Data Quality разработи KPIs в уеб приложение за мониторинг DataCleaner му. Потребителският интерфейс ви позволява да се изгради сложни формули в електронна таблица, подобна стил формула; използване на променливи, събрани от DataCleaner работни места.
• метрични формули могат да се комбинират с произволен брой метрика, константи и операции, доколкото той може да се изрази математически уравнение.
• Например - измерване на скоростта на дублирани записи в процент от общия брой на запис. Или се измери количеството на продуктови кодове, които да отговарят на набор от множество модели струнни.
• Временна заявки - за всяка хранилището за данни:
• С DataCleaner 3.1 вече може да изпълнява за специализирани запитвания към всяко хранилище на данни! Заявките могат да бъдат изразени в обикновен SQL и ще се прилагат до бази данни, както и файлове, NoSQL бази данни и повече, осигуряването на механизъм на наистина полезна заявка за разширяване на вашия открития и данни за профилиране опит.
• Опцията заявка се предлага и чрез уеб услуга за мониторинг на потребителите с ролята ADMIN. Заявката е предвидена като HTTP POST параметър или тялото, а резултатът е представена като таблица XHTML.
• Value пасването - нов вариант за анализ:
• Често пъти имате фирма, идея, на която трябва да бъде позволено и се очаква за определена област ценности. В DataCleaner винаги е имало вариант анализ на Value Distribution, които биха ви помогне да отстояват вашите предположения. В DataCleaner 3.1 макар, че имате по-точна предлагане - на съгласувателя Value. Тази опция анализ ви позволява да посочите набор от очакваните стойности и след това извърши разпределение на стойност като анализ, по-специално, за да валидира и какви неочаквани стойности.
• Копиране, изтриване и управление на работни места:
• Управление на работни места и води до прилагането на монитора DataCleaner е подобрена значително. Сега можете да кликнете на работа в страницата Scheduling на монитора, и да намерят възможности за управление на налични за операции като преименуване, копиране, изтриване и др. Всяка операция зачита връзки с други артефакти в монитора, като резултати от анализи, графици и др. Това означава, че управлението на хранилището за мониторинг е станал много по-лесно и зрял.
• Управление на историята на качеството на данните:
• Понякога сте изправени пред ситуации, в които действително искат да правят мониторинг с историческите данни! То може да бъде, че имате исторически сметища или резервни копия на бази данни, които искате да покажете и да разкаже историята на. Сега можете да направите анализ на този исторически данни, да го качите на монитора DataCleaner, и с помощта на нова уеб услуга, определен на исторически данни за този конкретен резултат анализ. Това означава, че вашите срокове правилно ще намислят резултатите, използвайки тяхната предполагаема дата, но с резултатите, които сте събрани може би на по-късен момент.
• Клъстер подкрепа планировчика (само EE):
• Програматорът на DataCleaner монитор е екстернализиран, така че той може да бъде заменен с помощта на проста конфигурация. В Enterprise Edition (EE) на DataCleaner, ние предлагаме групирана разписание, предоставяща възможност за зареждане на баланс и разпространявате вашите екзекуции цяла група от машини.
• Single-signon (SSO), използвайки CAS (EE само):
• В Enterprise Edition (EE) на DataCleaner сега предлагаме вариант за еднократна signon за прилагането на монитора. Сега DataCleaner може да бъде неразделна част от вашата ИТ инфраструктура, също-мъдър сигурност.
• ... И много повече:
• Горното е само резюме. Повече от тридесет въпроси са били решени в тази версия. Ние сме решени няколко искания, идващи от форумите и общността, и ние насърчаваме всеки да използва това средство като средство за промяна. Ние сме много щастливи да се направи за развитието на DataCleaner бъде силно повлиян от потоците в общността.

Какво ново във версия 3.0.3:

• Добавя услуга за преименуване на работни места в хранилището за наблюдение .
• Можете да осъществите достъп до това като RESTful Web услуги или интерактивно в потребителския интерфейс.
• A Web услуги е добавен за промяна на историческата дата резултат на анализ в хранилището за мониторинг.
• The Web молбата е била подадена съвместима с наследството JSF контейнери.
• кеширане на конфигурацията в уеб приложението е значително подобрена, което води до по-бързо зареждане на страниците и инициализация на работни места пъти.

Какво ново във версия 3.0.2:

• Когато задействането на работа в уеб приложение за мониторинг, панелния автоопресняванията всяка секунда, за да получите най-новите състоянието на изпълнението.
• File-базирани хранилища за данни (като CSV или Excel таблици) с абсолютни пътища са вече правилно решен в мониторинг уеб приложението.
• The & quot; Изберете от ключ / стойност Карта & quot; трансформатор вече поддържа вложени изберете изрази като & quot; & quot Address.Street; или & quot; orderlines [0] .product.name & quot;.
• Механизмът за справочна таблица са оптимизирани за изпълнение, като се използва подготвени изказвания, когато работи срещу JDBC бази данни.
• Администраторите вече могат да изтеглят файлове на базата на хранилища за данни директно от & quot; & quot хранилища за данни; стр.
• Обработка на изключенията в мониторинга на уеб приложението е подобрен малко, което прави съобщения за грешка по-прецизно и интуитивно.