Apache Hadoop

Големите данни са маркетингови термини, които обхващат цялата идея на извлечени данни от източници като търсещи машини, модели за купуване на хранителни стоки, проследявани чрез карти за точки и т.н. В съвременния свят интернет има толкова много източници на данни, които по-често не го правят неизползваем, без обработка и обработка, ще отнеме невероятно количество време от всеки един сървър. Въведете Apache Hadoop

Използвайки архитектурата на Hadoop за разпространение на задачи за обработка на няколко машини в мрежа , времето за обработка намалява астрономически и отговорите могат да бъдат определени в разумен период от време. Apache Hadoop е разделен на два различни компонента: компонент за съхранение и компонент за обработка. В най-простия смисъл, Hapood прави един виртуален сървър от няколко физически машини . Всъщност, Hadoop управлява комуникацията между множество машини, така че те да работят заедно достатъчно тясно, така че да изглежда, че има само една машина, която работи върху изчисленията. Данните се разпределят на няколко машини , за да се съхраняват и задачите за обработка се разпределят и координират от архитектурата на Hadoop

. Този тип система е изискване за преобразуване на необработените данни в полезна информация за мащаба на големите данни. Помислете за количеството данни, получени от Google всяка секунда от потребителите, които въвеждат заявки за търсене. Като обща сума от данни, вие няма да знаете откъде да започнете, но Hadoop автоматично ще намали наборът от данни в по-малки, организирани подмножества от данни и ще определи тези управлявани подгрупи за конкретни ресурси. Всички резултати след това се отчитат обратно и се сглобяват в използваема информация .

Лесен за настройка сървър

Въпреки че системата звучи сложно, повечето от подвижните части са затъмнени зад абстракцията. Настройването на сървъра Hadoop е сравнително проста , просто инсталирайте сървърните компоненти на хардуер, който отговаря на системните изисквания. По-трудната част планира мрежата от компютри , че сървърът Hadoop ще използва, за да разпредели ролите за съхранение и обработка. Това може да включва създаване на локална мрежа или свързване на няколко мрежи заедно в Интернет . Можете също така да използвате съществуващите клауд услуги и да платите за клъстер на Hadoop на популярни платформи за облаци като Microsoft Azure и Amazon EC2. Те са още по-лесни за конфигуриране, тъй като можете да ги завъртите ad hoc и след това да извадите от употреба клъстерите, когато вече нямате нужда от тях. Тези типове клъстери са идеални за тестване, тъй като плащате само за времето, през което е активен клъстерът Hadoop.

Обработвайте данните си, за да получите необходимата ви информация

Големите данни са изключително мощен ресурс, но данните са безполезни, освен ако не могат да бъдат правилно категоризирани и превърнати в информация. Понастоящем Hadoop клъстерите предлагат изключително ефективен от гледна точка на разходите метод за обработка на тези колекции от данни в информация.