S3QL

S3QL подкрепя Amazon S3, както и произволни SFTP сървъри и ефективно ви дава твърдия диск на динамично, безкраен капацитет, който може да бъде достъпен от всеки компютър с достъп до интернет.
S3QL предоставя стандартен, пълен черта UNIX файлова система, която е концептуално неразличим от всяка локална файлова система. Освен това, S3QL има допълнителни функции, като компресиране, криптиране, дедупликация на данни, неизменими дървета и snapshotting които го правят особено подходящ за онлайн бекъп и архивиране.
S3QL има за цел да благоприятства простота и елегантност върху производителността и функция-пълзене. Care е било взето, за да се направи изходния код четивен и е функционираща, колкото е възможно. Solid откриване на грешки и отстраняване на грешките са били включени още от първия ред, и S3QL идва с обширни автоматизирани тестове за всички негови компоненти.
Преди файлова система може да се монтира, гръб, който ще се проведе на данните трябва да се инициализира. Това се прави с командата mkfs.s3ql. Тук ние сме с помощта на гръб Amazon S3, и nikratio-s3ql-ведро е кофата S3, в която ще се съхраняват на файловата система.
mkfs.s3ql S3: // nikratio-s3ql-ведро
За да монтирате съхраняват в S3 кофа nikratio_s3ql_bucket в директорията / MNT / s3ql S3QL файловата система на, въведете:
mount.s3ql S3: // nikratio-s3ql-кофа / MNT / s3ql
Сега можете да инструктира любимата си програма за архивиране, за да изпълнявате едно архивно в директорията / MNT / s3ql и данните ще се съхраняват на Amazon S3. Когато сте готови, файловата система трябва да бъде демонтиран, с
umount.s3ql / MNT / s3ql

<силни> Характеристики :

• Transparency. Концептуално, S3QL е неразличим от локалната файлова система. Например, тя подкрепя hardlinks, символните връзки, пълни UNIX разрешения, разширени атрибути и размерите на файловете до 2 TB.
• Dynamic Size. Размерът на S3QL файлова система расте и свива динамично, както се изисква.
• Compression. Преди съхранение, всички данни могат да се пресоват с LZMA, bzip2 или LZ алгоритъм.
• Encryption. След компресия (но преди качване), всички данни могат да AES криптирана с 256-битов ключ. Допълнително SHA256 HMAC контролна сума се използва за защита на данните срещу манипулирането.
• дедупликация на данни. Ако няколко файла имат еднакви съдържание, съкратените информацията ще се съхранява само веднъж. Това работи във всички файлове, съхранени във файловата система, а също и ако само някои части от досиетата са идентични, докато други части се различават.
• неизменими дървета. Directory дървета могат да бъдат направени неизменни, така че съдържанието им не може да се променя по никакъв начин. Това може да се използва, за да се гарантира, че архиви не може да бъде модифициран след като са били направени.
• Copy-по-Write / Snapshotting. S3QL може да възпроизведе цялата директория дървета без използването на допълнително пространство за съхранение. Само ако едно от копията се променя, на част от данните, който е модифициран ще отнеме допълнително пространство за съхранение. Това може да се използва за създаване на интелигентни снимки, които запазват състоянието на дадена директория в различни моменти от време, като се използва минимално количество пространство.
• Висока независимото изпълнение на мрежата латентност. Всички операции, които не пишат или четат съдържанието на файла (като създаване на директории или преместване, преименуване и промяна на правата за достъп до файлове и директории) са много бързо, защото те се извършват, без каквито и да било сделки мрежа.
• S3QL постига това чрез спестяване на цялата преписка и структурата на директориите в база данни. Тази база данни е локално кеширани и дистанционно копие актуализиран асинхронно.
• Подкрепа за нискочестотна връзка. S3QL разделя съдържанието на файла на по-малки блокове и кешира блокове на местно ниво. Това свежда до минимум както броя на мрежовите операции, необходими за данни за четене и писане, както и количеството на данните, които трябва да бъдат прехвърлени, когато само част от файл се чете или писмено.

Какво ново в тази версия:

• Опити за надграждане на файлова система, която вече е в най-новата редакция вече не правят местните метаданните копират неизползваеми.
• Имена кофичка Google съдържащи точки вече не причиняват проблеми с валидирането SSL сертификат.
• Поправя катастрофа, когато statvfs () се нарича на почти празна файлова система.
• Има нов & quot; swiftks & quot; бекенд за OpenStack / Swift сървъри.
• Елиминира състояние, раса, която може да доведе до mount.s3ql трясък с & quot; KeyError в колекции / abc.py & quot;.
• Поправя катастрофа, която може да се случи, когато се опитва да почисти след получаване на връзка или грешка на сървъра на при качването на обект.

Какво ново във версия 2.2:

• S3QL сега използва SSL връзки по подразбиране и проверява за сървър.
• условие A раса, която е довела до забележимо намаляване на дистанционното метаданни е фиксиран.
• гръб S3 сега изтрива множество обекти за съхранение с помощта на една молба, ако е възможно, намаляване на латентността, трафик, както и редица искания за S3.
• S3QL сега е в състояние да откриват грешки и пренасочване на сървъра, преди всички данни са изпратени към сървъра.
• бе добавено ново "Rackspace" гръб, който позволява на спецификацията на района на обекта за съхранение в URL адреса на съхранение.
• The mount.s3ql --compress опцията сега позволява уточняване на нивото на компресия.

Какво ново във версия 1.15:

• Колоездене на резервни копия на метаданни при използване на местния гръб сега отнема много по-малко време.
• Това вече не е необходимо, че S3QL и Python APSW бъдат свързани към една и съща SQLite споделена библиотека.
• В mount.s3ql, катастрофа, когато се използва --metadata-качване-интервала 0 беше фиксирано.
• Вместо напълно демонтиране на файловата система (и напускане на точката на монтиране недостъпни), когато бекенд данни липсва или е повреден, S3QL вече връща грешка и ключове само за четене на работа.

Какво ново във версия 1.13:

• Тази версия определя бъг, които предизвикват деформиран метаданни да бъдат написани , когато с помощта на последните eglibc версии.
• Той определя въпроси, когато се опитват да получат достъп до директория в корена на файловата система, която наскоро бе отстранен с s3qlrm.
• подкрепа привидна ACL е била отстранена.
• -добри Това освобождаване дръжки кофи с невалидни DNS имена.
• Той ще опита отново, ако DNS не е на разположение.

Какво ново във версия 1.11.1:

• Тази версия определя катастрофа при използване на гръб S3 (регресия въведена в пресата 1.11), увеличава минималната съобщава размера на файловата система до 1 TB, и работи около DF бъг така размер се отчита правилно.

Какво ново във версия 1.11:

• метаданни за съхранени обекти сега е разделен на няколко полета, така че нито една област е по-дълъг от 256 байта. (Това прави S3QL съвместим с широка гама от доставчиците на съхранение.) The SWIFT гръб сега повтарят, ако получи 5xx кодове на грешки от външния сървър, и вече не се провали, когато се опитвате да качите данни с изтекъл AUTH знак.

Какво ново във версия 1.10:

• s3s, s3cs и GSS Неуспех на са били отстранени. Използвайте новият --ssl опцията заедно с Неуспех на S3, s3c и GS вместо.
• S3QL вече не следи за последователност гаранции за различните Неуспех.
• Нарастващият брой на различните доставчици на съхранение предлагащи различни региони, уволнение и нива наличност прави това вече не е възможно.
• Ръководство на потребителя съдържа нов раздел, & quot; важни правила, за да избегнете загуба на данни & quot;.
• Четейки я е силно препоръчително.

Какво ново във версия 1.9:

• Тази версия прави файлови пъти вече не се променят при смяна на системата часова зона, поправки и подобрява вноска / benchmark.p, фиксира & quot; Прекалено много окован пренасочването & quot; бъг, опитва отново на грешки 5xx сървър, и добавя, експериментална вградената поддръжка на OpenStack / SWIFT сървъри и експериментална поддръжка на прокси.

Какво ново във версия 1.8:

• A & quot; ValueError: Не може да зареже нула стойности & quot; катастрофата, когато файловата система метаданни е качен по време на силно файлова система активност е била определена.
• s3qlcp и директории производителност за много големи директории са подобрени.
• An регресия работоспособност RM е фиксиран.
• -. На блока се преименува на --max-OBJ размер
• Някои катастрофи, случили се под силно конкурентно използване на файл система бяха фиксирани.
• питон-llfuse 0.37 сега се използва.

<силни> Ограничения :

• Има още има много бъгове в кода и трябва да сте готови да се справят с тях. Въпреки това, можете да бъдете сигурни, че е разумно бъговете (макар неудобно) няма да застраши съхраняваните данни.