WebGraph

WebGraph е рамка за изучаване на уеб графиката. WebGraph осигурява прости начини за управление на много големи графики, които експлоатират модерни техники за компресия. По-точно, в момента е изработен от:
1. комплект плоски кодове, наречени кодове, които са особено подходящи за съхранение на уеб графики (или общо казано, числа с разпределение на властта практика в определен експонат диапазон). Фактът, че тези кодове работят добре могат лесно да бъдат тествани емпирично, но ние също се опита да представи подробен математически анализ.
2. алгоритми за компресиране на уеб графики, които използват пропуск на компресия и referentiation (ла LINK), intervalisation и кодове да осигуряват висока степен на сгъстяване: например, WebBase графиката (2001 обхождане) е компресиран на 3,08 бита за връзка, както и моментна снимка на около 18,5 милиона страници на домейна .uk събрана от UbiCrawler се пресоват в 2.22 бита за връзка (съответните цифри за транспонирани графиките са 2,89 бита за връзка и 1,98 бита за връзка). Алгоритмите се контролират от няколко параметъра, които осигуряват различни компромиси между скорост на достъп и степен на сгъстяване.
3. Алгоритми за достъп компресиран графика, без всъщност да го декомпресиране, използвайки мързеливи техники, които забавят декомпресия, докато тя всъщност е необходимо.
4. Пълна, документирано изпълнението на алгоритмите горе в Java, съдържащи се в опаковката it.unimi.dsi.webgraph. Освен ясно дефинирана API, пакетът съдържа няколко класа, които позволяват да се променя (например, транспониране) или компресирайте графика, така че да експериментирате с различни настройки. Пакетът разчита на fastutil за рамка на колекции типово-специфична, високо-производителни, по MG4J за битово ниво I / O, върху разпределението на COLT за готови за употреба, ефективни алгоритми и на GNU getopt за ред и управление разбор.
5. набори от данни за много голям графика (например, един милиард на връзки). Те се събират от публични източници (като WebBase), или произведени от UbiCrawler.
В крайна сметка, с WebGraph можете да получите достъп и анализира много голям уеб графика, дори и на компютър с най-малко 256 МВ RAM. Използването WebGraph е толкова лесно, колкото да инсталирате няколко JAR файлове и свалянето на набор от данни. Това прави изучаване явления като PageRank, разпределение на графиката свойства на уеб графиката и т.н. много лесно

Какво ново в тази версия:.

• Тази версия добавя няколко подобрения HyperANF, както и няколко фиксирани бъга.
• WebGraph вече могат да бъдат намерени на Maven Central.

Какво ново във версия 2.4.5:

• Тази версия съдържа изпълнение на HyperANF, нов силно мащабируем алгоритъм за изчисляване на функцията на съседство на графика, и методите, които да изчисли средната стойност най-краткия път и други производни данни от функцията за добросъседство.
• Освен това, богатството на статистически данни в момента изчислява по време на компресия.

Какво ново във версия 2.4.4:.

• Някои стари опции са отстранени
• файловете на имотите вече съдържат богата на полезни статистически данни.
• Random скорост на достъп е подобрен.

Какво ново във версия 2.4.3:

• Фиксирани ArrayListMutableGraph.addNodes () (благодарение на Erik Lumer за намиране и определяне на този бъг).
• Нови възможности за пренасочване на изхода на ASCII графики.
• RemappedImmutableGraph.successorArray (х) се предоставя същата масива на всяко повикване, като по този начин наследените наследници (х) метод неизползваема за сканиране в паралелни различни списъци. Фиксирана (сега той се връща копие на масива, а).
• New случайна трансформация, която пермутира случайно графика.

Какво ново във версия 2.4.2:

• Нов & quot; композира & quot; изгради го прави възможно да се нанесат (дъга белязан) графики.