Hops – ett stort steg framåt för hantering av Big Data

Hops kan få praktisk betydelse på många områden, bland annat inom genforskningen. Jim Dowling nämner det svenska Lifegene-projektet, med mängder av livsstils- och gendata och det engelska The 100 000 Genomes Project med fokus på bland annat cancer. Kartläggning av DNA kräver mycket stor datorkapacitet.

Hops är en vidareutveckling av Hadoop – en plattform som används av
bland andra Yahoo, Facebook och Spotify för hantering av gigantiska
mängder data, så kallad Big Data.

– Systemet Hops har bättre egenskaper än alla andra Hadoop-distributioner på marknaden. Det är lättare att installera och skräddarsy, pålitligare och mer storskaligt. Bara Google har bättre verktyg men dem har ingen annan tillgång till, säger Jim Dowling, ledare av forskningsprojektet vid SICS och KTH.

Speciellt för Hops är lagringen av metadata
– I Hadoop är mängden metadata begränsad eftersom den måste få plats på en enda Javaprocessor i en dator. I Hops är den lagrad i MySQL Cluster som kan bestå av upp till 48 datorer. I Hops kan man upprätthålla integriteten mellan data och metadata – det är inte möjligt i befintliga plattformar av Hadoop, säger Jim Dowling.

Den nya plattformen är framtagen av en forskargrupp för distribuerade
system vid det svenska forskningsinstitutet SICS Swedish ICT, i
samarbete med Kungliga tekniska högskolan, KTH.

– En vanlig hårddisk på fyra terabyte kan lagra ungefär 20 personers fullständiga DNA-sekvenser, med Hops kan vi skräddarsy plattformar som klarar av hundratusentals personers DNA. Vi kan bygga kluster som motsvarar cirka 10 000 datorer jämfört med dagens maximala 3 500, säger Jim Dowling.

Helt andra verksamheter med behov av att bearbeta mängder med information är företag med digitala tjänster, som vill kunna följa kunderna användningsmönster för att anpassa sina tjänster. Både musikdistributören Spotify, med kluster på 1 100 datorer, och spelföretaget King, utvecklare av bland annat Candy Crush Saga, kan få användning för Hops, enligt Jim Dowling.

Hops står för ”Hadoop Open Platform-as-a-Service”. Hops på engelska betyder humle, därav logotypen.

Open source, eller öppen källkod, ger utvecklare möjlighet att lägga till funktioner och göra ändringar.

Distribuerade system innebär system med data utspridd på många datorer i ett kluster, system som av användaren uppfattas som ett enda sammanhängande system. Ett optimalt exempel är Internet.

Läs mer om Hops: http://www.hops.io/

SICS Swedish ICT är en obunden forskningsorganisation som ingår i institutsgruppen Swedish ICT Research – en del av RISE, Research Institutes of Sweden.