Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Geokettle är en ETL applikation för hantera dataflöden genom att:

  • Extrakt - hämta 
  • Transform - berabetabearbeta
  • Load - Ladda

Geokettle används för att automatisera dataströmmar så att de passar in i och kan integreras med annan information. Genom det grafiska gränssnittet kan ibland mycket komplexa uppgifter lösas på ett överskådligt sätt. Många datakällor kan läsas, bearbetas och integreras med varandra. Resultatet kan skrivas ut i filer eller tabeller med helt annan struktur.  Geokettlle stöder många typer av datakällor, speciellt alla spatiala format och inte minst OGCminst  Open Geospatial Consortium (OGC) standarden.

Mer dokumentation finns under Spatialytics ETL

 

Table of Contents

Applikationen

Applikationen har ett grafiskt utseende.

Steg

Vänstra sidan består av listor med många funktioner som kan dras in  på arbetsytan och kallas  "steg". Det finns hundratals steg att välja mellan. Så många att nästan alla typer av data kan läsas, transformeras och skrivas.

Hopp

Stegen kan sammanbindas med pilar som kallas "hopp".  Bilden visar applikationen Geokettle men med Transformationen 'GeonamesToPostgres' aktivt på skrivbordet. Hoppen styr flödet som kan fördelas på olika sätt beroende på resultatet av ett enskilt steg.

Parametrar

Varje steg innehåller fält där värden kan skrivas in. Värdena kan vara variabler som sätts när en körning ska påbörjas eller när en körningen eller som parametrar vid start från script. Bilden bredvid innehåller egenskaperna från steget "CVS file input" i bilden ovan och där filnamnet sätts samman av två parametrar.

Två typer av flöden

Jobb

Jobb är ett flöde som är seriellt och varje steg måste avslutas innan nästa påbörjas. Ett typiskt jobb kan vara att som bilden nedan visar: Hämta ; hämta en fil, packa upp den och kalla på en transformation för att bearbeta den.

Image Added

Transformation

Transformation är ett flöde som pågår genom alla steg samtidigt. Typiskt exempel från första bilden där data läses från en fil, rad för rad med flödet fortsätter till nästa steg som beräknar en geometri som sen går vidare till att bestämma en kartprojektion, vidare till ett filter som bestämmer vilka attribut som ska finnas med innan det sista steget skriver informationen till en databastabell. Flera dataströmmar kan bearbetas samtidigt och varje dataström kan också delas genom olika villkor. Multipla datakällor kan går samman till en ström och vice versa kan en ström skrivas till olika tabeller eller filer.

Jobb och transformationer kan kalla på varandra och på så vis kan mycket komplexa dataflöden hanteras. Jobb och transformationerna kan köras direkt från Geokettle

Image Removed 

Automatisering

Starta från en kommandorad

När de Efter att jobb och transformationer /eller transformationer är klara och gör det jobb de ska, kan de sen köras utan att behöva starta Geokettle utan istället köras . De körs då istället i en konsolmiljö. Kommandot med sina parametrar kan sparas i en fil och en hel datakörning kan köras igång med ett klick.

Automatisera från operativsystemet

Operativsystemet, Windows, Linux, m.fl. med dess egenskaper att automatiskt starta starta processer, t.ex. på en viss tid, gör att en datakörning helt kan automatiseras.