Meteorologiske data
Innhenting av meteorologiske data er ofte tidkrevende. Effektive metoder for datainnsamling er derfor essensielle for å redusere tidsbruk og sikre høy kvalitet i analysene. I følgende artikkel beskriver vi løsningen vi har utviklet for å forenkle innhenting av meteorologiske data.
I kundeprosjekter hvor vi analyserer energiforbruk er meteorologiske data viktige. Solinnstrålingsdata, temperatur, vind og nedbør. Klimadata påvirker energibruken og analyser må hensynta påvirkning klimadata har på forbruket. Innhenting av data er ofte tidkrevende. Effektive metoder for datainnsamling er derfor essensielle for å redusere tidsbruk og sikre høy kvalitet i våre analyser. I følgende artikkel forklares kort hvordan praksis ofte er, og presenterer hvilke løsninger vi har utviklet for å forenkle innhenting av meteorologiske data.
Faktiske værobservasjoner
Faktiske værobservasjoner er tilgjengelig gjennom Meteorologisk institutt (MET) sitt Frost API1. Her er det mulig å hente værdata fra alle norske værstasjoner. I prosjekter hvor det finnes en værstasjon i nærheten av aktuelle bygg er det både enklest og mest presist å laste ned værdata fra nærmeste værstasjon. En løsning for å hente værdata er å bruke Norsk Klimaservicesenter. De har utviklet en egen webtjeneste hvor det er mulig å velge både tidsoppløsning, værelementer, tidsroms og aktuell værstasjon2.
I de aller fleste tilfeller er det derimot mest tidseffektivt å hente data programmatisk. For å komme i gang med Frost sitt API kan man følge eksemplene som er gitt her: https://frost.met.no/howto.html, samt tilhørende eksempler for R, Python, Java og PHP.
Likevel er det ofte slik at det ikke finnes en værstasjon i nærheten av den nettinfrastrukturen som det gjøres en analyse for. I disse tilfellene er det mest presist å bruke klimadata fra MET sin numeriske værmodell.
Den numeriske værvarslingsmodellen
Met.no leverer grid-data i NetCDF filformat gjennom MET sin Thredds server 3. Hver time har sin egen NetCDF-fil, dvs. det er 8760 filer for ett år. Hver fil er over 100 MB. Dette betyr at for at det skal være mulig å hente klimadata for ett år må det programmatisk hentes data fra 8760 filer. Det fungerer, men er ikke en effektiv metode for å innhenting av klimadata.
Cofactors løsning
For å sikre rask og presis tilgang til meteorologiske data har vi “pakket ut” alle klimadata for alle NetCDF filene som ligger på Mets Thredds server. Foreløpig tilbake 01.01.2024. Dataene har vi lagret i vår kolonnebaserte database (DuckDB). Databasen oppdateres hver morgen med gårsdagens siste 24 timer. Nåværende database inneholder 5 milliarder observasjoner. Alle Cofactors digitale tjenester har tilgang via eget API for å hente klimadata for aktuelle posisjoner. Løsningen er tidsbesparende, presis og rask. Datainnhenting som tidligere var tidkrevende og krevde både GIS og programmeringskompetanse er nå tilgjengelige på sekunder.