Så jobbar vi för att säkerställa hög datakvalitet

Att samla in data är en stor uppgift, och det finns mycket som kan gå fel. Parallellt med detta ökar kraven på datakvalitet för både finansiering och rapportering. Metrys plattform har sedan starten haft en dedikerad del för validering och spårbarhet i den data som samlas in.

Anton Holm, Chief Product Officer på Metry, berättar:

– Vi ser kvalitet som en av grundpelarna i vad vår produkt är för våra kunder, och vi jobbar löpande med att förbättra och automatisera processerna för datakvalitet. För att säkerställa hög kvalitet går varje enskilt värde som Metry samlar in genom en valideringsprocess i flera steg innan de sparas ner i vår databas.

Detta görs alltså för varje enskild datapunkt som har tagits in i vår databas, vilken innehåller fler än 15 miljarder sådana. Ganska imponerande, om du frågar oss!

Så går valideringsprocessen till

Alla förbrukningsvärden som samlas in i Metry går igenom hundratals steg innan de sparas ner i Metrys databas, men i korthet kan valideringsprocessen förklaras i tre huvudsakliga moment:

1. Mappa mätningen till rätt brytpunkt

Först vill vi ta reda på vilken tid värdet avser och vilka perioder som du förväntar dig få ett värde. Om det är månatlig granularitet som förväntas, så mappar vi datapunkten till närmaste månad. Om det är timvärden som förväntas, så tittar vi istället på närmsta brytpunkt på timnivå. Vårt system tittar också så att vi har tillräckligt många avläsningar och så att tiden mellan dessa är godtagbar för att kunna göra en korrekt analys.

2. Identifiera och åtgärda luckor i förbrukningen

Efter att vi identifierat rätt tid för värdet tittar vi på om något saknas i datan. Saknad data kan bero på allt från gateways i en undermätningsuppsättning som tappar nätverkskontakt, till att en person som manuellt samlar in data är sjuk på insamlingsdagen.

Om det saknas data från nätbolag så triggas en utredning i Metry där vi undersöker anledningen, begär eventuella saknade från nätbolaget eller åtgärdar eventuella buggar. Om det saknas data från undermätare triggas istället ett larm åt dig i Metry-portalen, tillsammans med ett åtgärdsförslag, så att du enklare kan undersöka er hårdvara för att se vad som har gått fel.

Men om datan helt enkelt inte existerar i datakällan kan du som kund själv välja att interpolera för att minska luckor. Det är ett stort problem att alla datakällor inte har 100% data, därför fokuserar vi mer och mer på vad vi kan göra för att minska antalet luckor i datainsamlingen.

– En tjänst vi redan erbjuder är redundant insamling, alltså att vi genom att lägga till flera datakällor för samma mätpunkt kan ge våra kunder mer data snabbare. Parallellt med det jobbar vi med att utveckla nya lösningar för att täcka upp saknad data, berättar Anton Holm.

3. Kontrollera att det insamlade värdet är rimligt

Efter att datan har samlats in gör vi en sanity check för att se om den är rimlig. Har en undermätare helt plötsligt börjat skicka värden större än solens årliga energiproduktion? Eller har en fil börjat rapportera nollvärden? Med hjälp av maskininlärning har vi utvecklat automatiserade system som kan jämföra avläsningen med både kringliggande värden och historiska värden, och därigenom avgöra om värdet är konsekvent. På så sätt kan vi fånga upp misstänkta värden och flagga för dessa innan ni börjar räkna med dem i era rapporter.

– Detta är en viktig del i kvalitetsprocessen som vi har möjlighet att göra eftersom vi är en stor data-aggregator som har enorma mängder data att analysera. Vi tittar inte bara på siffror för en kund, utan kan jämföra siffror för alla våra kunder, förklarar Anton Holm.

Spårbarhet – en förutsättning för datakvalitet

Ju mer hållbarhet blir en finansiell fråga, desto viktigare blir det att datan som ligger till grund för att utvärdera hållbarhet är pålitlig. Inom till exempel ekonomi är det självklart att ha ett bokföringssystem med spårbarhet. Och inom hållbarhet kommer spårbarhet för energidata blir lika självklart när kraven på kvalitet ökar.

– Vi ser spårbarhet som en självklar del i datakvalitet, och ser därför till att vi kan följa exakt vad som har hänt i varje del av valideringsprocessen. Vi loggar varje steg, vad som fungerade, vad utfallet blev, vad som skiljde input från förväntad output och potentiella felmeddelanden, berättar Anton Holm.

Om något gått fel vid insamlingen, eller om ett värde har ändrats eller uppdaterats, så kan vi följa insamlingskedjan och pinpointa var, när och varför det har hänt. På så sätt får du full insyn i er data och kan vara trygg att den håller måttet, både för det dagliga energiarbetet och vid rapportering.

Datakvalitet från kultur till kod

Kvalitet är ett av våra core values på Metry, och det genomsyrar allt vi gör. Vårt fokus på kvalitet utgör till exempel också grunden för hur vi jobbar med vår mjukvara när vi bygger nya funktioner och utvecklar vår plattform.

– Vi är ett mjukvaruföretag i framkant som uppdaterar vår kod varje dag för att hålla den modern. All kod som produceras ska vara i produktion så snabbt som möjligt. Vi försöker att leverera den i små releaser för att snabbt kunna testa och verifiera varje liten bit. Vi vågar göra det eftersom vi har gott om tjänster och processer för att bygga och testa. Automatiska tester körs på all kod som läggs till i kodbasen för att säkerställa att den kan hantera alla möjliga utfall den kan ställas inför, och varje ny del kod som deployas har kontrollerats av minst en eller två andra utvecklare än den som skrev den för att se till att den håller den standard som vi förväntar oss. Innan vi släpper en ny funktion gör varje Team Lead eller Product Manager en manuell testning för att se så att alla krav uppfylls, identifierar eventuella buggar och åtgärdar dessa innan det når våra kunder, berättar Anton Holm.

En annan tydlig kultursättare för det tänket är vår månadsvisa SLA-dag. I början av månaden sitter varje enskild medarbetare på Metry under en gemensam heldag och analyserar kund för kund hur mycket data vi har levererat för att kunna sammanställa en insamlingsrapport. Hela företaget sitter alltså och tittar på dataflödet för varje mätpunkt där värden saknas för att ta reda på varför, och kontaktar berörda kunder och nätbolag för att åtgärda felet så att datan kan samlas in.

– Målet är att alla mätpunkter som våra kunder betalar för ska ha data, eller en godtagbar anledning till saknad data som vi är medvetna om och har rapporterat. Alla saknade eller felaktiga mätvärden får alltså både en automatisk och en mänsklig handpåläggning. Det är en viktig del i vårt varumärke, och vårt löfte till kunden att leverera högsta möjliga datakvalitet.

Vill du veta mer om våra tjänster för insamling och kvalitetssäkring av energidata? Prata med någon av våra produktexperter så guidar de dig genom plattformen!