Tips för att behärska din datakvalitet

Jag skrev för ett tag sedan om Spectrum, vår lösning för datakvalitet som ju också kan berika adressdata med geografiska komponenter. Vår produktledare Navin Sharma har fått en artikel om datakvalitet publicerad hos InformationManagement.com. Jag tyckte den var bra, men eftersom den är på engelska har jag sammanfattat på svenska nedan.
Enligt en Gartner-rapport fördubblas mängden data i en stor organisation var 18:e månad. Data governance – datastyrning, att behärska sin datakvalitet – är därför lika viktigt som exempelvis att ha en bra personalstrategi. Felaktigheter, dubletter, inkomplett och inaktuellt data ställer till stora problem. Ett annat vanligt problem är vem i organisationen som ”äger” dataförvaltningen.

Framgångsrika organisationer har en tredelad strategi:

1) Ta tempen på datakvaliteten (Data Profiling)
Vi köper knappast ett hus som inte är besiktigat. Likaväl bör vi inte använda data av okänd kvalitet.

• Hur stor andel av fälten är tomma?
• Är det rätt typ av data (text, siffror, etc.) i fälten?
• Hur många unika identifierare är faktiskt inte unika?

2) Tvätta data (Data Quality)

• Formatera data (till exempel normalisering av adresser)
• Plocka ut komponenterna ur sammansatta datafält
• Kontrollera innehållet (t.ex. att adressen inte är Ankeborgsvägen 123)
• Avlägsna dubletter

Den bästa strategin för datatvätt är att köra dels batchkörningar med tvätt av hela datalagret, förslagsvis varje kvartal, dels kontinuerlig tvätt av nya data på den plats där inmatning sker. Det räcker inte att med batchkörning en gång och sedan tvätt vid inmatning, det finns alltför många källor för nya data som trots allt inte blir tvättat.

3) Klargör ägarskapet för datastyrning (Data Governance)
Ansvaret för datakvalitet bör ligga hos en ledningsfunktion (data governance) som jobbar med utpekade intressenter på varje nivå i organisationen. Eftersom vi lever med ständig förändring ska det gärna finnas en dedikerad tjänst (data steward) som ständigt utvecklar och förvaltar datakvaliteten. En klar strategi för datakvalitet, ofta kallat Master Data Management, kommer att ha positiv påverkan på funktioner som marknadsföring, inventering, orderhantering och fakturering.