Gå til indhold
Mickey Liechtenstein AI Foredrag Kurser & workshops Fortæl om jeres arrangement

Guide

AI til datarensning med plads til det vi ikke ved

AI kan hjælpe med at opdage uens stavemåder, mulige dubletter og mærkelige værdier. En brugbar oprydning kræver, at I kan se hver ændring og lade usikre oplysninger stå åbne.

Set ovenfra sorterer to hænder grønne, beige, grå og rustrøde papirkort i bunker på et bord.

Et tomt felt kan være mere ærligt end et udfyldt

Et regneark kan se pænt ud og stadig være forkert. Alle datoer kan have samme format, selv om nogle af dem er gættet. To kunder kan være slået sammen, fordi deres navne ligner hinanden. Og en manglende vægt kan være erstattet med et plausibelt tal, som ingen har målt.

Derfor skal en opgave med datarensning begynde med at definere, hvad data skal bruges til. Er det en adresseliste, et produktkatalog eller en opgørelse af tidsforbrug? Den samme usikkerhed kan være ubetydelig til et foreløbigt overblik og afgørende, når oplysningerne styrer en faktura eller en levering.

Den britiske regerings Data Quality Framework skelner blandt andet mellem fuldstændighed og korrekthed. Et datasæt kan have værdier i alle felter og stadig indeholde forkerte oplysninger. Rammen beskriver seks dimensioner: fuldstændighed, entydighed, konsistens, aktualitet, gyldighed og korrekthed. [1] Det er en nyttig metode til at stille spørgsmål til data, ikke et dansk lovkrav.

Brug AI til at foreslå, hvor noget bør undersøges. Lad faste, gennemskuelige regler udføre de ændringer, som er entydige. Og lad en person med kendskab til oplysningerne afgøre de tilfælde, hvor betydningen kan ændre sig. Metoden nedenfor er vores praktiske forslag til et lille, kontrolleret forløb.

Ensartethed begynder med aftalte regler for sortering og betydning. AI-genereret illustration.

Bevar originalen og skriv reglerne ned

Gem først en urørt kopi med versionsnavn og tidspunkt for udtrækket. Giv hver række et stabilt ID, som følger med gennem arbejdet. Rækkenummer alene er skrøbeligt, fordi sortering kan flytte posterne. Arbejd i en kopi, og behold både den oprindelige værdi og den foreslåede værdi i ændringslisten.

Beskriv derefter de vigtigste felter. Hvad betyder de? Hvilke værdier er tilladt? Hvilken enhed bruges? Må feltet være tomt? Et produktnummer er eksempelvis en identifikator, selv om det kun består af cifre. Et indledende nul kan derfor være betydningsfuldt og skal ikke automatisk fjernes.

Begynd med et lille udsnit, som indeholder både almindelige poster og kendte problemer. Brug kun materiale, der er godkendt til det valgte værktøj. Til en indledende afprøvning kan opdigtede eksempler ofte vise, om instruktionen virker, uden at kunders eller medarbejderes oplysninger indgår.

Bed modellen returnere række-ID, felt, originalværdi, forslag, anvendt regel og begrundelse. Kræv en særskilt kategori for »kan ikke afgøres«. En models egen sikkerhedsprocent bør ikke stå alene som grund til at godkende en ændring. Den skal kunne forklares ved hjælp af jeres regel eller en kontrollerbar kilde.

Tal kan først omregnes, når enheden er kendt. AI-genereret illustration.

En person i forklæde skriver på et kort ved siden af målebægre med havregryn, mel og frø.
Illustrationsbillede genereret med AI.

Skeln mellem formatering og ændring af betydning

At fjerne et ekstra mellemrum er normalt en anden type opgave end at afgøre, om to virksomheder er den samme. Lav derfor en konkret opdeling, før forslagene bliver udført.

Formatering kan følge en fast regel: eksempelvis at skrive en allerede entydig dato i et fælles format. Men værdien 03/04 er ikke entydig uden viden om den oprindelige datoorden. Den skal til kontrol, også selv om modellen vælger en fortolkning uden at tøve.

Dubletter kræver en aftale om, hvad en post repræsenterer. To ens navne kan være to personer. To poster med samme kundenummer kan være den samme kunde i forskellige perioder. Slå først sammen, når de relevante nøgler og forretningsregler understøtter det. Bevar en henvisning fra de oprindelige poster til den samlede post.

Enheder kræver tilsvarende omtanke. En værdi på 1,2 kan være kilogram, meter eller et decimaltal uden enhed. Omregn kun, når kildeenheden er kendt, og gem oplysningen om omregningen. Lad være med at gætte ud fra, hvad der ser mest normalt ud.

Manglende værdier bør blive ved med at være synlige. »Ukendt«, »ikke relevant« og nul betyder forskellige ting. Hvis en analyse kræver et statistisk skøn, skal det være en særskilt, dokumenteret beregning. Et skøn må ikke glide ind blandt målte værdier som en almindelig rettelse.

Den urørte original gør ændringer mulige at efterprøve. AI-genereret illustration.

Gør kontrollen til en del af leverancen

En instruktion til et første forsøg kan lyde: »Undersøg disse poster efter de vedlagte feltregler. Lav kun forslag. Bevar række-ID og originalværdi. Udfyld ikke manglende oplysninger ved gæt. Angiv den konkrete regel bag hvert forslag, og markér tvivl til menneskelig kontrol.« Tilføj jeres egne regler og et par eksempler på både tilladte og afviste ændringer.

Kontrollér derefter alle ændringer, der kan ændre identitet, beløb, enheder eller betydning. Tag også stikprøver af poster, som modellen lod være. Ellers undersøger I kun de fejl, den selv pegede på. Ved store datasæt bør en dataansvarlig fagperson fastlægge en kontrol, der passer til konsekvenserne ved fejl.

Afstem antal poster før og efter. Forklar alle slettede og sammenlagte rækker. Sammenlign relevante summer og fordelinger, og undersøg overraskende ændringer. At en sum er bevaret, beviser dog ikke, at hver enkelt række er korrekt.

Den britiske ledsagende vejledning anbefaler at måle datakvalitet mod formålet, dokumentere problemer og undersøge deres årsager. [2] Brug det til at se ud over den enkelte oprydning. Hvis medarbejderne hver måned skriver enheder forskelligt, kan et bedre indtastningsfelt være mere nyttigt end endnu en AI-rensning.

Aflever den rensede kopi sammen med ændringslisten, reglerne og de uafklarede poster. Skriv, hvem der har godkendt resultatet, og hvad det må bruges til. NISTs frivillige AI-ramme kan bruges som baggrund for at organisere vurdering og ansvar. [3]

Et godt resultat er et datasæt, som andre kan forstå og efterprøve. Nogle felter vil stadig være tomme. Det er acceptabelt, når tomrummet fortæller sandheden om, hvad I faktisk ved.

Læs også

Kilder og videre læsning

Læs også

Vil I arbejde videre med emnet sammen?

Fortæl kort om deltagerne og anledningen – så finder vi det foredrag eller kursus, der passer.

Fortæl om jeres arrangementSkriv til mig