Det vigtigste kort fortalt
- Ofte ligger årsagen i de data modellen trækker på, de instruktioner den får, eller de workflows den indgår i.
- De fleste fejl med AI i danske virksomheder stammer ikke fra selve modellen, men fra de fem klassiske svagheder i opsætningen: uklare instrukser, forældede dokumenter, mangelfulde data, for brede rettigheder og manglende fallback.
- Start tjeklisten med instruktioner, data, adgang og en klar fallback.
Fejl kommer ikke altid fra modellen
Fejl kommer ikke altid fra modellen. Ofte ligger årsagen i de data modellen trækker på, de instruktioner den får, eller de workflows den indgår i. Når et AI værktøj giver et uventet svar, er den nemme forklaring at modellen er dårlig. Sandheden er som regel mere jordnær.
Det er hurtigere at pege fingre af en algoritme end at kigge indad.
Dansk erhvervsliv peger selv på datakvalitet og datatilgængelighed som centrale implementeringsudfordringer for AI. En officiel dansk rapport om AI i danske virksomheder 2024 viser, at virksomheder kæmper med netop dette fundament. Hvis kildematerialet er ufuldstændigt, forældet eller indeholder interne modsigelser, så rækker selv den bedste model ikke langt.
Hos Lynpadden ser vi det tydeligt i praksis. Da vi byggede en automatisk produktimport direkte fra leverandørdata til WooCommerce, var udfordringen ikke modellen. Den kunne sagtens generere tekster og sætte priser. Udfordringen var leverandørens dataformat, som skiftede uden varsel, og felter der pludselig manglede. Resultatet blev først stabilt, da vi indbyggede validering og alarm ved dataskift. I dag kører 24 produkter igennem hver dag helt automatisk, men det krævede at vi fejlsøgte omkring data og workflow først.
Modellen er sjældent det svage led.
Fejlfinding bør derfor starte et andet sted. Tjek om instruktionerne er præcise nok, om adgangen til interne dokumenter er opdateret, og om der er en klar eskalationsvej, når svaret ligger uden for det, systemet er sat op til. Det lyder småt, men det er tit her, fejlene forsvinder fra hverdagen.
Tjek instrukser, dokumenter, data, rettigheder og fallback
De fleste fejl med AI i danske virksomheder stammer ikke fra selve modellen, men fra de fem klassiske svagheder i opsætningen: uklare instrukser, forældede dokumenter, mangelfulde data, for brede rettigheder og ingen fallback, når svaret ikke holder.
Dårlige instrukser er sjældent udtryk for dårlige intentioner. De er bare ufuldstændige.
Når en medarbejder beder AIen om at skrive en god mail til kunden, mangler der kontekst. Hvilken kunde, hvilket sprog, hvilken tone og hvilken sag? Uden præcise rammer trækker AIen på generiske mønstre eller gamle skabeloner, som sjældent passer til den aktuelle situation. Samme risiko gælder dokumenter. Hvis AIen har adgang til en vidensbase fra 2022, mens virksomheden arbejder efter nye procedurer fra 2024, reproducerer den forældet praksis. En officiel dansk undersøgelse fra Digitaliseringsstyrelsen peger netop på datakvalitet og dataadgang som centrale implementeringsudfordringer for danske virksomheder, der arbejder med AI. Vi ser det selv i vores arbejde med automatiseret produktimport, hvor 24 produkter om dagen flyttes fra rå leverandørdata til færdige varer i WooCommerce. Hvis leverandørens filer indeholder slåfejl, forkerte priser eller manglende beskrivelser, og der ikke er indbygget validering, forplanter fejlen sig øjeblikkeligt til webshoppen.
For brede rettigheder er en overset risiko.
Når værktøjet har adgang til alle dokumenter, alle kundedata og alle interne systemer uden filtrering, kan det trække fortrolige oplysninger ind i et svar, som efterfølgende deles med den forkerte modtager. Adgang skal matche opgaven præcist. Her kan en Custom GPT med afgrænset dataadgang hjælpe, fordi den kun søger i de kilder, du aktivt godkender.
Manglende fallback er det sidste led i kæden. Hvis AIen ikke ved, hvad den skal gøre, når den er usikker, gætter den. I stedet for at eskalere til et menneske leverer den et overbevisende, men forkert, svar. Danske virksomheder indfører i stigende grad kontrolmekanismer for output genereret af AI, og med god grund. En simpel regel om at stoppe og bede om godkendelse, når data er ældre end seks måneder, kan spare dyre fejl.
Lav en tjekliste til fejlfinding
En god tjekliste starter med alt det, der ligger rundt om modellen. Fejl kommer sjældent fra algoritmen alene.
En officiel rapport om AI i danske virksomheder peger på datakvalitet og dataadgang som centrale barrierer. Derfor skal din tjekliste starte med kilden. Tjek om tallene er friske, om filerne er komplette, og om systemerne taler sammen. Derefter kigger du på instruktionerne. En upræcis prompt giver et upræcist svar, selv med den bedste model.
Definer hvem der godkender output, hvem der eskalerer fejl, og hvornår et resultat må sendes videre. Hos Lynpadden så vi det i praksis, da vi byggede lead research og personlig mail til B2B SaaS. Her var kontrollen af datakilden og godkendelsen af tonen vigtigere end modelvalget. Resultatet blev personlige mails klar til afsendelse på 2 minutter per lead.
Tjek faktiske oplysninger i hvert enkelt svar. Stil krav om, at AI angiver kilder, som du selv kan åbne og læse. Sammenlign navne, datoer og beløb med de originale dokumenter. Hvis svaret indeholder beregninger, skal du genskabe dem i et regneark for at fange regnefejl. En tjekliste skal indeholde et konkret punkt om verifikation, for selv små afvigelser i tal kan føre til forkerte beslutninger. Overvej at sætte et maksimalt antal linjer eller et formatkrav, så du nemt kan se, hvis strukturen pludselig ændrer sig.
Test, om svaret holder, når du stiller det samme spørgsmål på en anden måde. Modstridende svar på samme input er et tegn på, at noget er usikkert. Tjek også, hvordan AI håndterer grænsetilfælde, for eksempel manglende data eller selvmodsigende krav. Skriv tre til fem standardtestcases ned, som du altid kører, før en ny prompt sættes i produktion. Noter specifikt, om AI opfinder information, når den mangler viden, frem for at svare, at den ikke ved det.
Afgør hvilke emner der altid skal forbi menneskeøjne, før de sendes videre. Det kan være juridiske formuleringer, priser eller sundhedsoplysninger. Skriv disse kategorier ind i tjeklisten med et kryds for hver gennemgang. Før samtidig en simpel log over fejl, hvor du noterer prompt, datakilde og fejltype. Gennemgå loggen hver måned, så du kan opdatere tjeklisten, når mønstrene viser, hvor AI oftest svarer forkert. Gem loggen et sted, hvor hele teamet har adgang, så erfaringerne ikke forsvinder, når en enkelt medarbejder holder ferie.
Dokumentation skal være et fast punkt på listen. Fra 2025 gælder AI Act krav om AI færdigheder for udbydere og anvendere af AI systemer. Gem derfor en kort beskrivelse af, hvem der vedligeholder løsningen, og hvornår data sidst blev opdateret. Opdater listen, når I skifter datakilde, tilføjer en ny medarbejder eller ændrer en arbejdsgang. En tjekliste holder kun, hvis den afspejler den faktiske arbejdsgang.
Brug Custom GPT og RAG til at holde svar tæt på kilderne
En praktisk måde at reducere fejl i AI output er at binde modellen til virksomhedens egne dokumenter med retrieval augmented generation og custom GPT løsninger. Så kommer svarene fra godkendte kilder i stedet for løs, generel viden, og risikoen for forældede oplysninger bliver mindre.
Det er især her RAG kan hjælpe.
RAG fungerer som et filter, der tvinger AI til at henvise til konkrete tekster, databaser eller procedurer. Det betyder, at en medarbejder, der spørger ind til en intern arbejdsgang, får et svar baseret på den seneste version af jeres dokumentation. Digitaliseringsstyrelsens rapport om AI i danske virksomheder peger netop på datakvalitet og tilgængelighed som centrale barrierer for effektiv AI brug i Danmark.
Opsætningen omkring værktøjet betyder meget.
Når du bygger en custom GPT, skal I tage stilling til, hvem der har adgang til hvilke dokumenter, hvordan viden opdateres, og hvad der sker, når en kilde er tom eller modstridende. Fejl opstår sjældnere i selve sprogmodellen end i de processer, som omgiver den. Hos Lynpadden ser vi det tydeligt i arbejdet med automatiseret lead research, hvor valid data og klare kilder gør det muligt at nå fra research til personlig mail på to minutter per lead.
Med AI Act gælder der fra 2025 krav om AI færdigheder for udbydere og anvendere af AI systemer. En RAG baseret opsætning gør det nemmere at leve op til kravene, fordi du kan dokumentere præcis, hvilke kilder modellen trækker på. Det gør opsætningen lettere at forklare for både medarbejdere og revisorer.
Hvis jeres AI giver ustabile eller uforudsigelige svar, er det ofte et tegn på, at kilderne ikke er bundet godt nok til modellen. Du er altid velkommen til at kontakte Lynpadden, hvis I vil tale om en opsætning, der hænger bedre sammen og giver mere pålidelige resultater.
Når AI svarer forkert: sådan finder du fejlen
De fleste forkerte svar fra kunstig intelligens i en virksomhed kommer ikke fra selve modellen. De opstår, fordi instruktionerne er for svage, kildedata er forældede, eller fordi systemet har fået for brede rettigheder til at gætte ud over sine dokumenter.
Fejlen ligger som regel i opsætningen.
Jeg ville starte med at læse instruktionerne højt. Hvis en medarbejder ikke kunne løse opgaven ud fra din beskrivelse, kan modellen heller ikke. I vores case med automatisk produktimport til WooCommerce opstår der 24 produkter per dag, fordi vi byggede valideringsled mellem leverandørdata og publicering. Uden det led risikerede webshoppen at udstille produkter med forkerte felter eller forældede priser.
Undersøg om svaret kommer fra dine egne dokumenter eller fra modellens generelle viden. En såkaldt RAG opsætning skal hente svaret i godkendte kilder, men hvis kilderne er ufuldstændige eller forældede, bliver resultatet også skævt. Danske virksomheder peger i officiel rapportering netop på datakvalitet og datatilgængelighed som en af de største barrierer for effektiv brug af kunstig intelligens.
Systemet skal have en klar vej videre, når det mangler svar.
Hos et bureau med automatisk konkurrentovervågning sparede de 6 timer om ugen, fordi overvågningen var bundet til faste datakilder og klare regler for, hvad der skulle rapporteres. De undgik støj, fordi modellen ikke skulle tolke markedet frit. Tilsvarende ser vi i casen med lead research og personlig mail til B2B SaaS, at det tager 2 minutter per lead til første svar, men kun fordi researchfasen er låst til valide kilder. Ellers ender den personlige mail let med fakta om den forkerte kontaktperson. Sørg for at usikre svar ender hos et menneske. Hvis modellen ikke kan finde svaret, skal den henvise videre i stedet for at opfinde et. Fra 2025 gælder AI Act reglerne om AI færdigheder, så fejlfindingsprocessen bør også være skrevet ned og kendt i organisationen.
Fejlfinding i kunstig intelligens er i bund og grund et spørgsmål om proces, ikke om model.
Ofte stillede spørgsmål
Hvorfor svarer AI forkert, selvom modellen er god?
Fejl kommer sjældent fra selve modellen. De fleste fejl skyldes dårlige instruktioner, forældede dokumenter, mangelfulde data eller for brede tilladelser. Når AI svarer forkert, ville jeg først tjekke, om kilden er opdateret, og om instruktionen er præcis nok.
Hvordan finder jeg ud af, om det er en datafejl eller en instruktionsfejl?
Jeg ville starte med kilden. Hvis AI henter data fra et gammelt dokument, er det en datafejl. Hvis AI misforstår spørgsmålet, selvom kilderne er korrekte, er det en instruktionsfejl. Tjek også om brugeren har adgang til de rigtige informationer.
Hvad gør jeg, når AI ikke kan svare på spørgsmålet?
Byg en fallback rutine ind fra starten. Når AI ikke kan svare sikkert, skal den sige det tydeligt og henvise til et menneske. Undgå at lade AI gætte sig frem. Det giver tillidsproblemer og kan også skabe compliance risici.
Hvordan holder jeg AI’s viden opdateret?
Sæt en fast rutine op for at ajourføre kildedokumenter. I praksis betyder det, at nogen har ansvar for at opdatere den viden, AI trækker på. Mange fejl opstår, fordi interne dokumenter er forældede eller fordi nye procedurer ikke er lagt ind i systemet.
Hvilke kontroller bør vi have på plads for at undgå fejl?
Tjek disse fire punkter: Er instruktionen klar og afgrænset? Er kildedata ajourførte og komplette? Har brugeren de rigtige adgangsrettigheder? Er der en klar eskalationsvej, når AI er usikker? Danske virksomheder bruger allerede kontrolmålinger for resultater genereret af AI.
Hvad skal jeg dokumentere, når AI giver et forkert svar?
Dokumentér spørgsmålet, AI’s svar, den faktiske korrekte information og hvad der gik galt. Fra 2025 gælder AI Act reglerne om AI færdigheder for dem, der leverer eller bruger AI systemer. En simpel log hjælper med at spotte mønstre og forbedre systemet.
