Multimodal AI: Når modellen kan se, høre og tale

Et chatfelt passer godt til tekst. Arbejdet passer sjældent så pænt.

En servicetekniker står foran en maskine og kan lettere vise problemet end beskrive det. En borger vil hellere tale end skrive. En underviser har en tavletegning, en elevbesvarelse og et spørgsmål. En kommunikationsmedarbejder skal forstå både et billede, en lydfil og den tekst, der skal udgives.

Multimodal AI samler flere af disse formater. Modellen kan eksempelvis modtage tekst og billeder, forstå tale og svare med tekst eller stemme. Nogle systemer kan også analysere video eller skabe billeder og lyd.

Det gør interaktionen mere naturlig. Men “kan se” er en praktisk forkortelse – ikke et løfte om menneskelig iagttagelse eller forståelse.

Hvad betyder multimodal?

En modalitet er en type information. I AI-sammenhæng taler man typisk om:

• tekst
• billeder og dokumentlayout
• lyd og tale
• video
• strukturerede data

Et system er multimodalt, når flere typer kan indgå i samme model eller arbejdsgang. Det kan være input, output eller begge dele.

Et eksempel:

1. Brugeren tager et billede af en fejlmeddelelse.
2. Hun forklarer problemet med stemmen.
3. Systemet læser billede og tale sammen.
4. Det finder et relevant afsnit i manualen.
5. Det svarer med en kort trinvis instruktion, som læses højt.

Hver del kan komme fra forskellige teknologier. Det er derfor vigtigt at kende hele kæden: talegenkendelse, billedanalyse, søgning, sprogmodel og stemmesyntese kan have hver deres fejl og databehandling.

Fem jordnære anvendelser

1. Se et dokument som dokument

Traditionel tekstudtrækning kan miste tabeller, kolonner, markeringer og placering. En multimodal model kan bruge både ordene og layoutet til at forklare en formular, sammenligne to slides eller finde en afvigelse i en rapport.

Den bør stadig ikke være eneste kontrol af beløb, små fodnoter eller komplekse tabeller. Bed den pege på side og område, og åbn kilden selv.

2. Gøre instruktioner konkrete

En medarbejder kan fotografere en del eller opsætning og spørge: “Hvilket trin i manualen er relevant?” Systemet kan hjælpe med at forbinde den synlige situation med dokumentation.

Ved fysisk sikkerhed skal instruktionen være godkendt og kontrolleret. AI bør ikke improvisere et indgreb i el, maskiner, medicinsk udstyr eller andre risikofyldte miljøer.

3. Skabe bedre tilgængelighed

Tale-til-tekst kan hjælpe mennesker, der har svært ved at skrive. Tekst-til-tale kan gøre indhold tilgængeligt på en anden måde. Billedbeskrivelser kan støtte brugere, der ikke kan se motivet, og live-oversættelse kan lette en samtale.

Men AI-output er ikke automatisk tilgængeligt. En genereret billedtekst kan overse det vigtigste, og en syntetisk stemme kan være svær at forstå. Test med de mennesker, der faktisk skal bruge løsningen, og følg etablerede tilgængelighedsstandarder.

4. Dokumentere feltarbejde

En medarbejder kan diktere noter, tage billeder og få et struktureret udkast til rapporten. Det kan mindske dobbeltindtastning og gøre observationer mere præcise, mens de er friske.

Arbejdsgangen skal skelne mellem observation og AI-fortolkning. “Der ses en revne på cirka fem centimeter” er noget andet end “konstruktionen er farlig”.

5. Øve og forklare

En elev kan vise sin mellemregning, forklare med stemmen og få et spørgsmål tilbage. En ny medarbejder kan demonstrere en proces og få feedback på, hvilke trin der mangler.

AI’en bør støtte refleksion frem for at levere facit med det samme. Læreren eller instruktøren ejer læringsmålet.

Modellen ser ikke altid det, du ser

Anthropic beskriver i sin dokumentation kendte begrænsninger ved billedforståelse: Fejl kan opstå ved meget små, roterede eller lavkvalitetsbilleder, og præcis rumlig lokalisering er omtrentlig. OpenAI beskriver tilsvarende billedinput som noget, der skal gives i tilstrækkelig kvalitet og med en tydelig opgave.

Typiske fejlkilder er:

• små tal og tekst
• refleksioner, skygger og uskarphed
• beskæring, der skjuler kontekst
• atypiske vinkler
• flere næsten ens genstande
• diagrammer med komplekse akser
• symboler, modellen ikke kender
• billeder, der er blevet komprimeret flere gange

Et overbevisende svar kan bygge på en forkert aflæsning. Bed systemet beskrive, hvilke synlige detaljer det bruger, og kontrollér dem i originalen.

Lyd har sine egne blinde vinkler

Talegenkendelse bliver påvirket af:

• baggrundsstøj og dårlig mikrofon
• flere personer, der taler samtidig
• dialekter, accenter og kodeveksling
• navne, forkortelser og fagord
• tal, adresser og negationer
• lav stemme eller utydelig udtale

En fejl mellem “15” og “50” er lille i tekstlig afstand og stor i en ordre. Vis derfor kritiske felter til bekræftelse. Ved møder skal taleridentifikation ikke uden videre betragtes som korrekt.

Syntetisk tale skaber en anden risiko: En naturlig stemme kan få indhold til at virke mere sikkert eller menneskeligt. Brug ikke stemmens varme som mål for påstandens kvalitet.

Kamera og mikrofon udvider datarummet

Et billede af en maskine kan også vise kolleger, navneskilte, kundedata på en skærm og adgangskoder på en seddel. En lydfil kan rumme helbred, holdninger, konflikter og stemmer fra personer, der ikke vidste, at AI lyttede. Filer kan have metadata om sted og tid.

Før upload:

• beskær til det nødvendige
• slør eller fjern uvedkommende personer og oplysninger
• brug en godkendt konto og arbejdsgang
• informér de berørte, når det kræves
• aftal opbevaring og sletning
• undgå hemmelige eller følsomme omgivelser, medmindre løsningen er vurderet til det

Biometrisk identifikation og følelsesudledning rejser særlige juridiske og etiske spørgsmål. At et værktøj kan beskrive et ansigt, betyder ikke, at organisationen bør bruge det til at identificere en person eller konkludere noget om vedkommendes følelser.

Deepfakes følger med de stærkere formater

Når modeller kan generere troværdig tale, billeder og video, bliver det lettere at skabe nyttigt indhold – og at efterligne virkelige mennesker.

Organisationer bør have regler for:

• samtykke og rettigheder til stemme og udseende
• tydelig mærkning af syntetisk eller væsentligt manipuleret indhold
• forbud mod vildledende efterligning
• beskyttelse af ledelses- og betalingsprocesser mod stemmekloning
• opbevaring af originaler og redaktionel historik

Ved en uventet lyd- eller videobesked med en vigtig instruktion bør medarbejderen verificere gennem en anden kendt kanal.

Test en hel situation, ikke en enkelt fil

Et godt pilotforløb bruger materiale fra den virkelige opgave – lovligt og med beskyttelse af personer.

Variér:

• forskellige telefoner og mikrofoner
• lys, støj, vinkler og filkvalitet
• danske dialekter og relevante fagsprog
• brugere med forskellige forudsætninger
• normale og farlige fejl
• tilfælde, hvor systemet skal afstå

Bedøm mere end “rigtigt eller forkert”:

• kunne brugeren opdage fejlen?
• pegede systemet på grundlaget?
• sparede det tid efter kontrol?
• blev nogle brugergrupper dårligere stillet?
• blev der indsamlet mere data end nødvendigt?
• kunne processen gennemføres uden AI?

Design med mennesket som den ansvarlige sensor

Multimodal AI er stærk, når den gør tavs eller visuel information lettere at arbejde med. Den kan være et ekstra blik, et ekstra format og en første struktur.

Den bør ikke få det sidste ord, bare fordi den kan tale det højt.

Gør usikkerhed synlig. Vis originalen ved siden af fortolkningen. Lad kritiske tal og handlinger kræve bekræftelse. Sørg for en tilgængelig alternativ arbejdsgang. Og vær særlig forsigtig, når systemet beskriver mennesker, sikkerhed eller helbred.

Flere sanser gør AI’en mere anvendelig. Godt design sikrer, at de ikke gør organisationen mindre opmærksom.

Kilder og videre læsning

• OpenAI: Images and vision – officiel dokumentation om billedinput og -output.
• OpenAI: Audio and speech – officiel dokumentation om tale, transskription og lyd.
• Anthropic: Vision – officiel dokumentation med kendte begrænsninger for billedforståelse.
• Anthropic: PDF support – officiel dokumentation om visuel behandling af PDF’er.
• W3C: Web Content Accessibility Guidelines – international standard og vejledning til digital tilgængelighed.
• EU-Kommissionen: Transparency obligations for AI – officiel vejledning om blandt andet syntetisk indhold og deepfakes.