En chatbot på hjemmesiden ser ud som et lille vindue, men bag den kan der ligge forbindelser til kundedata, ordrer og interne dokumenter. Spørgsmålet om at tage den med i en test kan besvares ud fra tre forhold: hvad den har adgang til, hvem der driver den, og hvad leverandøren tillader. Svaret er derfor sjældent ja eller nej, men en afgrænsning, der skal skrives ned.
Nogle virksomheder har fået chatfunktionen som en del af en abonnementstjeneste eller et tillæg til webshoppen. Andre har bygget den selv ovenpå en sprogmodel fra en ekstern udbyder. De to situationer giver forskellige bestillinger, og forskellen bør være klar, før der tales om testmetode.
Begynd med, hvad chatbotten kan
Lav en kort beskrivelse af chatbottens opgaver set fra kundens side. Svarer den kun på generelle spørgsmål ud fra hjemmesidens tekster, eller kan den slå en ordre op, ændre en adresse eller oprette en sag i kundeportalen? Jo flere handlinger den kan udføre, jo mere ligner den en almindelig webfunktion med brugere og rettigheder.
Beskriv også, hvad den kan læse. En chatbot, der henter svar i interne vejledninger eller i ERP-systemet, har en adgang, som besøgende ikke selv har. Det er den adgang, der gør den interessant at undersøge, fordi spørgsmålet bliver, om andre kan få oplysninger eller handlinger ud af den, som de ikke burde have.
Skriv beskrivelsen i almindelige ord. Den skal kunne læses af projektlederen, leverandøren og testeren og bruges som grundlag for scope. → Scope i en penetrationstest
Tre lag, der skal placeres
En chatbot består typisk af flere dele, som hver kan ligge hos forskellige parter:
- Vinduet på hjemmesiden · den del, besøgende ser, og som ofte er indlejret kode fra en tjeneste.
- Forbindelserne bagved · de opslag og handlinger, chatbotten udfører i jeres egne systemer.
- Modellen og tjenesten · den eksterne udbyders platform, som I normalt ikke ejer eller driver.
For hver del skal det fremgå, om den er i scope, uden for scope eller kun med som forudsætning. Forbindelserne til jeres egne systemer er som regel den del, I selv har mest indflydelse på, og den del, hvor en fejl kan berøre jeres kunders oplysninger. → Integrationer mellem systemer
Leverandørens del og leverandørens regler
Når chatbotten kører hos en ekstern udbyder, er det ikke jeres platform, der undersøges. En test, der rækker ind i udbyderens tjeneste, kan kræve udbyderens tilladelse, og udbyderens vilkår kan sætte grænser for, hvad kunder må gøre. Læs vilkårene, og spørg udbyderen skriftligt, hvis de er uklare.
Afklar også, hvad udbyderen selv dokumenterer om sikkerheden i tjenesten. Det kan være en del af svaret, men det erstatter ikke en vurdering af, hvordan I har sat chatbotten op, og hvilke forbindelser I har givet den. → Leverandørgodkendelse mangler
Skriv i bestillingen, hvem der skal kontaktes, hvis chatbotten holder op med at svare under testen, og om udbyderen skal varsles. Det er praktiske spørgsmål, men de skal være afklaret, før testvinduet begynder.
Persondata i samtalerne
Kunder skriver ofte mere, end formularen beder om. Samtaler med chatbotten kan derfor indeholde navne, adresser og andre personoplysninger, som gemmes hos jer eller hos udbyderen. Når chatbotten indgår i en test, bør det aftales, hvilke samtaler testeren må se, og hvordan testsamtaler holdes adskilt fra rigtige kunders.
Brug testkonti og opdigtede oplysninger, hvor det er muligt. Spørgsmål om, hvordan personoplysninger i samtalerne må behandles og opbevares, hører under databeskyttelsesreglerne, og på Datatilsynets side findes myndighedens vejledninger om emnet. Teksten her er ikke juridisk rådgivning. → Testkonti og testdata
Fælles reference for testens indhold
Sprogmodeller har egenskaber, som almindelige webformularer ikke har, fordi svarene dannes ud fra tekst og ikke ud fra faste regler. OWASP har et særskilt projekt om sikkerhed i generativ AI og sprogmodeller. Det kan bruges som fælles sprog, når køber og tester drøfter, hvilke områder testen skal dække, uden at køberen selv skal kende detaljerne.
Bed testeren beskrive, hvilke områder der indgår, og hvilke der ikke gør. For kundeportalen kan det være afgørende, om testen omfatter chatbottens adgang til kundesager, eller kun hvad den svarer på generelle spørgsmål. → Penetrationstest af webapplikationer
Hvornår chatbotten skal med, og hvornår den kan vente
Ikke alle chatbots har samme betydning. En chatbot, der kun gengiver offentlige tekster fra hjemmesiden og ikke har forbindelser til andre systemer, giver et andet spørgsmål end en, der kan se kundens ordrehistorik. Brug chatbottens adgange som målestok, når I vurderer, om den skal være en del af den næste test, eller om andre dele af webshoppen bør komme først.
Tidspunktet betyder også noget. Hvis chatbotten skal have nye forbindelser til kundeportalen eller ERP-systemet, er det ofte mere brugbart at vente, til forbindelserne findes, end at teste en udgave, der snart ændres. Omvendt kan en ny funktion, som allerede er åbnet for kunder, være en grund til ikke at vente på den årlige test.
Notér begrundelsen for valget. Hvis chatbotten bevidst holdes uden for testen, skal valget stå både i scope og i rapporten, så ingen senere læser rapporten som en vurdering af den.
Det skal I lade være med
- At antage, at udbyderen tester for jer. Udbyderens sikkerhedsarbejde gælder tjenesten, ikke jeres opsætning og forbindelser.
- At teste uden at læse vilkårene. En test af en ekstern tjeneste kræver, at I ved, hvad udbyderen tillader.
- At glemme chatbottens adgange. Det, den kan slå op og ændre, er ofte vigtigere end det, den svarer.
- At bruge rigtige kundesamtaler som testmateriale. Aftal testdata og adskillelse på forhånd.
- At lade chatbotten stå uden ejer. Nogen i virksomheden skal have ansvaret for funktionen og for rettelser.
Hvad kan og ikke kan konkluderes
En test kan vise, hvordan chatbotten og dens forbindelser opførte sig under de aftalte forhold og med den opsætning, der var i drift. Den kan ikke sige noget om udbyderens platform ud over det, der var i scope. Den kan heller ikke garantere, hvordan chatbotten svarer senere, hvis modellen, udbyderens tjeneste eller jeres egne forbindelser ændres. Notér derfor, hvilken opsætning testen gjaldt, så I kan vurdere, hvornår en ny undersøgelse er relevant.
En rapport uden fund om chatbotten betyder heller ikke, at funktionen er sikker i alle sammenhænge. Det betyder, at det, der blev undersøgt inden for de aftalte rammer, ikke gav fund. Læs altid resultatet sammen med beskrivelsen af scope og de begrænsninger, rapporten nævner.
Tjekliste før chatbotten kommer med i testen
- ☐ Er chatbottens opgaver og handlinger beskrevet?
- ☐ Er det klart, hvilke systemer og oplysninger den kan læse?
- ☐ Er vindue, forbindelser og tjeneste placeret i eller uden for scope?
- ☐ Har I læst udbyderens vilkår for test?
- ☐ Er udbyderen varslet, hvis det kræves?
- ☐ Er testdata og adskillelse fra rigtige samtaler aftalt?
- ☐ Er der en ejer af chatbotten hos jer?
Kilder
- OWASP Gen AI Security Project: projekt om sikkerhed i generativ AI og sprogmodeller.
- Datatilsynet: vejledning om behandling af personoplysninger.
Senest gennemgået: oktober 2026.
Næste skridt
Del af: Artikler om penetrationstest
Læs også: Plugins og tredjepartskode · Scope i en penetrationstest
→ Kontakt · Tlf. 70 13 63 23 · Penetrationstest hos Nielco IT
