Audit-logging en compliance voor LLM-toepassingen

Hoe je prompts, antwoorden en metadata verantwoord opslaat zonder privacy te schenden

Het integreren van Large Language Models (LLM's) via API's brengt unieke uitdagingen met zich mee op het gebied van governance, security en wetgeving zoals de Algemene Verordening Gegevensbescherming (AVG). Waar traditionele softwareapplicaties gestructureerde transacties loggen (zoals een bankoverschrijving of een statuswijziging), verwerken LLM's ongestructureerde menselijke taal. Dit vergroot het risico op het onbedoeld opslaan van gevoelige persoonsgegevens (PII), bedrijfsgeheimen of vertrouwelijke medische informatie.

Een doordachte strategie voor audit-logging balanceert tussen twee uitersten: enerzijds wil je voldoende vastleggen om misbruik te detecteren, kosten te verantwoorden (zie ook kosten monitoren) en te voldoen aan wettelijke plichten; anderzijds wil je zo min mogelijk privacygevoelige data langdurig bewaren om dataminimalisatie te garanderen. Dit artikel behandelt hoe je een robuust loggingontwerp opzet dat voldoet aan strenge compliance-eisen.

Het verschil tussen technische observability en audit-logging

Voordat we ingaan op wetgeving en beleid, is het cruciaal om onderscheid te maken tussen operationele monitoring en audit-logging. Veel ontwikkelaars leunen op standaarden zoals beschreven bij observability en logging, maar vergeten dat compliance heel andere eisen stelt aan dataretentie en toegangsbeveiliging.

Wat bewaar je wel en wat niet van prompts en antwoorden?

Het onvoorwaardelijk opslaan van elke volledige prompt en elk gegenereerd antwoord in een database is juridisch en technisch een tikkende tijdbom. Als een gebruiker per ongeluk medische dossiers, wachtwoorden of BSN-nummers invoert in jouw applicatie, leg je deze data direct vast op plekken die mogelijk minder goed beveiligd zijn dan de primaire productiedatabase.

Wel opslaan (De Metadata en Hash-referenties)

Voor een effectieve audit-trail ben je vaak niet geïnteresseerd in de volledige, letterlijke tekst van een conversatie, maar wel in de operationele context en de integriteit daarvan. Leg daarom het volgende vast:

Niet of beperkt opslaan (De Werkelijke Content)

De ruwe tekst van de prompt en het antwoord mag alleen worden bewaard als daar een expliciete, legitieme grondslag voor is (zoals fraudebestrijding of contractuele geschillenbeslechting). Als je ervoor kiest om content op te slaan, gelden er strikte randvoorwaarden:

PII in logs voorkomen of maskeren (Data Masking)

Onder de AVG vallen namen, e-mailadressen, IP-adressen, telefoonnummers en financiële gegevens onder persoonsgegevens. Zodra een gebruiker deze data invoert in een prompt, riskeer je een datalek als deze ongefilterd in je audit-logs terechtkomt.

Om dit te voorkomen implementeer je een preprocessing-filter in je API-architectuur voordat de log-pipeline wordt aangeroepen:

  1. Named Entity Recognition (NER): Gebruik lichte, snelle NLP-modellen of regex-patronen om entiteiten zoals namen, adressen en BSN's te detecteren in zowel de prompt als de output.
  2. Tokenisatie / Pseudonimisering: Vervang gedetecteerde PII direct voor placeholders. Een zin als "Stuur de rekening naar Jan Jansen op [email protected]" wordt getransformeerd naar "Stuur de rekening naar [NAAM_1] op [EMAIL_1]" voordat het logbestand wordt geschreven.
  3. Unidirectionele hashing: Voor specifieke identifiers kun je een salted hash opslaan zodat je herhaaldelijk gebruik kunt analyseren zonder de echte identiteit prijs te geven.

Belangrijk: Vergeet niet om ook te controleren of externe LLM-providers jouw data gebruiken voor training. Sluit strikte Data Processing Agreements (DPA's) af waarin staat dat API-data niet wordt opgeslagen of gebruikt voor modelverbetering.

Bewaartermijnen en dataminimalisatie

Eén van de kernprincipes van moderne privacywetgeving is dataminimalisatie: bewaar data niet langer dan noodzakelijk voor het doel waarvoor deze is verzameld. Voor LLM-audit-logs betekent dit dat je een gelaagd retentiebeleid moet inrichten:

Zorg voor geautomatiseerde opschoningsroutines (zoals TTL-indexen in databases of lifecycle-policies in object storage) zodat logs die hun houdbaarheidsdatum overschrijden definitief en onherroepelijk worden gewist.

Verantwoording kunnen afleggen (Explainability & Auditability)

Wanneer een LLM-toepassing een kritische beslissing neemt — zoals het goedkeuren van een lening, het afwijzen van een sollicitant of het diagnosticeren van een medische conditie — eist de wetgever of de eindgebruiker soms dat je kunt verantwoorden *waarom* het model tot dat antwoord kwam. Dit wordt ook wel verklaarbaarheid (explainability) genoemd.

Omdat Large Language Models stochastisch en complex zijn, is het achteraf exact reconstrueren van de interne besluitvorming onmogelijk. Je kunt het gedrag echter wel verantwoorden door een volledig ketenlogboek (trace) bij te houden:

{
  "timestamp": "2026-07-26T14:32:10Z",
  "request_id": "req_9f8b2c1a4e",
  "client_id": "org_client_789",
  "model": "gpt-4o",
  "system_prompt_version": "v2.1",
  "retrieved_context_hashes": ["sha256:e3b0c442..."],
  "guardrails_triggered": [],
  "tokens": {
    "prompt": 412,
    "completion": 89
  },
  "content_hash": "sha256:8f434346..."
}

Door de versie van de system prompt, de meegeleverde RAG-documenten (via een hash) en de modelparameters (zoals temperatuur) te koppelen aan het unieke verzoek, kun je in geval van een audit exact aantonen welke context het model tot zijn beschikking had. Voor diepgaande achtergrondinformatie over bredere AI-architecturen en standaarden kun je ook de inzichten op leren.llmnet.nl over RAG raadplegen om te begrijpen hoe externe kennisbronnen worden gelogd.

Conclusie

Audit-logging en compliance bij LLM-toepassingen vereisen een bewuste afweging tussen veiligheid, kostenbeheersing en privacy. Door geen onbeveiligde ruwe tekststromen op te slaan, PII consequent te maskeren via vroege filters, metadata te voorzien van cryptografische hashes en strikte bewaartermijnen te hanteren, bouw je een schaalbaar API-landschap dat klaar is voor strenge audits en wettelijke normen.