API Documentatie: Kosten & Budgetten

Grip op uw LLM-verbruik in productie-omgevingen

Waarom LLM-kosten Monitoren?

Bij het schalen van generatieve AI of RAG-applicaties (Retrieval-Augmented Generation) kunnen API-kosten snel oplopen. Zonder scherp toezicht op inkomende (prompt) en uitgaande (completion) tokens per sessie, riskeert u budgetoverschrijdingen. Een robuust monitorsysteem splitst kosten uit per model, gebruiker of project.

Voor een efficiënte inrichting is het ook essentieel om te weten welke modellen de beste prijs-kwaliteitverhouding bieden. Raadpleeg daarvoor onze uitgebreide LLM Benchmark.

Voorbeeld Dashboard (Concept)

Een goed dashboard geeft in één oogopslag de "burn rate" weer. Hieronder ziet u een structurele opzet van de metrics die onze API aggregeert.

Kosten deze maand

€ 342,50
75% van €450 budget

Token Verbruik (Top Modellen)

4.2M
60% Claude Pro | 40% DeepSeek

Actieve Alerts

2
Waarschuwing: User_ID_89 nadert hard-cap

Implementatie: Quota en Logging (Pseudocode)

Om kosten per gebruiker te beheersen, valideert de API-gateway het huidige verbruik voordat het verzoek naar de externe LLM-provider wordt doorgestuurd. Na de response worden de daadwerkelijk verbruikte tokens gelogd.

# Pseudocode: LLM Request Middleware
def handle_llm_request(user_id, prompt_data, model="deepseek-chat"):
    # 1. Controleer budget-limiet
    current_spend = get_user_spend(user_id, current_month)
    if current_spend > USER_BUDGET_LIMIT:
        return {"error": "Budget overschreden. Neem contact op met de beheerder."}
        
    # 2. Voer het verzoek uit via de LLMnet.nl aggregator
    response = llm_aggregator.call(model, prompt_data)
    
    # 3. Bereken kosten obv token pricing
    cost = calculate_cost(
        model, 
        prompt_tokens=response.usage.prompt_tokens, 
        completion_tokens=response.usage.completion_tokens
    )
    
    # 4. Update de database & trigger eventuele alerts
    log_usage(user_id, cost)
    check_and_trigger_alerts(user_id, current_spend + cost)
    
    return response.content

Best Practices voor Budgettering