Een AI-functie geeft op vijf voorbeeldvragen nette antwoorden. Dat is een goed begin, maar geen bewijs dat de functie betrouwbaar genoeg is.
Test wat mensen ermee gaan doen
Stel: medewerkers willen een AI-zoekfunctie gebruiken om interne werkinstructies terug te vinden.
Je moet dan niet alleen beoordelen of het antwoord netjes klinkt. Ook de bron, toestemming en actualiteit tellen mee.
Maak een realistische testset
Gebruik fictieve of toegestane voorbeelden uit verschillende categorieën:
- Een vraag waarvan het antwoord duidelijk in één document staat.
- Een vraag die meerdere documenten vereist.
- Een vraag waarop de beschikbare informatie geen antwoord geeft.
- Een vraag waarvoor een gebruiker onvoldoende rechten heeft.
- Een vraag waarin oude en nieuwe werkinstructies elkaar tegenspreken.
Wat beoordeel je?
| Onderdeel | Praktijkvraag |
|---|---|
| Juistheid | Klopt het antwoord met de bron? |
| Herleidbaarheid | Kun je de gebruikte bron terugvinden? |
| Actualiteit | Wordt verouderde informatie herkend? |
| Toegangscontrole | Ziet de gebruiker alleen toegestane informatie? |
| Onzekerheid | Durft het systeem te zeggen dat iets onbekend is? |
Een mooie tekst kan toch fout zijn
AI kan zelfverzekerd schrijven zonder voldoende bewijs. Laat daarom bij belangrijke antwoorden een bron zien en beschrijf wanneer een medewerker zelf moet controleren.
Meet fouten op verschillende soorten vragen. Eén gemiddeld ‘goedkeuringspercentage’ verbergt soms juist de gevaarlijkste uitzonderingen.
Wat is de rol van functioneel beheer?
Functioneel beheer helpt bij eisen, gegevensbronnen, gebruikersrollen, testgevallen, instructies en evaluatie na livegang. De leverancier bouwt misschien de functie, maar de organisatie blijft verantwoordelijk voor passend gebruik.
De les: test AI op gedrag in het echte werkproces, niet op hoe overtuigend het antwoord klinkt.
Markeer dit artikel als gelezen. Je leerroute wordt meteen bijgewerkt.