Hoe betrouwbaar zijn beslissingsondersteunende kennissystemen?

Hoe betrouwbaar zijn beslissingsondersteunende kennissystemen.

Kennissystemen winnen steeds meer terrein in onze huidige maatschappij. In het stuk over de rechtsinformatica is reeds uitgelegd wat kennissystemen zijn. Deze systemen kunnen van grote invloed zijn op het nemen van juiste beslissingen ingeval van keuzes waarbij bepaalde criteria moeten worden ingevuld. Er kan echter ook te veel waarde aan de beslissingen van een dergelijk systeem worden gehecht. In dit artikel zal ik door middel van onderzoek dat op dit gebied is gedaan, laten zien hoe betrouwbaar deze systemen zijn en hoe de kwaliteit van de beslissingen door deze systemen verbeterd kan worden.

Kennissystemen zijn systemen die informatieverwerking en kennisvoorziening combineren. Ze kunnen zo worden geprogrammeerd dat de gebruiker een aantal stappen doorloopt, of de invulling van een aantal criteria aangeeft, op basis waarvan het systeem een beslissing neemt. Een expertsysteem gaat net iets verder dan een kennissysteem. Bij een expertsysteem is er ook sprake van een redeneersysteem, dat het probleemoplossend vermogen van menselijke experts bevat op een specialistisch gebied. Dit zorgt er wel voor dat deze systemen zeer beperkt bruikbaar zijn.

Er wordt al vele jaren onderzoek gedaan naar zowel de betrouwbaarheid van beslissingsondersteunende kennissystemen als het vertrouwen dat gebruikers van dergelijke systemen aan de beslissingen ervan hechten. Een dergelijk onderzoek is bijvoorbeeld gedaan met het expertsysteem milieuvergunningenrecht. Bij de verstrekking van vergunningen voor afvaldumping moet worden gekeken of er aan alle criteria van de milieuwet wordt voldaan. Vaak is er bij dit soort beslissingen sprake van lopendebandwerk. Wanneer de resultaten van expertsystemen naast de resultaten van ervaren medewerkers worden gehouden, blijkt dat een expertsysteem betere resultaten levert dan een ervaren medewerker.

Het resultaat van het expertsysteem bleek echter niet feilloos. Doch ondanks het feit dat het systeem geen feilloze beslissingen nam, hadden de ervaren medewerkers er alle vertrouwen in. Ze vertrouwden het expertsysteem volledig en gingen met alle beslissingen mee, ook wanneer die evident niet juist waren. Dit is precies de fout die vaak bij dergelijke systemen wordt gemaakt. Zo’n systeem moet niet klakkeloos worden geloofd, maar evenals de beslissingen van ervaren medewerkers met enige distantie worden bekeken. De beslissingen moeten evengoed worden gecontroleerd.

Het hiervoor aangehaalde onderzoek naar een expertsysteem is niet het enige onderzoek dat op dit gebied is gedaan. Ook bij de andere onderzoeken waren de uitkomsten eender: het vertrouwen in het kennissysteem of expertsysteem was veel te hoog. Een waarschuwing met betrekking tot dit vertrouwen is dan ook wel op haar plaats. Een dergelijk systeem kan sneller en – mits het goed geprogrammeerd is – met een kleinere foutmarge beslissingen nemen dan de mens. Voordat een dergelijk systeem in gebruik wordt genomen, moet het echter zeer zorgvuldig worden getest. Als ook tussentijds de beslissingen van het systeem inzichtelijk zijn voor de gebruiker, terwijl zij daarnaast bijtijds worden gecontroleerd, kan de kwaliteit van de beslissingen enorm worden verbeterd.

Lees ook de andere artikelen van mr. Sophia Sipkens.