De vraag op maandagochtend

Stel, we zouden het wel doen. Stel, het is maandagochtend, het systeem heeft in het weekend honderden scenario’s doorgerekend, vervolgacties in gang gezet en alles vastgelegd. Dan stelt iemand een eenvoudige vraag: waarom is dit besluit zo genomen?

Dit is een illustratie, geen specifieke casus. Maar de vraag zal in elke organisatie die zelfstandig handelende systemen gebruikt vroeg of laat gesteld worden, door een toezichthouder, een bestuurder of een collega die het gewoon wil begrijpen. En het antwoord moet er dan zijn.

Als de lijn niet meer recht loopt

De meeste systemen die we kennen, zijn ontworpen voor lineair gedrag. Er gaat iets in, het systeem verwerkt het, er komt iets uit en ergens tussen die stappen neemt een mens een besluit. Die opbouw maakt het eenvoudig om te zien wie wat deed.

Bij systemen die zelfstandig scenario’s doorrekenen en daar vervolgacties aan koppelen, loopt de lijn niet meer recht. Het systeem rekent door, kiest, initieert en rekent opnieuw, in een kring waarvan een mens niet elke ronde bijhoudt. De grens tussen een advies en een besluit wordt dun. Een architectuur die voor lineair gedrag is gebouwd, houdt daar geen rekening mee, en dat is waar het misgaat. Wie alles aan de AI overlaat, laat die grens volledig vervagen.

Schaal die niemand meer narekent

Voor de genoemde netbeheerder verwerkt een Twycis-oplossing miljoenen datapunten, verspreid over honderden hoogspanningsstations. Dat is een omvang waarbij niemand meer met de hand kan narekenen hoe een uitkomst tot stand kwam. Dat hoeft ook niet: daarvoor zijn de systemen er.

Maar het betekent wel dat herleidbaarheid niet achteraf kan worden toegevoegd. Als de keten van data, model, scenario en actie niet vanaf het begin is vastgelegd, valt er achteraf niets meer te reconstrueren. Het systeem heeft dan een beslissing genomen die niemand meer kan verklaren, en dat is voor een organisatie die verantwoordelijk is voor de veiligheid van het net geen houdbare positie.

Inzichtelijk, verklaarbaar, begrijpelijk

Herleidbaar betekent dat je van elke beslissing kunt aanwijzen waarop ze berustte: welke data, welke versie van het model, welk scenario, welke regels en welke afspraken over wat het systeem zelf mocht doen. Dat klinkt als administratie, maar het is een eigenschap van het systeem zelf. Je bouwt het in of je mist het.

Daarom is vastleggen niet genoeg. Het moet in een vorm die een mens later kan lezen en uitleggen. Een logboek dat alleen een machine begrijpt, helpt niemand die een besluit moet verdedigen.

Een systeem kan niet worden aangesproken

De tweede vraag is minstens zo belangrijk: wie is eigenaar? ‘Het systeem’ is geen antwoord, want een systeem kan niet worden aangesproken. Eigenaarschap betekent dat een rol in de organisatie heeft besloten wat het systeem zelfstandig mag doen, wat een mens moet bevestigen en wat nooit automatisch gebeurt.

Dat besluit is geen technische instelling. Het is een afweging over risico en verantwoordelijkheid die thuishoort bij degenen die dat risico dragen. „Gewoon aan AI overlaten” zegt eigenlijk dat niemand die afweging maakt. Dan ontstaat een situatie waarin iedereen aanneemt dat iemand anders verantwoordelijk is, en daar is zelfstandig handelende software het meest kwetsbaar voor.

Daar komt de regelgeving bij. De Europese AI-verordening is door de Digital Omnibus aangepast: de verplichtingen voor hoogrisicosystemen, waaronder toepassingen in kritieke infrastructuur, gelden vanaf 2 december 2027. Of een specifiek systeem onder die categorie valt, hangt af van wat het doet. Maar de richting is duidelijk. Wie herleidbaarheid en eigenaarschap nu inbouwt, hoeft ze later niet in een draaiend systeem te forceren.

Het fundament, niet het model

Als er over AI wordt gesproken, gaat het gesprek al snel over het model: hoe slim het is, hoe handig, hoe snel. Dat is begrijpelijk, maar het is niet het deel dat bepaalt of je het systeem kunt vertrouwen. Modellen worden vervangen. Het fundament blijft.

Dat fundament bestaat uit de data waarop het systeem draait, de architectuur eromheen, de manier waarop beslissingen worden vastgelegd en de afspraken over wie wat mag. Onderzoekers van TenneT en de TU Delft noemen in een studie over AI in het bedrijfsvoeringsproces drie pijlers die een organisatie nodig heeft: mensen, data en platform. Dat is dezelfde volgorde: eerst het fundament, dan pas het model.

Dit is ook de rode draad in onze eerdere blog 'AI is geen feature, maar een collega (en precies daar gaat het mis)': je zet een nieuwe collega niet meteen op een kritiek proces, je laat hem meelopen, je controleert zijn werk en je bouwt het vertrouwen stap voor stap op. Dat geldt voor mensen en het geldt voor systemen.

Waar het begint

In de Happy Sprint Machine®️ gebeurt dit werk aan het begin, voordat er iets wordt gebouwd. In Inzicht & Context begrijpen we het proces en de verantwoordelijkheden eromheen. In Kern & Definitie leggen we vast welke beslissingen het systeem mag nemen, welke niet en waar een mens tussen zit. In Validatie toetsen we die afspraken met de mensen die er straks mee werken, voordat de eerste regel code is geschreven. Zo wordt eigenaarschap geen bijzaak achteraf, maar een eis aan het ontwerp. En omdat de oplossing volledig gedocumenteerd wordt opgeleverd, blijft het antwoord op de maandagochtendvraag ook over jaren beschikbaar.

Wie die vraag kan beantwoorden, heeft een systeem dat hij kan vertrouwen. Wie dat niet kan, heeft alleen een systeem dat werkt.