Wat het model wel mag, en wat niet
AI is bij Schwung een meetinstrument met wantrouwen ingebouwd. Het model mag lezen, ordenen en schrijven. Het mag niet tellen, niet oordelen en niets beweren zonder bron. Deze pagina is de verantwoording achter onze werkwijze: hoe we controleren wat een model zegt, en waar de grenzen liggen.
Zes regels die geen instelling zijn
Ze gelden in elke motor en elke analyse, en ze staan in de code, niet in een handleiding.
Het model telt niet
Alle cijfers in een analyse komen uit een deterministische telstap. Het model mag ze alleen citeren. Een cijfercheck keurt elk getal, elk percentage en elk "de meeste" af dat niet in de tellingen staat. Een extern cijfer draagt zijn bron in dezelfde zin.
Een tweede model probeert de analyse te weerleggen
De schrijver en de toetser zijn verschillende modellen. De toetser zoekt wat niet klopt: assen die niet spreiden, onderscheid dat niet echt is, een conclusie die breder is dan het bewijs. Zakt de analyse, dan wordt hij herschreven met de kritiek erbij. Wat na vier rondes nog zwak is, staat in het stuk.
Elke uitspraak draagt een label
Wat gemeten is heet feit. Wat gezien maar niet geteld is heet observatie. Onze lezing heet interpretatie. Een verklaring heet hypothese, en oorzaak en gevolg zijn altijd een hypothese. Wat we zouden moeten weten om te beslissen, staat als vraag.
De buitenwereld alleen met bron en datum
Wetgeving, beleid, bekostiging, arbeidsmarkt, demografie: elke bevinding draagt een url, een datum, een status (in werking, besloten, voorstel, prognose) en een citaat dat letterlijk in de bron is teruggevonden. Een nacontrole gooit weg wat niet letterlijk in de bron staat. Nieuws en persberichten zijn een signaal, nooit de bron van een regel.
Tegenlezing is standaard
Elk stuk wordt door een tweede lezer getoetst voordat het naar een opdrachtgever gaat of online komt: eerst de profielen tegen de bron, dan de context, dan de synthese per sectie. Bij het Merkbeeld vond de tegenlezing bij een grotere groep tientallen correcties voordat ze live gingen. De duiding zelf is mensenwerk en wordt door Schwung gelezen vóór verspreiding.
Wat we niet weten, staat erbij
Onbekend telt nooit als nee. Een motor leest wat organisaties publiceren en kan zeggen wat iemand claimt en hoe hij het bewijst, niet of het waar is of wie de beste is. Een groep uit klantruns is regionaal en klein. Elke publicatie zegt dat opnieuw, en elke analyse eindigt met de vragen die alleen de opdrachtgever kan beantwoorden.
De motor bezit de regels, het model levert de inhoud
In elke motor is de bouw hetzelfde. De motor bezit het sjabloon, de regels en de tellingen. Het model leest, ordent en schrijft, en levert zijn werk in een vaste vorm aan. Een stap zonder model maakt daar de analyse, de pagina of het dossier van.
Daardoor kan een model nooit in zijn eentje een conclusie, een cijfer of een pagina de wereld in sturen. Wat de lezer ziet, is door een regel heen gegaan die niet van het model is. En omdat elke stap zijn tussenresultaat bewaart, kunnen we één organisatie, één regel of één sectie opnieuw doen zonder de rest te raken.
Eerlijk over de samenhang: de motoren zijn aparte gereedschappen, geen gedeeld systeem. Wat de ene oplevert, nemen wij mee naar de volgende stap. De keten is één inhoudelijk proces, geen automatische koppeling, en dat houden we zo tot een koppeling aantoonbaar beter is dan een mens die meeneemt wat hij geleerd heeft.
Ook voor beeld geldt die rolverdeling. Waar we beeld met AI maken, bepalen mensen het concept, de keuze en de regie, en presenteren we gegenereerde mensen nooit als echte patiënten, cliënten of medewerkers.
Hoe we toetsen of het werkt
- De Merkscan op ons eigen merk. Twee methodes, de instantscan en het gesprek, onafhankelijk op dezelfde site, kwamen op dezelfde diagnose uit en op dezelfde eerste stap. Dat hebben we gepubliceerd, inclusief waar de instantscan tekortschoot.
- Het Merkbeeld met open methode. Wat we lezen, welke gronden een telling draagt, wat hoog, midden en laag betekenen en wanneer de versie verandert, staat op de methodepagina, met wijzigingslog. Elke editie publiceert de dataset.
- Instabiliteit in de verantwoording. Geeft een codeerstap per run andere uitkomsten, dan draaien we hem drie keer en nemen de meerderheid, en zetten we die spreiding in het stuk.
- De grens is ook gedocumenteerd. Drie runs en een tweede model lieten ooit een aangekondigd project als bestaand staan, omdat alle modellen dezelfde toekomende tijd als voltooid lazen. Herhaling vangt inconsistentie, geen gedeelde denkfout. Daarom is externe broncontrole een aparte stap, en daarom blijft de lezing door een mens de laatste.
Wat de motoren lezen en wat ze niet delen
De motoren lezen openbare bronnen: websites, jaarverslagen, koersdocumenten, wetgeving en open data. Wat een opdrachtgever ons in vertrouwen geeft, blijft buiten de gedeelde onderzoeksdata: de grens zit in de eerste stap van de keten, niet in een afspraak achteraf.
Gepubliceerd brancheonderzoek bevat daardoor nooit klantinformatie. Een opdrachtgever is in het register een organisatie als elke andere. Modellen worden niet getraind op werk van opdrachtgevers.
Waar deze methode in zit
Veelgestelde vragen over onze AI-methodiek
Waarom mag het model bij Schwung niet tellen?
Omdat een taalmodel getallen kan verzinnen die geloofwaardig klinken. Daarom komen alle cijfers in onze analyses uit een telstap die geen model gebruikt. Het model mag die cijfers alleen citeren. Elk ander getal, percentage of 'de meeste' zonder telling wordt afgekeurd voordat het stuk af is.
Wat doet de tweede lezer?
Een tweede model, op een andere basis dan de schrijver, probeert elke analyse te weerleggen: kloppen de assen, is het onderscheid echt, is de witte ruimte er echt. Zakt de analyse, dan wordt hij herschreven met de kritiek erbij, tot maximaal vier rondes. Wat daarna nog zwak is, melden we in het stuk in plaats van het weg te werken.
Hoe weet ik of een uitspraak een feit is of een interpretatie?
Elke uitspraak in onze analyses draagt een label: feit, observatie, interpretatie, hypothese of vraag. Een oorzaak-gevolg-relatie is altijd een hypothese. Zo zie je in één oogopslag wat gemeten is en wat onze lezing is.
Gebruikt het model zijn eigen geheugen voor feiten over de markt?
Nee. Wetgeving, beleid, cijfers en ontwikkelingen komen uit externe bronnen, met url, datum en een citaat dat letterlijk in de bron is teruggevonden. Wat het model uit zijn geheugen weet, gebruiken we niet als bron.
Hoe toetsen jullie of de methode werkt?
We meten onszelf. De Merkscan hebben we op ons eigen merk gedraaid en de uitkomst gepubliceerd. Van het Merkbeeld staat de methode open met wijzigingslog. En als een controlestap bij een run andere uitkomsten geeft, draaien we hem drie keer en nemen de meerderheid, en zetten we die onzekerheid in de verantwoording.
Wat weet de methode niet?
Veel. Onze motoren lezen wat organisaties publiceren; ze kunnen zeggen wat iemand claimt en hoe hij het bewijst, niet of het waar is of wie de beste is. Een groep uit klantruns is regionaal en klein. Dat zeggen we in elke publicatie opnieuw.
Begin met de gratis Merkspiegel.
In tien minuten zie je wat de methode van jouw merk maakt, met de kernspanning die we van buiten zien en de vragen die we niet kunnen beantwoorden zonder jou.