In 1997 is voor de Koninklijke Landmacht een nieuw, functiegericht keuringssysteem ontwikkeld. Dit bestaat uit 43 beoordelingspunten, elk voorzien van een basismedische eis als norm. Vervolgens is onderzocht of dit systeem voldoende consistent is. Dit vond plaats door 227 geanonimiseerde aanstellingskeuringen in 2000 ter beoordeling voor te leggen aan drie senior bedrijfsartsen. Deze bedrijfsartsen hadden in het najaar van 1998 deze keuringsdossiers al eerder beoordeeld, hetzij volgens de oude, hetzij volgens de nieuwe keuringssystematiek. Als maat voor de kwaliteit is gekozen voor de overeenstemming tussen de artsen. Vaststelling van die overeenstemming vond plaats door het gebruik van de volgende drie maten:
1.
het percentage overeenstemming tussen twee artsen inzake alle keuringen;
2.
overeenstemming bij die beoordelingen waarbij er ‘wat aan de hand is’;
3.
overeenstemming volgens de Kappa van Cohen.
Het resultaat is dat de mate van overeenstemming bij beoordelingen waarbij ‘wat aan de hand is’ toeneemt. Dit betekent dat het percentage discongruente uitslagen met tientallen procenten daalt, speciaal bij gebruik van het nieuwe keuringssysteem. Voorts liggen alle Kappa's bij herbeoordeling in 2000 boven de 0,75, zowel bij gebruik van het oude als het nieuwe keuringssysteem.
De conclusie is dat beoordeling op basis van het nieuwe keuringssysteem consistenter is dan het oude keuringssysteem.