Hoe betrouwbaar zijn schattingen over de schade van cybercrime eigenlijk? Donderdag 30 juni publiceert het ministerie van Veiligheid en Justitie voor de eerste keer haar eigen ‘Dreigingsbeeld’ over cybersecurity, waar cybercrime een onderdeel van is. Een net gepubliceerde studie onderzoekt zulke dreigingsbeelden en concludeert dat ramingen van schade doorgaans ongeloofwaardig zijn. Maakt het Ministerie dezelfde fout?

Bits of Freedom is van meet af aan kritisch op het baseren van cybersecurity- en cybercrimebeleid op eigen analyses van ministeries. Daarom adviseerden we in onze Kamerbrief over de Nationale Cybersecurity Strategie (PDF) om een onafhankelijke, openbare en wetenschappelijk verantwoorde nulmeting naar de aard én de omvang van de problematiek uit te laten voeren. Cybersecurity – wat is het precies en is er, zoals een onderzoek van de OECD en security expert Bruce Schneier stellen, inderdaad sprake van een hype?

Het belang van ons advies wordt onderstreept door een net gepubliceerde studie van Microsoft Research, waaruit blijkt dat 75% van de onderzochte ‘dreigingsbeelden’ ongeloofwaardig blijken. Het onderzoek stelt:

‘Much of the information we have on cyber-crime losses is derived from surveys. We examine some of the difficulties of forming an accurate estimate by survey. First, losses are extremely concentrated, so that representative sampling of the population does not give representative sampling of the losses. Second, losses are based on unverified self-reported numbers. Not only is it possible for a single outlier to distort the result, we find evidence that most surveys are dominated by a minority of responses in the upper tail (i.e., a majority of the estimate is coming from as few as one or two responses). Finally, the fact that losses are confined to a small segment of the population magnifies the difficulties of refusal rate and small sample sizes. Far from being broadly-based estimates of losses across the population, the cyber-crime estimates that we have appear to be largely the answers of a handful of people extrapolated to the whole population. A single individual who claims $50,000 losses, in an N = 1000 person survey, is all it takes to generate a $10 billion loss over the population. One unverified claim of $7,500 in phishing losses translates into $1.5 billion.’ (p. 1)

Cybercrime-beleid blijkt dus vaak op los zand te zijn gebaseerd. In de conclusie spreken de onderzoekers hun zorg uit over deze trend:

‘Are we really producing cybercrime estimates where 75% of the estimate comes from the unverified self-reported answers of one or two people? Unfortunately, it appears so. Can any faith whatever be placed in the surveys we have? No, it appears not.’

De Tweede Kamer vroeg minister Opstelten op 1 juni 2011 om bij het opstellen van zijn ‘Dreigingsbeeld’ duidelijk aan te geven wat de aard en de omvang van de problematiek over cybersecurity is, en waar het dreigingsbeeld op gebaseerd is. Helaas dwong de Kamer geen onafhankelijk en wetenschappelijk verantwoord onderzoek af. Wel hield de Kamer nadrukkelijk de mogelijkheid open om zelf initiatief te nemen in het geval dat het ‘Dreigingsbeeld’ op dit gebied ontoereikend zou zijn.

Vandaag publiceert het Ministerie haar eigen ‘Dreigingsbeeld’. Volgt haar document de trend die door de onderzoekers wordt geschetst? Bits of Freedom zal de analyse van het Ministerie grondig bestuderen en daarover publiceren op deze blog. Wordt vervolgd.

UPDATE (14.07.10): in tegenstelling tot eerdere toezeggingen, is de publicatie van de dreigingsanalyse uitgesteld. Het is onbekend wanneer het dreigingsbeeld gepubliceerd zal worden, al valt te verwachten dat dit na het zomerreces zal zijn.