donderdag 24 april 2014

Akrima Kourtit en Peter Nijkamp: de statistiek van creatieve kampioenen (beoordeling, slot)

We zagen al dat er een endogeniteitsprobleem (ofte wel een kip-ei probleem is) is bij de statistische toetsing van het model van K&N. Helaas, zijn er nog veel meer problemen die samengaan met statistische toetsing. Dat kan bijvoorbeeld te maken hebben met hoe de gegevens eruit zien. Als je gegevens hebt met een vijfpuntsschaal, zoals dat het geval is bij K&N, moet je die anders behandelen dan gegevens die in beginsel alle waarden kunnen aannemen. Bovendien moeten de gegevens over de prestaties, zoals dat heet, een ‘normale’ verdeling hebben. Dat wil zeggen dat er ten opzichte van het gemiddelde ongeveer evenveel plussen als minnen moeten zijn. Ook moet bijvoorbeeld het aantal waarnemingen groot genoeg zijn. Aan deze twee voorwaarden lijkt zeker niet voldaan te zijn, maar we horen er vrijwel niets over. Wel wordt vermeld dat de acht verklarende ‘kapitaalvariabelen’ gecombineerd worden tot drie variabelen. Daarna krijgen we als resultaat te zien dat er een positieve relatie is tussen de mate waarin men strategische analyses toepast en het bedrijfsresultaat. Het toepassen van een strategische analyse is typisch een lange-termijn verschijnsel: een bedrijf wil iets bereiken en zal daar de tijd voor (moeten) nemen. Misschien dat na een aantal jaren het (of een) doel bereikt wordt. Je zou dus moeten weten hoe de prestaties van een bedrijf zich in de loop der tijd ontwikkelen. K&N hebben echter alleen gegevens over een bepaald jaar. In dat jaar zijn misschien sommige bedrijven net begonnen, andere bedrijven zijn al dan niet op weg naar de top, en weer andere bedrijven zijn aan de top, of staan wellicht op het punt failliet te gaan. De waarnemingen waarover de auteurs beschikken kunnen dus betrekking hebben op verschillende stadia in de ontwikkeling van bedrijven. In hoeverre dat het geval is weet de lezer niet, want het wordt hem/haar niet verteld. K&N gooien echter wel alle bedrijven op één hoop, daarmee suggererend dat ze vergelijkbaar zijn, dat wil zeggen dat alle bedrijven zich in hetzelfde stadium van hun ontwikkeling bevinden. Het zou kunnen, maar het zou wel zeer toevallig zijn. Kortom, ik zou een heel groot kruis zetten door figuur 8 uit het artikel (zie plaatje) dat de basisresultaten van K&N samenvat (zie ook hier voor een eindoordeel). 

Akrima Kourtit en Peter Nijkamp: over creatieve kampioenen (beoordeling III)

De auteurs passen DEA toe, zoals we bespraken. Ze vinden dat meer dan de helft van de bedrijven efficiënt zijn. Dat wil zeggen, die bedrijven halen het maximale uit de middelen (inputs) die ze tot hun beschikking hebben. Het is niet onmogelijk, maar het lijkt onwaarschijnlijk dat zo veel bedrijven het zo goed doen. Maar dit resultaat zou ook kunnen volgen omdat de bedrijven te weinig op elkaar lijken. In dat geval liggen de waarnemingen over de inputs en de outputs van de bedrijven zo ver van elkaar, dat ze niet meer met elkaar vergeleken kunnen worden. Ieder bedrijf is dan in feite zijn eigen unieke universum en dus per definitie efficiënt. Of dit de verklaring is voor dit resultaat valt overigens niet na te gaan, want er wordt, zoals we al zeiden, geen enkele informatie over de beschikbare data gegeven.  De auteurs zijn overigens niet tevreden met zo veel efficiënte bedrijven en onderscheiden daarom nog een categorie van superefficiënte  ‘exceptionele bedrijven’. Hoe dat gedaan wordt, wordt summier en verwarrend uitgelegd. Het doet er niet zo veel toe, want de kritiek uit de vorige paragraaf is ook op deze analyse van toepassing.

Tenslotte wordt met behulp van een model met ‘structurele vergelijkingen’ statistisch getoetst of de prestaties van bedrijven inderdaad afhangen van de mate waarin strategische overwegingen bij het dagelijkse functioneren worden gebruikt. Die toetsing betekent dat met behulp van statistische methoden de te verklaren variabele, in dit geval de prestaties van bedrijven, wordt gekoppeld aan variabelen die voor de prestaties bepalend zijn. Dergelijke statistische analyses kunnen alleen toegepast worden onder een aantal strikte voorwaarden. Eén daarvan is dat de verklarende variabelen onafhankelijk zijn van de variabele die verklaard moet worden. We hebben al gezien dat dit niet noodzakelijk het geval is, gezien de manier waarop informatie is verkregen over de belangrijkste variabele in dit verhaal, namelijk of bedrijven gebruik maken van strategische analyses. Door aan bedrijven daarover informatie te vragen, kan er een omgekeerde relatie ontstaan. Een bedrijf dat het heel goed doet, zal kunnen zeggen dat ze strategische analyses toepast zonder dat werkelijk te doen, maar het toont dan aan hoe ‘diep’ zij in de markt kunnen kijken. Bedrijven die het wat minder goed doen, zullen een neiging hebben juist niet te zeggen dat zij een strategische visie hebben, omdat ze dan moeten toegeven dat die visie fout is. Kortom, de relatie is niet van strategievorming naar de prestaties van het bedrijf, maar het is juist andersom. Bedrijven die het goed doen, gaan prat op hun mooie strategische plannen en bedrijven die het niet goed doen, gaan er niet prat op. Dit is het bekende endogeniteitsprobleem, maar de auteurs vermelden dit probleem niet. Zij zijn er juist erg trots op dat ze de omgekeerde relatie (het effect van strategie op prestatie) kunnen toetsen. Ze beroemen zich er op dat zij de eersten zijn die dit doen. Eerlijk gezegd hoop ik dat zij ook de laatsten zijn die het zo doen. 

Akrima Kourtit en Peter Nijkamp: over creatieve kampioenen (beoordeling II)

De meting van een van hun kernvariabelen, namelijk de strategieformulering, kan niet als een onafhankelijke meting van de prestaties van het bedrijf beschouwd worden, zo zagen wij. Dan kan die variabele ook niet als een verklaring voor de prestaties van het bedrijf worden gebruikt, want dan kom je in een kip-ei probleem terecht. K&N doen dat toch. Hoe zit het dan met de andere variabelen, met name de input- en de outputvariabelen, hoe worden die gemeten? De lezer komt het niet te weten. Er wordt wel een hele opsomming gegeven van variabelen die bepalend zijn voor de prestaties van het bedrijf, maar of die variabelen op een of andere manier gemeten kunnen worden, weten we niet. Er wordt ook geen enkele informatie gegeven over eventuele metingen. We moeten maar aannemen dat de auteurs werkelijk iets gemeten hebben, maar controleren kan de lezer dat niet. Er wordt niet eens een tabel getoond met wat gemiddelde waarden van de relevante variabelen. 
Met de gegevens over inputs en outputs (waar de lezer dus niets van weet) wordt dan de efficiëntie van bedrijven gemeten, met behulp van de zogenaamde Data Envelopment Analysis (DEA). DEA komt er op neer dat je nagaat wie het meeste produceert bij bepaalde combinaties van inputs. Je krijgt dan zoiets als in het plaatje. De bedrijven A, B, C en D maken het beste gebruik van hun inputs. Deze methode kan alleen toegepast worden onder bepaalde restrictieve voorwaarden: de bedrijven moeten voldoende homogeen zijn (op elkaar lijken), ze moeten dezelfde soort inputs gebruiken en dezelfde soort outputs afleveren. Bovendien, daar hier sprake is van meerdere inputs en outputs, gaat het om combinaties van inputs en outputs. Op een of andere manier zijn er gewichten nodig om inputs en outputs te kunnen optellen. Om die gewichten te bepalen moeten aannames gemaakt worden over de vorm van het productieproces. Daar is misschien wel uit te komen, maar K&N melden helemaal niets over al deze aannames. Zij doen net alsof er geen vuiltje aan de lucht is en DEA zo maar kan worden toegepast. Voor de lezer is dat zeer onbevredigend. De lezer weet niets van de data die worden gebruikt en weet ook niet welke aannames K&N maken bij het toepassen van DEA. We moeten maar aannemen dat de gevonden resultaten ergens op gebaseerd zijn. 

woensdag 23 april 2014

Akrima Kourtit en Peter Nijkamp: over creatieve kampioenen (beoordeling I)

K&N wilden aantonen dat bedrijven in de creatieve sector die op een of andere manier strategieën formuleren en die ook volledig gebruiken bij hun dagelijkse functioneren beter presteren dan bedrijven die dat niet (volledig) doen. Is dat een zinvolle hypothese? Dat is een kwestie van smaak, maar stel dat de hypothese bevestigd wordt, betekent dat dan dat bedrijven maar beter met strategische plannen kunnen komen omdat ze het dan beter gaan doen? Niet noodzakelijk, het zou kunnen dat bedrijven die goed presteren hun zaakjes goed op orde hebben en daarom ook een strategisch plan in de kast hebben liggen. Misschien doen ze er wel niks mee in het dagelijkse opereren. Strategie voor de sier. Bedrijven die hun zaken niet op orde hebben, hebben helemaal geen tijd om zich met een luxe activiteit als strategieformulering bezig te houden. Een strategie als versiering, het zou mij op zich niet verbazen als het zo werkt. Bovendien, als alle bedrijven die elkaar beconcurreren een perfecte strategie hebben, zullen er toch een paar het loodje moeten leggen, want zo werkt concurrentie nu eenmaal: alleen de sterkste of de gelukkigste bedrijven blijven over.

Strategie lijkt me dus uiteindelijk niet zo’n belangrijke verklaring voor het succes van bedrijven. Laten we er echter, ter wille van K&N, van uitgaan dat de hypothese over strategievorming zinvol is. Hebben K&N dan de juiste onderzoektactiek gekozen? Een heel vreemde keuze van K&N is dat ze alleen maar bedrijven in de beschouwing hebben betrokken die een strategie geformuleerd hebben. Dat is curieus, want om te weten of strategievorming effectief is, moet je ook bedrijven meenemen die helemaal niets hebben met strategische plannen. Maar er is hier nog een ander probleem. K&N konden alleen iets te weten komen over strategie door het aan de bedrijven zelf te vragen. De auteurs vroegen of de bedrijven het voordeel inzagen van het formuleren van een strategie. De bedrijven konden dan antwoorden op een vijfpuntsschaal van 1 (helemaal geen voordeel) tot 5 (heel groot voordeel). Het meten van een ‘exogene’ variabele door betrokkenen naar hun perceptie te vragen leidt tot allerlei problemen. Het belangrijkste probleem is hier dat de meting van de variabele niet als onafhankelijk van de prestaties van het bedrijf kan worden beschouwd, maar K&N doen dat wel (wordt vervolgd). 

Akrima Kourtit en Peter Nijkamp: over creatieve kampioenen (samenvatting)

Dit artikel van K&N (Journal of Regional Science, 2013, pp. 749-777) gaat, onder meer, over de vraag of bedrijven in de ‘creatieve sector’ gebruik maken van strategische analyses, waarbij die bedrijven aan de hand van hun missie kunnen nagaan wat ‘kritische succesfactoren’ zijn voor de resultaten van het bedrijf en of er correcties nodig zijn om het gewenste doel te kunnen bereiken. Of bedrijven dergelijke analyses toepassen wordt aan de hand van interviews gemeten. Belangrijker voor het artikel is echter de vraag of bedrijven die dergelijke analyses toepassen ook werkelijk succesvoller zijn. De auteurs zijn niet echt onbevooroordeeld over deze vraag zoals blijkt uit dit citaat: “Bedrijven met een volledig geïmplementeerd systeem van strategische analyses hebben een sterkere concurrentiepositie dan bedrijven die een dergelijk systeem alleen maar overwegen.” Uit de ‘literatuur’ weten de auteurs dat er externe en interne succesfactoren bestaan. Bij de externe factoren gaat het bijvoorbeeld om de aanwezigheid van goed opgeleide mensen, bij de interne factoren kun je denken aan de winstgevendheid van het bedrijf en de kwaliteit van de dienstverlening. Vervolgens wordt vermeld dat er gegevens zijn verzameld over 60 bedrijven (20 grote en 40 middelgrote) die allemaal in verschillende mate strategische analyses toepassen. Van deze bedrijven beschikken ze over informatie over input- en outputfactoren en de locatie van de bedrijven (in Nederland). De locatie is uiteraard objectief vast te stellen, maar dat geldt minder voor de input- en outputfactoren. Het lijkt er op dat de informatie hierover uit de interviews met leidinggevenden van de bedrijven wordt verkregen. Volgens het artikel worden deze factoren via een statistische techniek tot een beperkt aantal terug gebracht. Met de overgebleven gegevens wordt daarna de relatieve prestaties van de bedrijven gemeten door Data Envelopment Analysis (DEA). Deze methode komt er op neer dat nagegaan wordt wie het meeste produceert bij bepaalde combinaties van inputs. Meer dan de helft van de bedrijven blijkt maximaal efficiënt te zijn in de volgende zin. Bij deze bedrijven geldt dat er geen enkel andere bedrijf is dat met dezelfde hoeveelheid inputs beter zou kunnen presteren. Omdat dit resultaat niet erg onderscheidend wordt gevonden, gaan de auteurs er vervolgens toe over de efficiënte bedrijven nog  nader onder te verdelen in ‘exceptionele bedrijven’ en de ‘creatieve kampioenen’. De exceptionele bedrijven blijken vaker strategische analyses van hun eigen prestaties te maken. Statistische toetsen blijken dit resultaat te bevestigen.