Experimenting with a design experiment

The design experiment is an experimental research method that aims to help design and further develop new (policy) instruments. For the development of a set of guidelines for the facilitation of citizens’ initiatives by local governments, we are experimenting with this method. It offers good opportunities for modeling interventions by testing their instrumental validity –the usefulness for the intended practical purposes. At the same time design experiments are also useful for evaluating the empirical validity of theoretical arguments and the further development of these arguments in the light of empirical evidence (by using e.g. the technique of pattern matching). We describe how we have applied this methodology in two cases and discuss our research approach. We encountered some unexpected difficulties, especially in the cooperation with professionals and citizens. These difficulties complicate the valid attribution of causal effects to the use of the new instrument. However, our preliminary conclusion is that design experiments are useful in our field of study El experimento de dise o es un método de investigación experimental que tiene como objetivo dise ar y desarrollar posteriormente nuevas herramientas (políticas). En este artículo experimentamos con este método para desarrollar un conjunto de directrices que permitan a los gobiernos locales facilitar las iniciativas ciudadanas. El método ofrece la oportunidad de modelar las intervenciones poniendo a prueba su validez instrumental (su utilidad para el fin práctico que se proponen). Al mismo tiempo, los experimentos de dise o son útiles también para evaluar la validez empírica de las discusiones teóricas y el posterior desarrollo de esas discusiones a la luz de la evidencia empírica (usando, por ejemplo, técnicas de concordancia de patrones). En este trabajo describimos cómo hemos aplicado este método a dos casos y discutimos nuestro enfoque de investigación. Hemos hallado diversas dificultades inesperadas, sobre todo en la colaboración de profesionales y ciudadanos. Esas dificultades hacen más complicado que se puedan atribuir de forma válida efectos causales al nuevo instrumento. Sin embargo, nuestra conclusión preliminar es que los experimentos de dise o son útiles en nuestro campo de estudio.