Cómo evaluar si el control sintético es lo suficientemente bueno

Question

Estoy utilizando el método de control sintético para evaluar una política a nivel estatal (utilizando el paquete synth en Stata). He leído los artículos seminales de ADH sobre el tabaco en CA y la reunificación de Alemania, pero todavía no sé exactamente cómo decidir si el estado sintético construido es un buen ajuste. Lo que hacemos por el momento es mirar el gráfico para ver si hay solapamiento entre el estado sintético y el real. Sin embargo, creo que esta no es una forma muy "robusta"...

¿Hay alguna medida que podamos utilizar o probar?

Editar :

Después de leer la respuesta (y los documentos mencionados de nuevo), tengo otra pregunta relacionada (pero tal vez un poco matizada) sobre qué esperar en el momento de la intervención (o inmediatamente después).

Como se muestra en las dos figuras siguientes de ADH (2010) y ADH (2015) En el caso de la Propuesta 99 sobre el tabaco, hay un pequeño efecto en el mismo año de la intervención, mientras que en el estudio sobre la reunificación de Alemania, la diferencia sólo se hace patente dos años después. En algunos otros trabajos que utilizan SC, hay un efecto inmediato (como Cavallo et al. (2013) ). Supongo que mientras haya una historia consistente que apoye los resultados, el tamaño del efecto a corto plazo de la intervención no invalidará la idoneidad del control sintético.

Answer 1

Esta es una excelente pregunta, pero lamentablemente no tiene una respuesta (aún) consensuada.

Muchos autores, como en esos artículos seminales, utilizan la validación cruzada para ello. Esto es básicamente lo que implica el ADH (2015) sobre la unificación alemana. Si el control sintético es bueno, el MAPE (error medio absoluto de predicción) y el RMSPE (error medio cuadrático de predicción) deberían ser bastante bajos. La validación cruzada adicional, en la que el período de pretratamiento se divide en un período de entrenamiento y otro de prueba, es hasta ahora la forma más común de proceder, aunque no hay un valor acordado sobre lo bajos que deben ser los errores de predicción, sólo que lo más bajo es siempre mejor.

A continuación, también se argumenta que se debe examinar si la tendencia de los países del grupo de donantes a los que se les asigna una ponderación distinta de cero y ver si la tendencia previa al tratamiento en esos países donantes parece coincidir con la tendencia previa al tratamiento del país tratado, de forma similar a lo que se haría para la DiD (diferencia en diferencias), como se argumenta aquí .

Por último, aunque parezca una locura, también se recomienda la inspección visual.

Además de lo anterior, también debería realizar un análisis de sensibilidad tratando de variar sistemáticamente el número de países en el grupo de donantes y ver si el control sintético resultante sigue teniendo un buen ajuste. Esto también lo hizo ADH 2015 y lo encontrará en casi todos los estudios. La publicación de los pesos también se considera una buena práctica.

Por supuesto, hacer una validación cruzada adecuada es difícil si la muestra previa al tratamiento es pequeña. Una vez trabajé en un estudio de control sintético en uno de los bancos centrales de los miembros del sistema del euro con algunos colegas, donde teníamos un período de pretratamiento muy corto debido a las limitaciones de los datos. En lugar de realizar una validación cruzada, decidimos simplemente comprobar si la serie real previa al tratamiento era estadísticamente diferente de la serie sintética utilizando un par de pruebas no paramétricas. Cuando presentamos los resultados y la metodología en un taller, no se planteó ninguna objeción al respecto, y había algunos econometristas excelentes presentes en la sala. Sin embargo, al margen de las instrucciones del banco central, el estudio no se publicó porque los resultados no eran muy interesantes, ya que la prueba del placebo demostró que los resultados no eran significativos, y decidimos abandonar el proyecto, ya que consideramos que las posibilidades de publicación eran escasas, por lo que la idea nunca fue sometida a una revisión por pares adecuada, así que tómenlo como quieran.

---

Respuesta a la edición:

como en el caso de la DiD clásica, siempre existe el problema de los efectos potencialmente retardados o los efectos de anticipación que podrían sesgar el resultado. Sin embargo, en este caso los autores argumentan que el aumento después de la reunificación fue realmente parte del efecto y no un efecto retardado. Como dicen los autores:

Nuestra estimación del efecto de la reunificación alemana en el PIB per cápita de Alemania Occidental viene dada por la diferencia entre la Alemania Occidental real y su versión sintética, visualizada en la Figura 3. Estimamos que la La reunificación alemana no tuvo un gran efecto en el El PIB per cápita de Alemania Occidental no tuvo mucho efecto en los dos primeros años inmediatamente posteriores a la reunificación. En este periodo inicial, el PIB per En este periodo inicial, el PIB per cápita de la Alemania Occidental sintética es incluso ligeramente que en la Alemania Occidental real, lo que concuerda con los argumentos en consonancia con los argumentos sobre un auge inicial de la demanda (véase, por ejemplo, Meinbardt et al. 1995). A partir de 1992 sin embargo, las dos líneas divergen sustancialmente. Mientras que el crecimiento del Mientras que el crecimiento del PIB per cápita se desacelera en Alemania Occidental, para la Alemania Occidental sintética el PIB per cápita sigue ascendiendo a un ritmo similar al del periodo anterior a la unificación.

Sin embargo, podría decirse que este es un punto débil del documento.

De lo contrario, si hubiera un verdadero retraso en el efecto, se tendría un problema que podría resolverse de forma similar a lo que ocurre con la DiD, identificando la fecha "correcta" en la que el tratamiento empezó a tener efecto e identificando el periodo anterior y posterior al tratamiento en función de ello.