Evaluación de impacto: atribución y el razonamiento contrafactual

Después no significa por causa de: la pregunta de la atribución

El monitoreo muestra que la línea bajó; la evaluación de impacto pregunta si tu programa la bajó. Esta es la frontera entre honestidad y propaganda. Que la deserción cayera justo cuando arrancó tu programa puede deberse al programa, pero también a que la economía mejoró, a otra política simultánea, a un cambio demográfico o puro al azar. A confundir «después de» con «a causa de» se llama falacia post hoc, y es el vicio más común de quien presume resultados sin demostrarlos.

La evaluación seria no parte de «¿subió el indicador?», sino de una pregunta incómoda: ¿qué habría pasado con ese mismo indicador si el programa no hubiera existido? Ese mundo alternativo, que nunca observamos directamente, es el contrafactual. Todo el arte de la evaluación de impacto consiste en construir una buena estimación de ese contrafactual, para poder restarlo del mundo real y quedarnos con el efecto atribuible a la intervención.

Hay varias formas de estimar el contrafactual, de más débil a más fuerte. La más simple es la línea de tendencia: proyectar hacia el futuro la trayectoria que el indicador llevaba antes de intervenir y ver si el valor real se desvió de esa proyección. Funciona cuando no hay más remedio, pero es frágil: cualquier golpe externo (una crisis) invalida la proyección. Más robusta es la comparación con un grupo similar que no recibió el programa —otra municipio, otra escuela, personas que cumplieron requisitos pero no fueron seleccionadas—: si ambos iban igual antes, la diferencia posterior se atribuye con más confianza a la intervención.

El estándar combina ambas en diferencias en diferencias: comparar cuánto cambió el grupo tratado versus cuánto cambió el grupo de comparación, descontando así las tendencias comunes. La idea guía siempre es la misma: el cambio que se observa en todos lados no es mérito tuyo; tu efecto es solo la diferencia extra que muestra tu grupo frente al contrafactual. Reconocer esto es lo que separa al evaluador del relacionista público.

Con esto se cierra el circuito de la teoría del cambio: cadena causal → hipótesis y supuestos → indicadores SMART → metas → monitoreo → evaluación. Ya no solo prometes: puedes demostrar. Pero medir sin dinero es filosofía: la siguiente materia aterriza todo este andamiaje en el terreno más concreto de la política —el presupuesto—, donde tus objetivos se traducen en partidas, tus indicadores en costo por resultado, y tu teoría del cambio en una defensa ante el cabildo o el congreso. El presupuesto es, como se verá, el documento político más honesto: dice, con números, qué te importa de verdad.