1. Más allá de los Beneficiarios: El uso de los Sistemas de Información para la Evaluación de Costo-Efectividad Suzanne Duryea RES - BID 10 de Diciembre de 2003

2. Sistemas de Información Sistemas de Información como el SISBEN, CAS o SIPO fueron desarrollados para focalizar mejor a los beneficiarios (principalmente pobres o poblaciones en riesgo). Se utiliza un ranking cuantitativo como una medida de la pobreza y/o falta de recursos generadores de ingreso en la familia. Aquellas familias que quedan por debajo de un determinado nivel crítico del ranking son elegibles para participar en ciertos programas.

3. Sistemas de Información para Programas Sociales Pueden facilitar cierto tipo de evaluaciones. Junto con algunos elementos adicionales, las bases de datos pueden otorgar una adecuada base para la evaluación.

4. ¿Qué queremos decir con “evaluación del impacto”? “¿Qué le hubiera ocurrido a los beneficiarios en la ausencia del programa?” “¿Cuál fue el efecto del programa?”

5. Algunas opciones 1)Diseños aleatorios Ejemplos: Regiones geográficas son seleccionadas aleatoriamente para una posterior etapa del programa (Oportunidades, PRAF) Se eligen aleatoriamente individuos para formar un grupo de control (como los “vouchers” de educación en Colombia) Las evaluaciones aleatorias son consideradas por los expertos como la mejor opción ya que resuelven muchos de los problemas que se encuentran al evaluar. (Duflo and Kremer, 2003) Sin embargo, los diseños aleatorios pueden ser políticamente dificultosos y no siempre son viables o apropiados.

6. Algunas opciones 2) Ex-Post El objetivo es comparar resultados entre los beneficiarios y los no-beneficiarios que eran similares ANTES de la participación en el programa. Sólo observar a los individuos una vez que ha pasado suficiente tiempo como para que el programa tenga efecto. Supuesto crucial: Luego de controlar por características observables, beneficiarios y no-beneficiarios no difieren en las características no observables.

7. Algunas opciones 3) Comparaciones antes y después -- “Double Difference” Monitorear a los beneficiarios y no-beneficiarios a lo largo del tiempo necesario para que el programa tenga efecto. I.e., tomando una línea de base para ambos grupos comparar los cambios en el comportamiento de los beneficiarios con los cambios de los no-beneficiarios. Se remueven todas las diferencias no observables invariantes en el tiempo. Supuesto crucial: No hay ninguna diferencia no observable variante en el tiempo entre beneficiarios y no-beneficiarios.

8. Creación de un Grupo contrafáctico La parte más crítica del diseño de la evaluación es quién puede ser usado como comparación natural. Los Sistemas de Información pueden jugar un rol importante. Hay familias que no califican para los programas porque están levemente por encima del nivel crítico del ranking. Estas familias son similares a aquellas con una posición cercana en el ranking pero que califican para los programas. Diseño Discontinuo: (Campbell, 1969, Buddlemeyer and Skoufias 2003) Asignar el programa y luego comparar resultados entre familias.

9. Advertencia importante Esto mide el efecto medio a nivel local (local average treatment effect): no necesariamente compara el impacto en las familias más pobres. Si hay efectos heterogéneos a niveles distintos del ranking esto está solamente midiendo el efecto del nivel crítico del ranking. Debe existir un nivel crítico: son necesarias reglas de cumplimiento.

10. Ejemplo de una evaluación ex-post: Superémonos S. Duryea and A. Morrison (2003) Se basa fuertemente en sistemas de información del Instituto Mixto de Ayuda Social (IMAS), Costa Rica: Sistema de Información sobre la Población Objetivo (SIPO) Sistema de Atención a Beneficiarios (SAB)

11. Superémonos Cupón de Comida (US$30 por mes durante la etapa de asistencia a la escuela) El objetivo son los hogares pobres con hijos en edad de asistir a la escuela (6 a 18 años) pero en riesgo de baja asistencia usando el SIPO (proxy means test) Transferencia condicionada: las familias acuerdan que todos sus hijos asistan con regularidad a la escuela.

12. Sistema de Información sobre la Población Objetivo (SIPO) Mecanismo de focalización El ranking del SIPO depende de La ocupación del jefe del hogar Material de construcción de la vivienda Ingreso del hogar Educación del jefe del hogar Riqueza neta del hogar Más de 250,000 hogares

13. SIPO y SAB Muy eficientes Provisto IMAS con una lista de características (3 regiones requeridas, edades entre 10 y 16 años, inicio del programa en 2001), proveen una lista de referencia cruzada de beneficiarios en minutos. Estuvieron en el campo con nuestra encuesta durante dos meses. Muy rápidos en comparación con adicionar preguntas a las encuestas de hogares nacionales.

14. Faltó un componente crucial para la evaluación Sin embargo: no había información disponible en el SAB con respecto al grupo contrafáctico potencial (aquellos por encima del nivel crítico). Formamos este grupo realizando encuestas en los mismos barrios y obteniendo familias con probabilidades similares de participar en Superémonos (propensity matching approach) Costo de recolección de datos para la evaluación de Superémonos, 1.788 hogares, menos de US $30.000 México Progresa, 24.407 hogares, US $450.000 Argentina Trabajar, 2.800 hogares, US $350.000 Fuente: Blomquist 2003

15. Síntesis de información de las muestras encuestadas Superémonos- Lista IMAS Grupo de Control Número total de observaciones 7461032 Edad promedio de los niños 12,9012,95 Porcentaje de mujeres 50,2748,55 Porcentaje en San José 60,1956,88 Porcentaje en Alajuela 6,034,94 Porcentaje en Cartago 33,7838,18 Porcentaje de madres con educación primaria incompleta 36,4635,76 Porcentaje de hogares sin electricidad 4,293,88

16. Diseño e implementación de la encuesta Nuestra encuesta (“tailor-made” ) Testeos de campo Potencia testeada Tamaño de la muestra: 746 beneficiarios de Superémonos. 1,042 no-beneficiarios. Datos recolectados en tres centros urbanos: San José, Alajuela y Cartago. Información obtenida sobre participación laboral, asistencia escolar, desempeño educativo y un conjunto de características del hogar. Costo aproximado: US $15 por encuesta (sin direcciones)

17. Estrategia de Duryea y Morrison : Evaluación Ex-Post S istema de información usado solo para identificar a los beneficiarios Encontramos que de los beneficiarios entre 12 y 15 años de edad, presentan 5 puntos porcentuales más de probabilidad de asistir a la escuela con relación a los no-beneficiarios. En este programa no tenemos razones para pensar en problemas de selección serios. El récord académico no se consideró para la elegibilidad. La metodología ex-post puede ser apropiada.

18. Estrategia alternativa: Lo que podríamos haber hecho. “ Double Difference”: Sistemas de información usados para identificar tratamiento y grupos de control Crear un grupo de comparación formado por aquellos que están justo por encima del nivel crítico en el SIPO para participar en Superémonos. Unir 3 no-beneficiarios con cada beneficiario (basado en el ranking del SIPO dentro de la misma unidad geográfica). Seguir a los beneficiarios y no-beneficiarios a lo largo del tiempo (“double difference”).

19. Ejemplo hipotético: Efecto de un programa de transferencia condicional en actividades en horario escolar “Double Difference” mide un efecto positivo del programa Medidas Ex-Post no captan el efecto positivo del programa 0 5 10 15 20 25 30 35 40 0123456789 Meses de ejecución del programa Horas gastadas en actividades escolares A = Diferencia Ex-Post Antes Después Beneficiarios No - Beneficiarios A B C Double Difference = C - B = 27 - 18 = 9 El cambio en los beneficiarios es mayor

20. Conclusiones y Recomendaciones de Política 1.Los sistemas de información son críticos, tanto para la focalización como para la evaluación. 2.Los sistemas de información pueden facilitar las evaluaciones costo-efectividad ex-post. 3.Es posible ajustar los sistemas de información para proveer evaluaciones más rigurosas a un costo razonable. Monitoreando a los no- beneficiarios en adición a los beneficiarios es la principal modificación necesaria. 4.Se debe favorecer un cumplimiento mas estricto en la implementación de los niveles críticos del ranking.