¿Cómo evaluar un programa? Estudio de caso: Sistema Nacional de Información para el Desarrollo Rural Sustentable (SNIDRUS)
Una tarea importante dentro de la labor del planificador para el desarrollo agropecuario recae en el proceso de evaluación, efectuar esta labor permitirá retroalimentar el proceso de planificación, si bien es cierto que la evaluación en cierta medida es adaptable al proyecto, programa o plan que se está evaluando, un estudio realizado por el Centro de Investigación y Docencia Económicas (CIDE) determina como fundamentales los siguientes aspectos:
Antes de iniciar con los ejes de una evaluación vamos a conocer en que consiste el programa evaluado.
Bien, ¿Qué es el SNIDURS?
Es un programa instrumentado por el Servicio de Información Agroalimentaria y Pesquera (SIAP), que se constituyó en 2001 por mandato de la Ley para el Desarrollo Rural Sustentable (LDRS), que en su artículo 134 indica que su objetivo es proveer de información oportuna a los productores y agentes económicos que participan en la producción y en los mercados agropecuarios e industriales y de servicio.
El SNIDRUS es un programa para generar un bien público, en este caso información oportuna, relevante y actualizada del sector agropecuario y pesquero.
Para cumplir con su cometido, el programa opera con recursos federales y estatales en cinco proyectos: • Monitoreo de información agropecuaria. • Aplicaciones geoespaciales. • Padrones de productores. • Sistema de Información de Agricultura Protegida (SIAPRO) • Portales municipales.
El SNIDRUS encuentra justificación cuando las cifras arrojan que el 95.3% de las unidades económicas rurales no consulta, recibió o tuvo acceso a algún tipo de información sobre el sector agroalimentario y pesquero proporcionada por el SIAP-SAGARPA relacionada con la actividad productiva (FAO 2011, p.50) de los seis estratos en los que se clasifican las unidades económicas rurales (UER), los más afectados por la falta de información son E2 (unidades familiares de subsistencia con vinculación al mercado) y E3 (unidades en transición).
Anteriormente se mencionaron los ejes centrales que se deben considerar para evaluar a un determinado programa, vamos a profundizar en cada uno de estos:
I. DISEÑO DEL PROGRAMA
El primer aspecto a evaluar considera el Diseño del programa, aquí se debe abordar desde las Características del programa (Nombre, siglas, problema que atiende, objetivos nacionales y sectoriales a los que se vincula, objetivos, población potencial, objetivo y atendida, presupuesto aprobado, entre otras). El Análisis de la justificación de la creación y diseño del programa, es decir, si el programa tiene identificado el problema o necesidad prioritaria que busca resolver. El siguienete paso es el Análisis de la contribución del programa a los objetivos nacionales, aqupi se debe verificar que el propósito del programa este vinculado con los objetivos sectoriales, especiales o institucionales, por ejemplo, para el SNIDURS su propósito es: “Productores agropecuarios, pesqueros, acuícolas y rurales cuentan con Información agroalimentaria verificada para la toma de decisiones” el cual está vinculado con la estrategia 2.3 "Aprovechamiento de las tecnologías de la información y comunicación para el desarrollo rural” del objetivo 2. "Abastecer el mercado interno con alimentos de calidad, sanos y accesibles provenientes de nuestros campos y mares” del Programa Sectorial de Desarrollo Agropecuario y Pesquero 2007-2012. El siguiente paso es el Análisis de la población potencial y objetivo las cuales deben estar definidas en el diagnóstico del problema y deben describir lo siguiente: unidad de medida, metodología para su cuantificación y fuentes de información así como el plazo para su revisión y actualización. El quinto paso para evaluar el Diseño del programa radica en el Análisis de la matriz de indicadores para resultados (MIR), este inciso considera la redacción de objetivos y su vinculación con cada componente que integre el programa, además de una parte importante para el planificador: los indicadores, para el caso del SNIDRUS contempló 13 indicadores en su MIR, los siguientes son algunos de sus componentes:
II. PLANEACIÓN Y ORIENTACIÓN A RESULTADOS
Como primer paso dentro de la segunda fase de evaluación encontramos los Instrumentos de planeación, por ejemplo, si cuenta con un plan estratégico que contemple el mediano y/o largo plazo, y establezca los resultados alcanzar (Fin y Propósito del programa),un segundo paso es la Orientación hacia resultados y esquemas o procesos, en este paso el programa deberá emplear informes de evaluación externa para realizar cambios al programa y/o obtener retroalimentación, por ejemplo, para el caso del SNIDRUS, efectuar una evaluación externa permitiría tener claridad sobre la pertinencia de los componentes del programa, así como la periodicidad de los levantamientos, particularmente de los padrones de productores.
Otro aspecto a evaluar dentro de este inciso radica en la Generación de información, para cumplirlo el programa debe generar información de cumplimiento de los objetivos sectoriales, especiales o institucionales, así como la relacionada a sus beneficiarios (características económicas, tipos y montos de apoyo). En este sentido, se vuelve importante monitorear su evaluación por desempeño, por ejemplo, en programa SNIDRUS contempla 4 indicadores de Componentes y 7 de Actividades, las fuentes que alimentan cada uno de estos indicadores son tanto internas (SIAP) como externas (delegaciones de la entonces SAGARPA o las Secretarías de Desarrollo Agropecuario).
III. COBERTURA Y FOCALIZACIÓN
Como primer paso para evaluar la Cobertura y Focalización el programa debe realizar un Análisis de cobertura, en dónde debe incluir:
a) La definición de la población objetivo;
b) Especifica metas de cobertura anual;
c) Abarca un horizonte de mediano y largo plazo y;
d) Es congruente con el diseño del programa.
IV. OPERACIÓN DEL PROGRAMA
La evaluación en la Operación del programa deberá contemplar el Análisis de los procesos establecidos en las ROP o nortmatividad, por ejemplo, los Diagramas de Flujo del proceso general del programa para cumplir con los bienes y servicios (Componentes), así como los procesos clave en la operación del programa.
V. INSTRUMENTOS PARA CONOCER LA POBLACIÓN ATENDIDA
VI. MEDICIÓN DE RESULTADOS
"Se tomaron como base los Términos de Referencia (TdeR) establecidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), mismos que definieron los objetivos, criterios, alcances y la presentación de este estudio*.
De esta forma, los temas considerados en el estudio de evaluación fueron el diseño del programa, su planeación y orientación a resultados, su cobertura y focalización, su operación, sus instrumentos para conocer la percepción de la población atendida, y su medición de resultados."
Dicha evaluación fue realizada en el año 2011 para el programa denominado Servicio Nacional de Información para el Desarrollo Rural Sustentable (SNIDRUS), perteneciente al Servicio de Información Agroalimentaria y Pesquera (SIAP).Antes de iniciar con los ejes de una evaluación vamos a conocer en que consiste el programa evaluado.
Bien, ¿Qué es el SNIDURS?
Es un programa instrumentado por el Servicio de Información Agroalimentaria y Pesquera (SIAP), que se constituyó en 2001 por mandato de la Ley para el Desarrollo Rural Sustentable (LDRS), que en su artículo 134 indica que su objetivo es proveer de información oportuna a los productores y agentes económicos que participan en la producción y en los mercados agropecuarios e industriales y de servicio.
El SNIDRUS es un programa para generar un bien público, en este caso información oportuna, relevante y actualizada del sector agropecuario y pesquero.
Para cumplir con su cometido, el programa opera con recursos federales y estatales en cinco proyectos: • Monitoreo de información agropecuaria. • Aplicaciones geoespaciales. • Padrones de productores. • Sistema de Información de Agricultura Protegida (SIAPRO) • Portales municipales.
El SNIDRUS encuentra justificación cuando las cifras arrojan que el 95.3% de las unidades económicas rurales no consulta, recibió o tuvo acceso a algún tipo de información sobre el sector agroalimentario y pesquero proporcionada por el SIAP-SAGARPA relacionada con la actividad productiva (FAO 2011, p.50) de los seis estratos en los que se clasifican las unidades económicas rurales (UER), los más afectados por la falta de información son E2 (unidades familiares de subsistencia con vinculación al mercado) y E3 (unidades en transición).
Anteriormente se mencionaron los ejes centrales que se deben considerar para evaluar a un determinado programa, vamos a profundizar en cada uno de estos:
I. DISEÑO DEL PROGRAMA
El primer aspecto a evaluar considera el Diseño del programa, aquí se debe abordar desde las Características del programa (Nombre, siglas, problema que atiende, objetivos nacionales y sectoriales a los que se vincula, objetivos, población potencial, objetivo y atendida, presupuesto aprobado, entre otras). El Análisis de la justificación de la creación y diseño del programa, es decir, si el programa tiene identificado el problema o necesidad prioritaria que busca resolver. El siguienete paso es el Análisis de la contribución del programa a los objetivos nacionales, aqupi se debe verificar que el propósito del programa este vinculado con los objetivos sectoriales, especiales o institucionales, por ejemplo, para el SNIDURS su propósito es: “Productores agropecuarios, pesqueros, acuícolas y rurales cuentan con Información agroalimentaria verificada para la toma de decisiones” el cual está vinculado con la estrategia 2.3 "Aprovechamiento de las tecnologías de la información y comunicación para el desarrollo rural” del objetivo 2. "Abastecer el mercado interno con alimentos de calidad, sanos y accesibles provenientes de nuestros campos y mares” del Programa Sectorial de Desarrollo Agropecuario y Pesquero 2007-2012. El siguiente paso es el Análisis de la población potencial y objetivo las cuales deben estar definidas en el diagnóstico del problema y deben describir lo siguiente: unidad de medida, metodología para su cuantificación y fuentes de información así como el plazo para su revisión y actualización. El quinto paso para evaluar el Diseño del programa radica en el Análisis de la matriz de indicadores para resultados (MIR), este inciso considera la redacción de objetivos y su vinculación con cada componente que integre el programa, además de una parte importante para el planificador: los indicadores, para el caso del SNIDRUS contempló 13 indicadores en su MIR, los siguientes son algunos de sus componentes:
a)Nombre del indicador
b) Definición
c) Método de cálculo
d) Unidad de Medida
e) Frecuencia de Medición
f) Línea base
g) Metas
h) Comportamiento del indicador (ascendente, descendente, regular ó nominal).
El paso número 6 involucra el Análisis de posibles complementariedades y coincidencias con otros, este paso permite evaluar si existe duplicidad de programas o alguno que se parezca o enfoque a los mismos objetivos que el programa que esta siendo analizado.II. PLANEACIÓN Y ORIENTACIÓN A RESULTADOS
Como primer paso dentro de la segunda fase de evaluación encontramos los Instrumentos de planeación, por ejemplo, si cuenta con un plan estratégico que contemple el mediano y/o largo plazo, y establezca los resultados alcanzar (Fin y Propósito del programa),un segundo paso es la Orientación hacia resultados y esquemas o procesos, en este paso el programa deberá emplear informes de evaluación externa para realizar cambios al programa y/o obtener retroalimentación, por ejemplo, para el caso del SNIDRUS, efectuar una evaluación externa permitiría tener claridad sobre la pertinencia de los componentes del programa, así como la periodicidad de los levantamientos, particularmente de los padrones de productores.
Otro aspecto a evaluar dentro de este inciso radica en la Generación de información, para cumplirlo el programa debe generar información de cumplimiento de los objetivos sectoriales, especiales o institucionales, así como la relacionada a sus beneficiarios (características económicas, tipos y montos de apoyo). En este sentido, se vuelve importante monitorear su evaluación por desempeño, por ejemplo, en programa SNIDRUS contempla 4 indicadores de Componentes y 7 de Actividades, las fuentes que alimentan cada uno de estos indicadores son tanto internas (SIAP) como externas (delegaciones de la entonces SAGARPA o las Secretarías de Desarrollo Agropecuario).
III. COBERTURA Y FOCALIZACIÓN
Como primer paso para evaluar la Cobertura y Focalización el programa debe realizar un Análisis de cobertura, en dónde debe incluir:
a) La definición de la población objetivo;
b) Especifica metas de cobertura anual;
c) Abarca un horizonte de mediano y largo plazo y;
d) Es congruente con el diseño del programa.
IV. OPERACIÓN DEL PROGRAMA
La evaluación en la Operación del programa deberá contemplar el Análisis de los procesos establecidos en las ROP o nortmatividad, por ejemplo, los Diagramas de Flujo del proceso general del programa para cumplir con los bienes y servicios (Componentes), así como los procesos clave en la operación del programa.
V. INSTRUMENTOS PARA CONOCER LA POBLACIÓN ATENDIDA
VI. MEDICIÓN DE RESULTADOS
Fuentes consultadas:
*
https://www.transparenciapresupuestaria.gob.mx/work/models/PTP/programas/sed/evaluaciones/2012/08u017c0cr12.pdf 
Comentarios
Publicar un comentario