Sistema de evaluación, monitoreo y retroalimentación¶
Según los Principios de Evaluación del Comité de Ayuda al Desarrollo de la Organización para la Cooperación y el Desarrollo Económico (OCDE), una evaluación se define como la “apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, puesta en práctica y resultados, así como de su pertinencia, eficacia, eficiencia, impacto y viabilidad para el desarrollo” (1991, p. 5). El proceso de evaluación y retroalimentación de Genoma se desarrolla antes, durante y después de la ejecución del proyecto. Este se enfoca en la implementación de aprendizajes adquiridos a partir de los resultados arrojados por las diferentes etapas evaluativas, así como en la promoción de la toma de decisiones basada en alertas derivadas del proceso de evaluación concomitante. En este sentido, la creación de un sistema de evaluación y retroalimentación permite monitorear de manera permanente el proyecto con el fin de fortalecer la toma de decisiones eficientes y eficaces, respecto a la aplicación de aquellas modificaciones que se consideren pertinentes en el marco de la fase de implementación del proyecto, tendientes a mejorar aspectos que presenten debilidades; o, una vez finalizado el mismo, en aras de generar recomendaciones que faciliten su replicabilidad.
Este sistema de Evaluación y Retroalimentación se configura alrededor de tres momentos: evaluación ex-ante, que valora el diseño del proyecto y la capacidad de la organización para implementarlo; evaluación concomitante, en la que se analiza cómo está funcionando la implementación y, finalmente, la evaluación ex-post, se realiza una vez concluye la implementación y contribuye a la toma de decisiones respecto a elementos como los resultados obtenidos y la continuidad del proyecto. Evaluación ex-ante Esta etapa refiere al proceso mediante el cual se realizará un análisis del diseño del proyecto; para esto se tendrá en cuenta aspectos como las capacidades con las que cuenta la organización para implementar el proyecto, así como la relación y comprensión que se tiene frente al entorno en el que será ejecutado, lo que comprende el estado de las relaciones con las poblaciones y la asimilación del contexto en el que se llevará a cabo. La evaluación del diseño está comprendida por dos fases. En primer lugar, se valora la factibilidad del proyecto con respecto a las capacidades con la que cuenta la organización; en ese sentido, se analiza una variable técnica, que se enfoca en el recurso humano y material con el que se ejecutará, así como en la comprensión del contexto y necesidades en las que se enmarcan las poblaciones que serán parte de la implementación. En un segundo momento, se realiza una valoración de los recursos financieros con los que cuenta la organización y la capacidad de esta para gestionarlos. En segundo lugar, se realiza una valoración respecto al contenido del proyecto y su congruencia con las necesidades de la población. Esto en aras de comprobar la pertinencia del proyecto.
Evaluación Concomitante Esta etapa de la evaluación se lleva a cabo en medio de la implementación del proyecto; en ella se evalúa cómo ha sido su funcionamiento, en tanto valora el cumplimiento de los objetivos a través de indicadores preestablecidos, lo que permite arrojar resultados parciales de la implementación. En aras de analizar de forma continua los avances del proceso de implementación de Genoma y generar sugerencias respecto a los hallazgos, se estructura una matriz en la que se consigna la información que contienen los indicadores diseñados para evaluar la implementación del proceso. Indicadores Genoma comprende indicadores que evidencian el progreso del proyecto, cualitativos o cuantitativos, permitiendo constatar el cumplimiento de las actividades. Para lo cual se ha definido el siguiente esquema, que condensa la información relevante frente a lo que el indicador pretende medir. Categorías a. Id Indicador: Se refiere al identificador del indicador que lo compone la sigla I, seguido de la sigla a la que el indicador pertenece (R=Resultado, P=Producto, G= Gestión), y finalmente un número consecutivo. b. Esfera: referente las dos esferas metodológicas que componen la metodología de a Genoma c. Objetivo: referente a los objetivos específicos del proyecto. Cada indicador está enlazado a uno de estos en aras de medir que sean alcanzados. Cada objetivo se identifica con el código OE, seguido del número en la lista de objetivos que le corresponde. d. Ejes: remite a los ejes de Genoma, que se enmarcan en las diferentes esferas. Estos son: Laboratorio Formación, Laboratorio Incidencia, Tecnología cívica, Marco de Referencia, Info Data y Mapeo de Actores e. Nombre del indicador: Se menciona el nombre del indicador. f. Tipo de Indicador: Se remite a integrar al tipo de indicador al que pertenece: Gestión, Producto, Resultado. g. Definición del indicador: Es la explicación del indicador. h. Objetivo del indicador: Muestra lo que pretende medir el indicador. i. Comportamiento deseado del indicador: Expone la actitud del indicador, si es de sostenimiento, reducción o incremento. 1. Sostenimiento: Si se espera que el indicador se mantenga estable en la ejecución del proyecto. 2. Reducción: Si se espera que el indicador baje en la ejecución del proyecto. 3. Incremento: Si se espera que el indicador aumente a medida de la ejecución del proyecto. a. Unidad de Medida: Es la cantidad estandarizada en Personas, Organizaciones, Estrategias, Informes, Formadores, Acciones o Actividades. b. Meta proyecto: Representa la meta planteada por el indicador del proyecto. c. Ejecución: De manera parcial se evidencia la cifra de ejecución parcial del indicador del proyecto. d. Observación: Se indica si es necesario tener desglosado el indicador. e. Forma de cálculo: Expone la forma en la que se calcula el indicador. f. Frecuencia del cálculo del indicador: Es la periodicidad con la que se debe tomar el indicador g. Fuente de información: manifiesta la forma de validar los resultados del indicador. h. Instrumento de recopilación: Es el mecanismo a través del cual se pueda reportar el seguimiento al indicador i. Formato de los datos o registro: referente a la forma en la que se consignará la información recolectada j. Fecha: consigna la fecha en la que se actualiza la información.
Criterios de los indicadores Para la construcción de los indicadores se consideraron los siguientes criterios: 1. Independencia: cada indicador está diseñado para un solo objetivo. 2. Verificabilidad: cada indicador puede ser comprobado a partir de evidencia. 3. Validez: cada objetivo tiene un indicador que lo valide. 4. Comprensible: el indicador debe ser claro respecto a lo que se quiere medir. 5. Confiabilidad: los resultados del indicador deben ser verídicos. 6. Sensibilidad: el indicador debe evidenciar cambios. 7. Especificidad: el indicador debe medir específicamente los resultados del proyecto. Además, se tienen en cuenta los objetivos específicos de Genoma para generar los indicadores, estos objetivos son
Tipos de indicador 1. Gestión: mide la eficiencia de las actividades propuestas. 2. Producto: cuentan los bienes y servicios creados y funcionando 3. Resultado: da cuenta de las actividades ejecutadas por el proyecto guiadas a dar cumplimiento a los objetivos del proyecto.
Evaluación ex-post Se evalúa para determinar si se cumplió con los objetivos y productos planteados al inicio del proyecto; además, evidencia los aprendizajes globales, así mismo pretende comprender factores de la gestión, el desempeño del proyecto, la eficacia, eficiencia, el cumplimiento y la participación de la población. 1. Gestión de la corporación a. Economía: este criterio permite identificar si los recursos fueron aprovechados al máximo y, a su vez, verificar que los gastos se correspondan con lo presupuestado para la ejecución del proyecto. En ese sentido, se realiza un cálculo partiendo de la siguiente fórmula:
• (Gasto previsto/Gasto real)*100
Desempeño del proyecto: Resultados
Eficacia: Mide en términos porcentuales la capacidad para alcanzar el efecto esperado en términos del proyecto, es el indicador de cumplimiento de las actividades el proyecto, puede ser eficaz si el % se acerca a 100% o ineficaz, si el porcentaje se acerca a 0% el cálculo es
• Actividades alcanzadas*100)/(Actividades previsto)
Eficiencia: Mide en términos porcentuales la capacidad para alcanzar el efecto esperado, considerando el tiempo utilizado y los recursos usados, si el resultado se acerca a 100% el proyecto fue eficiente, si se acerca a 0% el proyecto fue ineficiente
• ((Resultado alcanzado/costo real)*Tiempo invertido)/((Resultado previsto/costo previsto) *Tiempo previsto)
Efectividad: Permite medir el grado de efectividad del proyecto, resultante del puntaje de la eficiencia y la eficacia conseguida. Entre el resultado se acerque a 100% el proyecto fue efectivo, si se acerca a % el proyecto no fue efectivo. Su medición se da así:
• Resultado de eficiencia+Resultado de eficacia/2/Máximo puntaje
La construcción del esquema de evaluación del componente ex-post lleva las siguientes Categorías a. Id. Indicador: Se refiere al identificador del indicador que lo compone la sigla I, seguido de la sigla E correspondiente a la sigla Ex-post, y finalmente un número consecutivo. b. Nombre: Se menciona el nombre del indicador. c. Descripción del indicador: Explica el indicador d. Forma de cálculo: Es la forma en la que se calcula el indicador e. Unidad de Medida: Es el resultado consignado en Porcentaje f. Ejecución: Es el resultado de la forma de cálculo g. Meta proyecto: El proyecto pretende cumplir el 100% en cada ítem
Técnicas para el rastreo de la información Como técnicas para la construcción de instrumentos de recolección se se comprende la interacción de diferentes instrumentos para la recolección de información, estos incluyen
1. Informes de ejecución: Recoge en un documento los avances cuantitativos y cualitativos del proyecto, contemplando datos frente a la ejecución y a los resultados de la eficiencia y eficacia del proyecto
2. Registros de Base de Datos: contiene la información tanto de personas, como de organizaciones que participan dentro del proyecto.
3. Entrevistas: Parte de reconocer la visión de los actores presentes en el proyecto de manera que ellos presenten la perspectiva de análisis de la implementación del proyecto
4. Cuestionarios: Estos cuestionarios pretenden recoger información de entrada y salida permitiendo evidenciar avances frente a las estrategias formativas.
Retroalimentación Un proceso de retroalimentación permite abarcar la sistematización global del proyecto, procurando generar una herramienta capaz de comprender cada proceso, que permita la toma de decisiones a partir de los momentos propios del proyecto y que posibilite las modificaciones correspondientes de cara a próximas implementaciones. El componente de retroalimentación, concluye el sistema de evaluación y retroalimentación de Genoma, en él se contempla la sistematización propia del proyecto partiendo de tres aspectos: 1. Aciertos: Consigna la efectividad del proyecto, entendiendo de cara a la implementación de nuevos proyectos, lo que debe continuar 2. Fallos: Frente a la ejecución el proyecto permite conocer a profundidad los problemas dentro de la ejecución del proyecto de cara a la implementación en las próximas fases. 3. Aprendizajes: Recoge de cara a la implementación, la sistematización de los retos del proyecto, entendiendo cada momento para su replicabilidad y generando unas reflexiones