1 El Componente de Evaluación de las PropuestasCurso EDUC 6995 Preparación de propuestas para proyectos educativos, de investigación y servicio Facultad de Educacion , Iniversidad de Puerto Rico, Recinto de Rio Piedras Sandra Macksoud Lopez. Ph.D., Departamento de Estudios Graduados 19 de octubre de 2011 El Componente de Evaluación de las Propuestas

2 ¿Qué es evaluar?

3 Definición de evaluar Evaluar es la acción de valorar , de dar valor a algo, juzgar, enjuiciar, apreciar, y avaluar La evaluación es un proceso sistematico de juzgar la calidad o mérito de algo a partir de cierta información (cuantitativa y cualitativa) que se compara contra ciertos criterios. Ocurre a lo largo del tiempo, en un contexto particular, y siguiendo una secuencia establecida (Verdejo y Medina , 2007) ¿Por qué se incluye un componente de evaluación en las propuestas? Para determinar el logro de los objetivos (Accountability) Para conocer la efectividad de la estrategia implantada Para tomar decisiones Para aprender y mejorar

4 Resultados: EvaluaciónPor que: Justificación Que: Objetivos Como: Plan de Trabajo Con que: Recursos Resultados: Evaluación Propuesta

5 Estrecha interrelación con los objetivosImportancia de construir objetivos medibles, realistas, claros La evaluación ayuda en el proceso de planificar cómo se van a lograr los objetivos , y a mejorar la implantación misma del proyecto

6 El Desarrollo del campo de la EvaluaciónLa evaluación es una de tres formas de inquirir disciplinado, junto con la investigación y el análisis de política (Lincoln y Guba , 2001) Curso EDUC 8030 Patton (2003), Scriven (2011), Stufflebeam (2007), Yuen (2009) Diferencia evaluación de programas versus proyectos

7 La Evaluación Es requisito de todas las propuestasEs necesario estudiar los parámetros que establece cada fuente de fondos. Ejemplo- del Programa GEAR-UP 6. QUALITY OF THE PROJECT EVALUATION (20 POINTS): In determining the quality of the project evaluation, the Secretary considers the following factors: •The extent to which the methods of evaluation are thorough, feasible, and appropriate to the goals, objectives, and outcomes of the proposed project. •The extent to which the methods of evaluation include the use of objective performance measures that are clearly related to the intended outcomes of the project and will produce quantitative and qualitative data to the extent possible; and

8 EjEmplo (cont.) •The extent to which the methods of evaluation will provide performance feedback and permit periodic assessment of progress toward achieving intended outcomes. •The extent to which the evaluation will provide guidance about effective strategies suitable for replication or testing in other settings.

9 Incluir en el plan de evaluación datos que requiere la fuente de fondosMuchas veces se requiere que los proyectos formen parte de las evaluaciones de los programas a nivel nacional Government Performance and Results Act (GPRA) requires federal agencies to report annually on the accomplishments of their funded efforts. This requirement includes establishing broad goals or strategic outcomes, performance outcomes, and performance indicators against which progress will be assessed. Ejemplo- Base de datos longitudinal GEAR UP

10 Definición básica de Evaluación de ProyectosBusca medir cambios en actitudes, conocimientos, destrezas, conductas , condiciones en los participantes. Impacto en las necesidades identificadas No es auditoria, es para mejorar No es recopilación de datos de indicadores

11 Elementos del plan de evaluaciónFoco en los objetivos medibles Preguntas de evaluación Establecer indicadores de logros por cada objetivo Tipo de evaluación Actividades e instrumentos que utilizará para evidenciar el logro de cada objetivo que permitan recopilar datos Quiénes van a ser responsables de qué y cuando Preparación y divulgación de los informes

12 Outcomes Based EvaluationOutcome-based evaluation (OBE) se refiere a la medición de los resultados para evidenciar el grado en que el proyecto logró los objetivos. Identifica datos cuantificables que demuestran de forma creíble el cambio logrado o las condiciones deseadas. Los outcomes pueden ser a corto plazo, intermedios, largo plazo y relacionados a la sustentabilidad Se deben establecer milestones /benchmarks

13 Modelo lógico Es una herramienta conceptual desarrollado para ayudar en la planificacion y evaluacion de los proyectos, originalmente desarrollado por Weiss (1970) Consiste en diagramar las relaciones causales entre los elementos de un proyecto y los resultados Controversia con causalidad

14 Modelo lógico

15 Mission + Influencers  PROGRAM PURPOSEOutcomes Logic Model Mission + Influencers  PROGRAM PURPOSE Outputs Activities Services Inputs Outcomes The amount of impact desired When data is collected The population to be measured Sources of information about conditions being measured Observable and measurable behaviors or conditions Targets (Goals) Data Interval (When) Applied to (Who) Data Sources Indicators The amount of impact desired When data is collected The population to be measured Sources of information about conditions being measured Observable and measurable behaviors or conditions Targets (Goals) Data Interval (When) Applied to (Who) Data Sources Indicators

16 Preguntas para Evaluación sumativaEl foco son los logros al final del proyecto, o periodo determinado ¿ Se han alcanzado los objetivos y resultados esperados? ¿ Cuáles son los hallazgos clave? ¿ Qué impacto ha tenido el proyecto? Esperados e inesperados ¿ Qué beneficios hay para los partidos interesados? ¿ Fue efectiva la estrategia de implantación? ¿ Qué hemos aprendido? ¿ Qué haríamos diferente?

17 CIPP Stufflebeam context, input, process, and product evaluation.

18 Evaluación formativa ¿ Qué lecciones estamos aprendiendo?Es un proceso continuo de recopilación de datos durante el proyecto para determinar cuán adecuada es la implantación y si se está progresando hacia el logro de los objetivos. Busca generar retrocomunicación para que el personal del proyecto pueda mejorar la implantación. ¿ Se han logrado los milestones a tiempo? ¿ Qué dificultades se han identificado ? ¿ Qué se debe hacer para corregir ? ¿Es efectiva la gerencia del proyecto? ¿Están involucrados los participantes y partidos interesados? ¿ Qué lecciones estamos aprendiendo? ¿ Es necesario revisar el plan?

19 Evaluación de procesos

20 Metodología: cualitativa, cuantitativa o mixtaEl diseño de la evaluación debe estar basada en un enfoque adecuado para contestar las preguntas de evaluación Diseños en la evaluación cuantitativa Experimental con grupos aleatorios o pareados Medidas de pre prueba o línea base y post prueba Encuestas Diseños en la evaluación cualitativa Estudios de caso únicos y múltiples Grupos focales Entrevistas profundas Observaciones Análisis de documentos

21 Formas de recopilar datosMedidas directas Encuestas Entrevistas individuales y grupales Observaciones Calidad de Productos Paneles de Expertos Externos

22 QuiÉn hace la evaluaciónEs el director del proyecto quien es responsable por que se haga una buena evaluación, pero se debe designar a un personal especializado para encargarse de llevar a cabo todo el proceso Debe ser una persona que llene las cualificaciones y se involucre desde el inicio en el desarrollo de la propuesta Puede ser interno o externo, o idealmente ambos que se complementan Debe ser participativo, involucrar a los participantes, distintos sectores

23 Modelos ParticipativosCulturally responsive evaluation Empowerment Evaluation (Yuen 2009) Deliberative democratic perspective Ernest R. House and Kenneth R. Howe October 2000

24 Costo de la evaluación Desde 5% a 10% para evaluación sencilla- documentar satisfacción de participantes, percepciones, recomendaciones, autoinforme de resultados Más de 10% moderado,- documentar impacto de forma directa Avanzado- línea de base, diseño científico, seguimiento a participantes, triangulación

25 Promover el Uso de los resultadosEl plan de evaluación debe contener una descripción clara de los informes que se van a generar, con un calendario. Se incluyen los resultados de la evaluación en los informes a la fuente de fondos Se presentan los informes internamente al personal del proyecto y a los participantes Diseminación en diversos foros para ampliar el impacto

26 Preparación de los informes y Comunicación de resultadosResumen ejecutivo Presentación de métodos Resultados e interpretación Hallazgos mas importantes Implicaciones Recomendaciones para mejorar la evaluación

27 Ejemplos Matemáticas para Todos

28

29

30 Math for All Pre y post pruebas para los participantes en cada sesion de desarrollo profesional Evaluación de la transferencia de lo aprendido mediante analisis de las lecciones desarrolladas con unas rubricas Impacto en el aprendizaje de los estudiantes Entrevistas con personal de las escuelas participantes

31 Referencias Arce, J. , Bravo, M., Del llano, A. Wayland, K. (2010). Sharing our journey to improve science and mathematics education. Grun, R. (2006 ) Monitoring and Evaluating Projects: A step-by-step Primer on Monitoring, Benchmarking, and Impact Evaluation. The International Bank for Reconstruction and Development: Washington DC Guba , R. & Lincoln, Y. (2001) .Guidelines and Checklists for constructivist (A.K.A. 4th generation) Evaluation ht.tp://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf Miro, A. (2009). Informe del Proyecto Math for All. Facultad de Educación, Universidad de Puerto Rico, Rio Piedras Patton , M.Q. (2002 ). Utilization-focused evaluation checklist

32 Referencias (cont.) Patton, M. Q. (2003). QUALITATIVE EVALUATION CHECKLIST National Science Foundation. (2002). User Friendly Handbook for Project Evaluation. Scriven, M. (2011). Evaluating Evaluations: A meta-evaluation checklist. Stufflebeam, D. (2007). CIPP Evaluation Model Checklist (2nd. Edition) US. Department of Energy. (2006). EERE Guide for Managing General Program Evaluation Studies . Washington D. C.

33 Referencias (cont.) Verdejo-Carrión, A. & Medina-Díaz, M.R. (2007). Evaluación del aprendizaje estudiantil, (5ta ed.). ExPERT Consultants, Inc. San Juan, Puerto Rico. W. K. Kellogg Foundation (2004). Evaluation Handbook. center/resources/2010/W-K-Kellogg-Foundation- Evaluation-Handbook.aspx Yuen, F. K. O., Terao, K. L., & Schmidt, A. M. (2009). Effective grant writing and program evaluation for human service professionals (3rd ed.). Hoboken, NJ: John Wiley & Sons.