1 CONTROL DE CALIDAD Y MONITOREO ACADÉMICO Ing. Arturo Calderón ([email protected]) Dr. Francisco Ugarte ([email protected]) Departamento de Ciencias Sección Matemáticas PUCP

2 Calidad industrial y gestión educativa En la industria se busca uniformizar los productos; en la educación, respetando la individualidad, se desea que todos desarrollen habilidades y competencias por encima de un mínimo aceptable definido. En la industria se busca uniformizar los productos; en la educación, respetando la individualidad, se desea que todos desarrollen habilidades y competencias por encima de un mínimo aceptable definido. En ambos casos, se define un nivel deseable para el promedio. En este contexto, dos herramientas del control industrial pueden ser útiles para alertar sobre la existencia de grupos que se ubican debajo del estándar, situación que justificaría una intervención. En ambos casos, se define un nivel deseable para el promedio. En este contexto, dos herramientas del control industrial pueden ser útiles para alertar sobre la existencia de grupos que se ubican debajo del estándar, situación que justificaría una intervención.

3 En la industria ante la imposibilidad de realizar control unidad por unidad, se toma lotes o muestras cada cierto tiempo para compararlos contra un estándar. Si el proceso de control detecta un cambio respecto al promedio, más allá de lo permitido por la variabilidad natural del proceso, la producción se detiene porque se asume que hay un desplazamiento (corrimiento) de alguna de las características del producto fuera del estándar de calidad. Luego, se realizan las correcciones necesarias y el proceso se reinicia. En la industria ante la imposibilidad de realizar control unidad por unidad, se toma lotes o muestras cada cierto tiempo para compararlos contra un estándar. Si el proceso de control detecta un cambio respecto al promedio, más allá de lo permitido por la variabilidad natural del proceso, la producción se detiene porque se asume que hay un desplazamiento (corrimiento) de alguna de las características del producto fuera del estándar de calidad. Luego, se realizan las correcciones necesarias y el proceso se reinicia. En la gestión educativa, un “coordinador” o administrador puede usar promedios de notas y porcentaje de aprobados como medios de evaluación del proceso educativo. En la gestión educativa, un “coordinador” o administrador puede usar promedios de notas y porcentaje de aprobados como medios de evaluación del proceso educativo.

4 Se plantea hacer uso de promedios y porcentajes en un contexto de proceso continuo con estándares implícitos para un curso o materia, pero sin que sea una analogía ciega entre un proceso educativo y uno industrial, pues hay diferencias básicas. Se plantea hacer uso de promedios y porcentajes en un contexto de proceso continuo con estándares implícitos para un curso o materia, pero sin que sea una analogía ciega entre un proceso educativo y uno industrial, pues hay diferencias básicas.

5 Herramientas propuestas Objetivo del trabajo Mostrar la aplicación de las “cartas de control” para la Media y para la Proporción en el monitoreo de una asignatura de una institución superior local Objetivo del trabajo Mostrar la aplicación de las “cartas de control” para la Media y para la Proporción en el monitoreo de una asignatura de una institución superior local

6 1. 1.Cartas de control X Bar Una gráfica donde se resalta el promedio de un atributo cuantitativo cuya calidad se desea controlar (el promedio es justamente el estándar de calidad). A este grafico se añaden los límites de control superior e inferior (LCS, LCI) que forman una “banda de confianza” dentro de la cual debiera caer con muy alta probabilidad el promedio de cualquier muestra o lote cuando el estándar de calidad se mantiene. 2. interés es la proporción de alumnos aprobados (o desaprobados) el gráfico de control es la “Carta P”. Análogamente a las gráficas X-Bar se generan unas bandas de confianza alrededor de una estimación de la proporción promedio de unidades conformes y las proporciones de sucesivas cohortes debieran estar dentro de esos límites. 2.Cartas para atributos Cuando el interés es la proporción de alumnos aprobados (o desaprobados) el gráfico de control es la “Carta P”. Análogamente a las gráficas X-Bar se generan unas bandas de confianza alrededor de una estimación de la proporción promedio de unidades conformes y las proporciones de sucesivas cohortes debieran estar dentro de esos límites.

7 Los límites de control se establecen como líneas que no deben ser rebasadas y son suficientemente anchos como para que con toda probabilidad, un proceso bien calibrado genere promedios o proporciones dentro de ellos y se habla de un control 3 sigma (asociado a un 99,73% de probabilidad de caer dentro del intervalo) y si ocurre que el promedio de una muestra (o una proporción muestral si se trata de atributo cualitativo) se sale del los límites, entonces el proceso de producción se detiene y revisa. Los límites de control se establecen como líneas que no deben ser rebasadas y son suficientemente anchos como para que con toda probabilidad, un proceso bien calibrado genere promedios o proporciones dentro de ellos y se habla de un control 3 sigma (asociado a un 99,73% de probabilidad de caer dentro del intervalo) y si ocurre que el promedio de una muestra (o una proporción muestral si se trata de atributo cualitativo) se sale del los límites, entonces el proceso de producción se detiene y revisa. Como un indicador estadístico complementario, que no obliga a detener el proceso, pero si a dar una alarma se suele establecer una banda 2 sigma y si una sucesión (promedios o proporciones) cae fuera de la banda +/- 2 sigma se pone el proceso en observación. Se sospecha que el proceso se estaría descalibrando Como un indicador estadístico complementario, que no obliga a detener el proceso, pero si a dar una alarma se suele establecer una banda 2 sigma y si una sucesión (promedios o proporciones) cae fuera de la banda +/- 2 sigma se pone el proceso en observación. Se sospecha que el proceso se estaría descalibrando

8 En la industria son malos lo excesos en cualquier sentido, arriba o debajo de la media o proporción. En el área educacional lo que preocupa es un rendimiento bajo o una tasa de aprobados también baja. Es decir, más importante es el LCI, ya sea a 2 o a 3 sigma. Por lo anterior, más preocupados estaremos de no rebasar el límite inferior de control En la industria son malos lo excesos en cualquier sentido, arriba o debajo de la media o proporción. En el área educacional lo que preocupa es un rendimiento bajo o una tasa de aprobados también baja. Es decir, más importante es el LCI, ya sea a 2 o a 3 sigma. Por lo anterior, más preocupados estaremos de no rebasar el límite inferior de control

9 Ejemplo desarrollado Se analizarán datos relativos a un primer curso obligatorio de matemáticas de una especialidad de alta demanda, en una universidad privada local. La serie de datos está compuesta por las notas finales de las sucesivas promociones de ingresantes, desde el inicio de la especialidad: año 2001 hasta el 2009. Se analizarán datos relativos a un primer curso obligatorio de matemáticas de una especialidad de alta demanda, en una universidad privada local. La serie de datos está compuesta por las notas finales de las sucesivas promociones de ingresantes, desde el inicio de la especialidad: año 2001 hasta el 2009. Nuestro análisis se basa en promedios finales y en la proporción de aprobados en cada período o ciclo académico regular. Nuestro análisis se basa en promedios finales y en la proporción de aprobados en cada período o ciclo académico regular.

10 Estadísticas del curso Ciclo Promedio Final Aprobado MediaDesv. Est.ProporciónDesv. Est.N 2002-111.763.270.740.4470 2002-210.353.150.570.5054 2003-111.692.900.700.4686 2003-211.603.140.750.4463 2004-111.003.630.580.5080 2004-210.863.390.650.4871 2005-110.873.300.600.4998 2005-210.902.720.680.4777 2006-19.793.720.520.50101 2006-29.173.760.480.5075 2007-110.523.720.580.49132 2007-210.103.540.520.5090 2008-110.714.250.560.50103 2008-211.223.950.720.4565 2009-19.474.680.490.5098 2009-210.473.590.550.5075 Total10.613.670.600.491338

11 La tabla muestra lo que tendría un coordinador académico si pidiera las estadísticas del curso. El cuadro tiene todos los datos pero todavía no muestra toda la información que se puede extraer. La tabla muestra lo que tendría un coordinador académico si pidiera las estadísticas del curso. El cuadro tiene todos los datos pero todavía no muestra toda la información que se puede extraer. Así por ejemplo el 2006-2 es el ciclo con menor proporción de aprobados pero hay otros ciclos con proporciones de aprobados no muy alejadas, tal es el caso de los ciclos 2006-1 y 2009-1. Así por ejemplo el 2006-2 es el ciclo con menor proporción de aprobados pero hay otros ciclos con proporciones de aprobados no muy alejadas, tal es el caso de los ciclos 2006-1 y 2009-1. ¿Cuán alejadas están estas proporciones de la tendencia general del curso? ¿Cuán alejadas están estas proporciones de la tendencia general del curso? Por otro lado, si observamos los promedios de los ciclos 2002-2 y 2008-1 resulta que la relación entre la proporción de aprobados y promedios finales es inversa ¿Cómo explicar estas situaciones? Por otro lado, si observamos los promedios de los ciclos 2002-2 y 2008-1 resulta que la relación entre la proporción de aprobados y promedios finales es inversa ¿Cómo explicar estas situaciones? La respuestas a estas preguntas se obtienen más fácilmente si usamos las cartas X-Bar yde control de atributos que toman en cuenta la variabilidad presente en los datos. La respuestas a estas preguntas se obtienen más fácilmente si usamos las cartas X-Bar yde control de atributos que toman en cuenta la variabilidad presente en los datos.

12

13 La figura anterior muestra una carta X-Bar de laTabla 1. En ella se puede observar dos puntos, marcados en rojo, correspondientes a los ciclos 2006-2 y 2009-1 que están significativamente debajo de la tendencia promedio, definida como el promedio menos tres desviaciones estándar. En particular en el 2006-2 se confirma una tendencia decreciente que empezó en el 2006-1, ciclo en el que el promedio se ubica debajo de la media menos dos desviaciones estándar (límite de advertencia). Situación cualitativamente diferente a la del ciclo 2009-1, pues en este ciclo no se observa tendencia sino una caída. La figura anterior muestra una carta X-Bar de laTabla 1. En ella se puede observar dos puntos, marcados en rojo, correspondientes a los ciclos 2006-2 y 2009-1 que están significativamente debajo de la tendencia promedio, definida como el promedio menos tres desviaciones estándar. En particular en el 2006-2 se confirma una tendencia decreciente que empezó en el 2006-1, ciclo en el que el promedio se ubica debajo de la media menos dos desviaciones estándar (límite de advertencia). Situación cualitativamente diferente a la del ciclo 2009-1, pues en este ciclo no se observa tendencia sino una caída.

14 Para analizar la razón de las alertas de los ciclos 2006-2 y 2009-1, que aparecen en la figura, hemos realizados el análisis de las cartas X-Bar correspondientes a los grupos de aprobados y desaprobados, pues las caídas de los promedios podrían asociarse a sólo uno de estos grupos. Para analizar la razón de las alertas de los ciclos 2006-2 y 2009-1, que aparecen en la figura, hemos realizados el análisis de las cartas X-Bar correspondientes a los grupos de aprobados y desaprobados, pues las caídas de los promedios podrían asociarse a sólo uno de estos grupos. La figura 2 siguiente corresponde a la carta X-Bar de los alumnos que aprobaron. En ella notamos que durante el periodo 2005-2 al 2006-2, dos de los tres promedios del grupo, cayeron debajo de la media menos dos desviaciones estándar lo que produce una alerta, la misma que podría explicar la alerta detectada en el 2006-2 de la figura 1 pero no explica la alerta del 2009- 1, más aún el gráfico deja claro que esta alerta no se debe a este grupo, pues sus promedio en el 2009-1 está entre los mejores de la serie. Por lo tanto la alerta del 2009-1 debe ser explicada por una caída en los promedios del grupo de desaprobados. La figura 2 siguiente corresponde a la carta X-Bar de los alumnos que aprobaron. En ella notamos que durante el periodo 2005-2 al 2006-2, dos de los tres promedios del grupo, cayeron debajo de la media menos dos desviaciones estándar lo que produce una alerta, la misma que podría explicar la alerta detectada en el 2006-2 de la figura 1 pero no explica la alerta del 2009- 1, más aún el gráfico deja claro que esta alerta no se debe a este grupo, pues sus promedio en el 2009-1 está entre los mejores de la serie. Por lo tanto la alerta del 2009-1 debe ser explicada por una caída en los promedios del grupo de desaprobados.

15 Figura 2 Gráfica de control X-Bar de la nota final promedio de aprobados por ciclo

16 La figura 3. muestra la carta X-Bar de los alumnos que desaprobaron. En ella notamos que durante el periodo 2008-1 al 2009-1, los tres promedios de los grupos se ubican debajo de la media con una tendencia decreciente y en el 2009-1 a menos de tres desviaciones estándar por debajo de la media. Ahora queda claro que la alerta del 2009-1 es explicada por el comportamiento del grupo de desaprobados. La figura 3. muestra la carta X-Bar de los alumnos que desaprobaron. En ella notamos que durante el periodo 2008-1 al 2009-1, los tres promedios de los grupos se ubican debajo de la media con una tendencia decreciente y en el 2009-1 a menos de tres desviaciones estándar por debajo de la media. Ahora queda claro que la alerta del 2009-1 es explicada por el comportamiento del grupo de desaprobados. La figura 3 explica la alerta del 2009-1 detectada en la figura 1 pero no la del 2006-2, esto significa que para explicar esta alerta proponemos desagregar los grupos según otra categoría importante como es el número de veces que un alumno lleva el curso. La figura 3 explica la alerta del 2009-1 detectada en la figura 1 pero no la del 2006-2, esto significa que para explicar esta alerta proponemos desagregar los grupos según otra categoría importante como es el número de veces que un alumno lleva el curso.

17 Figura 3 Gráfica de control X-Bar de la nota final promedio de desaprobados por ciclo

18 Figura 4 Gráfica de control X-Bar de la nota final promedio de los que llevan por primera vez el curso

19 En línea con este análisis mostramos la figura 4 que corresponde a la carta X-Bar de los alumnos que llevaron el curso por primera vez. En ella se observa que en el 2006-2 el desempeño promedio de esta cohorte, cae por debajo del promedio general menos tres desviaciones estándar, lo que explica la alerta detectada en el 2006-2. Adicionalmente la gráfica 4 indica que en el 2009-1 este grupo no tuvo una caída significativa. Luego la alerta del 2009-1 explicada anteriormente por el grupo de desaprobados no se asocia al grupo de alumnos que llevan por primera el curso, es decir, la alerta de este ciclo se debe a los grupos de alumnos que llevan el curso más de una vez. En línea con este análisis mostramos la figura 4 que corresponde a la carta X-Bar de los alumnos que llevaron el curso por primera vez. En ella se observa que en el 2006-2 el desempeño promedio de esta cohorte, cae por debajo del promedio general menos tres desviaciones estándar, lo que explica la alerta detectada en el 2006-2. Adicionalmente la gráfica 4 indica que en el 2009-1 este grupo no tuvo una caída significativa. Luego la alerta del 2009-1 explicada anteriormente por el grupo de desaprobados no se asocia al grupo de alumnos que llevan por primera el curso, es decir, la alerta de este ciclo se debe a los grupos de alumnos que llevan el curso más de una vez.

20 Figura 5 Gráfica de control X-Bar de la nota final promedio de los que llevan por segunda vez el curso

21 En la figura 5. se presenta la carta X-Bar de los alumnos que llevaron el curso por segunda vez, con ella podemos afirmar que la alerta del ciclo 2009-1 es producida por esta cohorte. En la figura 5. se presenta la carta X-Bar de los alumnos que llevaron el curso por segunda vez, con ella podemos afirmar que la alerta del ciclo 2009-1 es producida por esta cohorte. Por lo tanto, podemos afirmar que la alerta correspondiente al ciclo 2006-2 está explicada por el grupo de alumnos que lleva por primera vez el curso mientras que la alerta del 2009-1 se explica principalmente por el comportamiento del grupo de alumnos que lleva el curso por segunda vez. Por lo tanto, podemos afirmar que la alerta correspondiente al ciclo 2006-2 está explicada por el grupo de alumnos que lleva por primera vez el curso mientras que la alerta del 2009-1 se explica principalmente por el comportamiento del grupo de alumnos que lleva el curso por segunda vez.

22 Respecto a las gráficas para atributos, un atributo pertinente sería haber aprobado el curso. Presentamos a continuación la carta correspondiente a proporción de aprobados Respecto a las gráficas para atributos, un atributo pertinente sería haber aprobado el curso. Presentamos a continuación la carta correspondiente a proporción de aprobados

23 Figura 6 Carta de atributos: proporción de aprobados

24 En la carta se observa que no existe ninguna alerta, esto quiere decir que las tasas de aprobación se han mantenido sin variaciones extremas. En la carta se observa que no existe ninguna alerta, esto quiere decir que las tasas de aprobación se han mantenido sin variaciones extremas.