Uno de los ejes del modelo de Reforma Educativa que se está implementando actualmente en la Argentina, es la evaluación de calidad, establecida en el marco legal de dicha reforma que es la Ley Federal de Educación, sancionada en el año 1993. A continuación intentaremos reconstruir el discurso oficial de evaluación de la calidad en torno a tres ejes: qué se evalúa, cómo se evalúa y para qué se evalúa.
¿Qué se evalúa?
En el documento Bases Conceptuales del Sistema Nacional de Evaluación de la Calidad de la Educación Básica y Media, se responde extensamente a esta pregunta:
Una segunda dimensión del concepto de calidad, complementaria de la anterior, está referida a qué es lo que se aprende en el sistema y a su “relevancia” en términos individuales y sociales. En este sentido una educación de calidad es aquella cuyos contenidos responden adecuadamente a lo que el individuo necesita para desarrollarse como persona (...) y para desempeñarse adecuadamente en los diversos ámbitos de la sociedad...”
Finalmente, una tercera dimensión es la que refiere a la calidad de los procesos y medios que el sistema brinda a los alumnos para el desarrollo de su experiencia educativa. Desde esta perspectiva una educación de calidad es aquella que ofrece a niños y a adolescentes un adecuado contexto físico para el aprendizaje, un cuerpo docente adecuadamente preparado para la tarea de enseñar, buenos materiales de estudio y trabajo, estrategias didácticas adecuadas, etc.”.(Doc. Nº 12, 1994: 8-9)
Por otra parte el Documento Nº 4 (1993) establece como competencias al SNE, las siguientes:
1. Establecer criterios para la medición de la calidad educativa del sistema.
2. Establecer un sistema de evaluación que permita medir la calidad de la enseñanza impartida por el Sistema Educativo Nacional en todas las jurisdicciones, ciclos, niveles y regímenes.
3. Evaluar el funcionamiento del Sistema Educativo Nacional en todas las jurisdicciones, ciclos, niveles y regímenes.
4. Evaluar la formulación de los programas nacionales de mejoramiento de la calidad de la enseñanza.
5. Implementar operativos de evaluación de calidad a fin de generar información sobre el rendimiento de los alumnos, para la elaboración de políticas de mejora.”(Doc. Nº 4, 1993: 2)
A pesar de la complejidad con que el discurso oficial presenta la definición e implementación de los operativos de calidad de la educación, un análisis de las políticas efectivamente implementadas muestra una doble reducción: a) se reduce la definición de la calidad a la única dimensión “medible” esto es, al rendimiento de los alumnos (eficacia) y b) a pesar de definir como competencia del SNE las cinco arriba mencionadas, se termina reduciendo a estas competencias sólo a la implementación de operativos de evaluación de la calidad.
¿Cómo se evalúa?
Las primeras acciones de la Secretaría de Programación y Evaluación Educativa tendientes a la consolidación de un SNE consistieron en una serie de Jornadas de Discusión de la Metodología de la evaluación de la calidad de la educación, que contaron con la participación de los Directores de Planeamiento Educativo de las distintas Jurisdicciones y representantes de las Direcciones Nacionales de Educación de los distintos niveles y ramas del sistema educativo, más el equipo de trabajo de la Dirección Nacional de Evaluación. Estas Jornadas de Discusión tuvieron lugar a lo largo del año 1991 y culminaron con la implementación del Primer Operativo Nacional de Validación de Item el día 4 de noviembre y el posterior procesamiento de la información y análisis de los resultados.
Las principales decisiones tomadas en relación a la consolidación de un SNE fueron las siguientes:
a) La medición de logros del aprendizaje para evaluar la calidad de la educación.
b) La construcción de instrumentos de evaluación.
c) La consideración de las condiciones en que se dan los resultados de aprendizaje
Es nuestro interés en este apartado centrarnos en las decisiones que según la documentación oficial se han tomado alrededor de la construcción de los instrumentos de la evaluación. Las acciones se centraron en la construcción de pruebas objetivas que respondieran al criterio de comparabilidad de los resultados: “El gran problema para cualquier tipo de acción que intente evaluar rendimientos a gran escala consiste en construir instrumentos que reúnan las características técnicas antes señaladas [pertinencia, confiabilidad y validez], así como logra que una sola y única prueba resulte apta para poblaciones diversas de estudiantes que han recibido enseñanza por parte de distintos docentes, con distintos materiales, en cursos con distintas orientaciones, y en distintos espacios geográficos” (Doc. Nº 1, 1991, Cap. 1).
El problema de la validez se resuelve definiendo los objetivos que se evaluarán, “que abarcan tanto los amplios del proceso de enseñanza en su conjunto, como los particulares del curso o área que se quiere evaluar”, a partir de “una pauta ideal de lo que los alumnos deberán saber”. Esas pautas ideales fueron volcadas a una tabla de especificaciones, en la que se detallaron los alcances que se querían medir y el peso que tendría cada uno de ellos; la función de esta tabla de especificaciones era la de actuar como un contralor de la validez del instrumento que se aplicaría, en tanto permitía realizar una correspondencia precisa entre objetivos e ítem. Este modo se definieron los objetivos de la educación como los contenidos que se esperaba que los alumnos aprendieran al finalizar cada nivel del sistema educativo, para las áreas de lengua y matemática.
El paso siguiente fue la definición operativa de los objetivos en la construcción de ítems: “La estructura del ítem es una forma de control sobre el tipo de información que se quiere obtener, ya que involucra tanto al contenido como al procedimiento que se espera que se utilice a partir de ese contenido”. En el caso de esta primera experiencia de validación del instrumento de evaluación, se utilizaron ítems cerrados de selección múltiple y apareamiento y “una forma novedosa de ítem (...), llamado redes conceptuales”. Operando de este modo es posible la cuantificación –traducir a entidades mensurables- de los alcances del proceso de aprendizaje. La necesidad de cuantificar los resultados queda expresada del siguiente modo: “Esto no quiere decir que sólo así deba operarse, pero sí de que se trata de uno de los modos posibles, y el único en el caso de que se pretenda una evaluación abarcativa y amplia en cuanto a su extensión y que tienda a establecer criterios que permitan extraer conclusiones” (Doc. Nº1, 1991, Cap.1).
Por último, los documentos oficiales del SNE expresan la necesidad de considerar las condiciones en que se dan los resultados de aprendizaje. La justificación de esta decisión aparece muy brevemente expresada en el Informe Preliminar (Doc. Nº1, 1991) y gira en torno a la siguiente idea: “Para el análisis de resultados, en este caso de calidad de logro, no es suficiente considerar los puntajes obtenidos. Éstos sólo tendrán verdadero valor si se los redimensiona a partir de considerar las condiciones en que esos resultados aparecen (historia personal, características institucionales, etc.), porque no puede dejarse de considerar que el resultado es una forma de recorte arbitrario, que fuera de contexto, puede distorsionar las interpretaciones que a partir de él se hagan”. (Cap. 1, s/d). Para ello, se administraron cuestionarios a rectores donde se pedían datos del establecimiento y formularios a alumnos donde se recogían características personales de éstos; sin embargo, mucho de la información recogida en este sentido, es dejada de lado a la hora de analizar el rendimiento de los alumnos y de proponer estrategias de mejoramiento, que, como veremos más adelante, se definen exclusivamente en términos de enseñar más y mejor los contenidos de las distintas áreas.
Finalmente, queda consolidado 1993, el Sistema Nacional de Evaluación de la calidad de la educación. A la fecha, se han llevado a cabo cuatro operativos nacionales de evaluación de la calidad, que tienen como punto de partida el año 1993. Sus notas características pueden resumirse como sigue:
1) Se mide el logro de los aprendizajes (rendimiento) de los alumnos de la enseñanza primaria y media, al finalizar cada nivel, en las áreas instrumentales (Lengua y Matemática). Esta selección de áreas de conocimiento se mantiene en los operativos 1993 y 1994; pero en 1995, por primera vez se administran -además- pruebas de Ciencias Naturales y Ciencias Sociales en 7º grado, y pruebas de Lengua y Matemática en 3º grado (egb 1) y en 2º año (egb3), previendo la implementación de la nueva estructura de niveles y ciclos.
2) Se consideran objetivos complementarios, aportar al conocimiento de la asociación del rendimiento escolar de los alumnos, con variables relacionadas con la conformación de sus hogares, la educación de los padres, los antecedentes escolares de los alumnos, las características de los docentes del curso y del director del establecimiento.
3) Para la aplicación de la pruebas se utilizaron técnicas de muestreo, ya que se decidió trabajar con una muestra y no con la totalidad (censo), atendiendo a “los objetivos que se persiguen, el presupuesto disponible y la oportunidad deseada en la presentación de los resultados”. En términos de diseño muestral, se utilizó la técnica del muestreo aleatorio estratificado para construir la muestra que comprendía a docentes (maestros y profesores) y directores de ambos niveles de enseñanza, y se aplicó la técnica de diseño complejo para construir la muestra de alumnos (ambos niveles) y familias (nivel primario) (Doc. Nº 2, 1993).
4) A partir del operativo 1994 se incrementa la cobertura, alcanzando, con una muestra ampliada, a la totalidad de las provincias del país (Doc. Nº 8, p.3). También se llevan a cabo dos experiencias de evaluación censal, en las Provincias de San Juan y Tierra del Fuego, que deciden aplicar las pruebas a la totalidad de los alumnos de 7º grado y 5º año. Esto marca una tendencia de aceptación por parte de algunos gobiernos provinciales a instalar una “cultura de la evaluación” como beneficiosa en sí misma.
5) El operativo 1995, incorpora otra novedad -acordada por el conjunto de las jurisdicciones en encuentros nacionales y regionales-, que consiste en confeccionar una tabla-base para cada uno de los cursos, que establece el punto de partida para construir el conjunto de las pruebas a aplicar. Esta tabla incluye los contenidos y las competencias básicas o mínimas que se tendrán en cuenta, así como también la cantidad de ítems que en cada caso se incorporarán. En este mismo orden de cosas, junto con los resultados del operativo 1995 se decide dar a publicidad la totalidad de las pruebas administradas en el operativo anterior (1994), “con la finalidad de que sean conocidas, analizadas y utilizadas por los docentes y así posibilitar que cada institución las pueda aplicar para confrontar resultados nacionales y jurisdiccionales con los alcanzados por sus propios cursos.” (Doc. Nº 10, 1995: 5).
6) El tipo de resultados que se presentan son, en su mayoría, resultados globales nacionales de rendimiento y resultados globales jurisdiccionales de rendimiento, discriminados en: porcentajes de respuestas correctas por nivel, disciplina, ámbito y modalidad, contenidos que presentaron mayor dificultad en ambas áreas y niveles, rendimientos comparando regímenes estatal y privado en ambas áreas y niveles, porcentaje de rendimiento por competencia para cada una de las áreas en ambos niveles.
Junto con los resultados del operativo 1995 -correspondientes a las áreas de lengua y matemática- se publican unas tablas con los valores de rendimiento por jurisdicción y nivel (medias provinciales) ordenados de mayor a menor rendimiento y con información que incluye las muestras 1993, 1994 y 1995, en los casos que fue posible. La información incluye, también, la media nacional de rendimiento de los alumnos, que marca una línea divisoria entre las jurisdicciones que quedaron por encima y por debajo de esa media de rendimiento, en cada una de las áreas -lengua y matemática- y en cada uno de los cursos donde se administraron las pruebas -3º y 7º grado, y 2º y 5º año.
Nos parece importante destacar cómo van avanzando las acciones del sne, en el sentido de prescribir lo que pasa dentro de cada una de las aulas que conforman el sistema educativo nacional, al punto de indicar contenidos, competencias y hasta actividades que luego serán evaluadas nuevamente desde y por el nivel central. Evidentemente este tipo de acciones tiene consecuencias directas en el denominado “currículum real” más allá de las decisiones que automáticamente puedan y deban haber tomado las jurisdicciones a la hora de elaborar sus diseños curriculares, de acuerdo con lo establecido en la Ley Federal de Educación.
1) Se mide el logro de los aprendizajes (rendimiento) de los alumnos de la enseñanza primaria y media, al finalizar cada nivel, en las áreas instrumentales (Lengua y Matemática). Esta selección de áreas de conocimiento se mantiene en los operativos 1993 y 1994; pero en 1995, por primera vez se administran -además- pruebas de Ciencias Naturales y Ciencias Sociales en 7º grado, y pruebas de Lengua y Matemática en 3º grado (egb 1) y en 2º año (egb3), previendo la implementación de la nueva estructura de niveles y ciclos.
2) Se consideran objetivos complementarios, aportar al conocimiento de la asociación del rendimiento escolar de los alumnos, con variables relacionadas con la conformación de sus hogares, la educación de los padres, los antecedentes escolares de los alumnos, las características de los docentes del curso y del director del establecimiento.
3) Para la aplicación de la pruebas se utilizaron técnicas de muestreo, ya que se decidió trabajar con una muestra y no con la totalidad (censo), atendiendo a “los objetivos que se persiguen, el presupuesto disponible y la oportunidad deseada en la presentación de los resultados”. En términos de diseño muestral, se utilizó la técnica del muestreo aleatorio estratificado para construir la muestra que comprendía a docentes (maestros y profesores) y directores de ambos niveles de enseñanza, y se aplicó la técnica de diseño complejo para construir la muestra de alumnos (ambos niveles) y familias (nivel primario) (Doc. Nº 2, 1993).
4) A partir del operativo 1994 se incrementa la cobertura, alcanzando, con una muestra ampliada, a la totalidad de las provincias del país (Doc. Nº 8, p.3). También se llevan a cabo dos experiencias de evaluación censal, en las Provincias de San Juan y Tierra del Fuego, que deciden aplicar las pruebas a la totalidad de los alumnos de 7º grado y 5º año. Esto marca una tendencia de aceptación por parte de algunos gobiernos provinciales a instalar una “cultura de la evaluación” como beneficiosa en sí misma.
5) El operativo 1995, incorpora otra novedad -acordada por el conjunto de las jurisdicciones en encuentros nacionales y regionales-, que consiste en confeccionar una tabla-base para cada uno de los cursos, que establece el punto de partida para construir el conjunto de las pruebas a aplicar. Esta tabla incluye los contenidos y las competencias básicas o mínimas que se tendrán en cuenta, así como también la cantidad de ítems que en cada caso se incorporarán. En este mismo orden de cosas, junto con los resultados del operativo 1995 se decide dar a publicidad la totalidad de las pruebas administradas en el operativo anterior (1994), “con la finalidad de que sean conocidas, analizadas y utilizadas por los docentes y así posibilitar que cada institución las pueda aplicar para confrontar resultados nacionales y jurisdiccionales con los alcanzados por sus propios cursos.” (Doc. Nº 10, 1995: 5).
6) El tipo de resultados que se presentan son, en su mayoría, resultados globales nacionales de rendimiento y resultados globales jurisdiccionales de rendimiento, discriminados en: porcentajes de respuestas correctas por nivel, disciplina, ámbito y modalidad, contenidos que presentaron mayor dificultad en ambas áreas y niveles, rendimientos comparando regímenes estatal y privado en ambas áreas y niveles, porcentaje de rendimiento por competencia para cada una de las áreas en ambos niveles.
Junto con los resultados del operativo 1995 -correspondientes a las áreas de lengua y matemática- se publican unas tablas con los valores de rendimiento por jurisdicción y nivel (medias provinciales) ordenados de mayor a menor rendimiento y con información que incluye las muestras 1993, 1994 y 1995, en los casos que fue posible. La información incluye, también, la media nacional de rendimiento de los alumnos, que marca una línea divisoria entre las jurisdicciones que quedaron por encima y por debajo de esa media de rendimiento, en cada una de las áreas -lengua y matemática- y en cada uno de los cursos donde se administraron las pruebas -3º y 7º grado, y 2º y 5º año.
Nos parece importante destacar cómo van avanzando las acciones del sne, en el sentido de prescribir lo que pasa dentro de cada una de las aulas que conforman el sistema educativo nacional, al punto de indicar contenidos, competencias y hasta actividades que luego serán evaluadas nuevamente desde y por el nivel central. Evidentemente este tipo de acciones tiene consecuencias directas en el denominado “currículum real” más allá de las decisiones que automáticamente puedan y deban haber tomado las jurisdicciones a la hora de elaborar sus diseños curriculares, de acuerdo con lo establecido en la Ley Federal de Educación.
GABRIELA DIKER, SILVINA FEENEY. La evaluación de la calidad, Un análisis del discurso oficial
No hay comentarios:
Publicar un comentario