Estudios/Studies 016

Ea-016 DE LA ORDEN, A. Evaluación y calidad: análisis de un modelo [Quality and Evaluation: Analysis of a Model]

RESUMEN: Este artículo se centra en el análisis de un modelo sistémico de la educación en la perspectiva de su evaluación con referencia a criterios de valor y mérito integrados en un concepto preciso de calidad operacionalmente definido. A partir del modelo, se justifica y legitima el establecimiento de criterios de calidad educativa en sus dimensiones básicas (funcionalidad, eficacia y eficiencia) mediante la derivación, de acuerdo con unas reglas, de indicadores relevantes y utilizables para la evaluación de la educación. Tras unas precisiones sobre el concepto de evaluación y su función crítica como instrumento de optimización de los sistemas sociales artificiales, se presenta el modelo lógico de calidad de la educación, como un modelo sistémico, y se apunta a las condiciones para la derivación de indicadores.

ABSTRACT: This paper analyses a systemic model for education from the perspective of evaluation as related to criteria of value and merit integrated in a specific concept of quality defined in an operative way. Based on this model, the setting of criteria of educational quality are justified and legitimised in their basic dimensions (functionality, effectiveness and efficiency) proceeding from rules and relevant and useful indicators for evaluation in education. After offering clarification about the concept of evaluation and its critical function as an instrument to optimise artificial social systems, the logical model of quality education is presented, as a systemic model and conditions are considered for the derivation of indicators.

Eb-016 BAKER, E. From Usable to Useful Assessment Knowledge and Evaluation [Del conocimiento utilizable al conocimiento útil en evaluación]

ABSTRACT: In this article contrasts are made between usable and useful knowledge. Usable knowledge represents knowledge that someone finds pertinent. Useful knowledge has a function and can lead to specific action. The applications to educational assessment and evaluation are clear in that much assessment knowledge is developed at a level that is nominally usable, but provides no real guidance in the improvement of learning. Knowledge management through the measurement of social and organizational capital is suggested as a strategy to augment accountability policies based exclusively on test scores. This approach would work as a way to set targets and monitor the development of schools as an institution, responsible for performance by adults and students that extend beyond measured performance.

RESUMEN: En este trabajo se contraponen los conceptos de conocimiento utilizable y conocimiento útil en evaluación. Un conocimiento utilizable es aquel que alguien encuentra pertinente, mientras que un conocimiento útil es aquel que tiene una función y puede conducir a una acción específica. Las implicaciones de esto para la evaluación educativa son claras dado que la evaluación del conocimiento se desarrolla a un nivel que es nominalmente utilizable, pero que no ofrece una orientación real para la mejora del aprendizaje. Se sugiere que la gestión del conocimiento a través de la medida del capital social y organizacional, puede ser una estrategia que aumente las políticas de rendición de cuentas basadas exclusivamente en las puntuaciones de los tests. Este enfoque podría ser útil para establecer objetivos y monitorizar el desarrollo de las escuelas como instituciones, responsables del rendimiento de adultos y estudiantes, más allá del rendimiento simplemente medido.

Ec-016 LÓPEZ, E. Evaluación del efecto de variables críticas en el aprendizaje de los escolares [Evaluation Effect of Critical Variables in Student Learning]

RESUMEN: En este artículo se pretende identificar aquellos factores y variables que son relevantes desde el punto de vista educativo; en concreto, cuáles factores del ambiente, qué variables del alumno y elementos de la enseñanza ha identificado la investigación educativa como significativos y especialmente relevantes de un modo reiterado. Después de resumir los que son elementos constantes en los modelos de aprendizaje escolar, se ha recurrido a la investigación educativa plasmada en síntesis y se ha identificado en primer lugar como esencial el ambiente de aprendizaje, el familiar y el de la escuela y del aula. Por otra parte, se destaca la importancia de las variables asociadas al querer y al saber del alumno. Por ello ha resultado tan relevante el aprovechamiento previo. Finalmente, no tienen nada de extraño los resultados de metodologías que se apoyan en un alto grado de estructuración y secuenciación de los contenidos y en una frecuente supervisión del progreso de aprendizaje del estudiante.

ABSTRACT: In this article I try to identify those factors and variables that are relevant from the educational point of view; that is, which factors of environment, what variables of the pupil and what elements of the instruction has the educational research identified as significant and especially relevant in a repeated way. After summarizing those elements that are constant in the models of school learning, it has resorted to syntheses of the educational research, and the environment of learning has been firstly identified like essentially, that of the family and those of the school and the classroom. On the other hand, is outlined the significance of the variables of the pupil associated with willing and to know; for it the previous learning has turned out to be so relevant. Finally, one has no to be surprised at results of methodologies that rely on a high degree of structure and sequence of the contents, and on a frequent monitoring of student progress.

Ed-016 TEJEDOR TEJEDOR, F.J. Evaluación del profesorado universitario: enfoque metodológico y algunas aportaciones de la investigación. [Evaluation University Teaching: A Methodological Approach and some Contributions from Investigation]

RESUMEN: Puede resultarnos extraño tener que aceptar que, pese a los muchos estudios realizados, no existe en la actualidad un consenso amplio sobre lo que es un “buen profesor”. Y esta afirmación es, si cabe, más cierta al referirnos al profesor universitario, pues los desacuerdos comenzarían a aparecer al concretar las finalidades de la enseñanza universitaria. Este hecho nos muestra por qué la evaluación del profesorado universitario es un tema abierto, a debate permanente, en lo referido al conjunto de cuestiones metodológicas que orientan y guían su realización. En este artículo revisamos los fundamentos del proceso de evaluación de los profesores universitarios, destacando las principales aportaciones de los expertos y planteando la propuesta metodológica actual (Programa Docentia de la ANECA, adoptado por las distintas universidades españolas).

ABSTRACT: We have discussed on other occasions that, however paradoxal it may seem, there is no agreement as to what to be a “good teacher” it means. This applies to all educational levels, but it is even more relevant to teaching at a university level, since there is not even a consensus on the aims of university education. Therefore, it comes as no surprise that teaching evaluation remains a problem not devoid of important limitations of a theoretical (diversity of aims and lack of an ideal teacher model) as well as a practical nature (lack of an integral and coherent methodological proposal).In this article we shall review the fundamentals of university teaching evaluation processes, highlighting the most relevant expert contributions and approaching the current methodological proposal (Programa DOCENTIA of the Spanish National Agency of Quality Evaluation and Accreditation, ANECA, adopted by the Spanish universities).

Ee-016 JORNET MELIÁ.J. y GONZÁLEZ SUCH, J. Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo [Criterion-referenced evaluation: standards settings of interpretation for educational achievement tests]

RESUMEN: En este trabajo se presenta una revisión del estado de la cuestión acerca de los métodos para determinar estándares en pruebas de referencia criterial. Se analiza el concepto de estándar, sus componentes y los problemas implicados en las tareas de juicio en estos métodos. Se revisan los procedimientos para diseñar descriptores de estándares y los métodos para identificar puntuaciones de corte.

ABSTRACT: In this paper, a review of the state of the art about the methods for Standard setting in Criterion-Referenced Tests is presented. We analyze the concept of Standard, its components, and the problems implied in the tasks of judgment in these methods. The procedures to design descriptors for standards and the methods for identifying cutting scores are reviewed.

Notas/Notes 016

Na-016 TOURÓN, J. El establecimiento de estándares de rendimiento en los sistemas educativos [Defining Achievement Standards for Educational Systems]

RESUMEN: La función más interesante de la evaluación educativa reside en la posible mejora que se pueda producir en el objeto evaluado como consecuencia de las decisiones que dicha evaluación suscite. Cuando se trata de la evaluación de los rendimientos escolares es imprescindible establecer a priori expectativas de logro, de otros modo la evaluación sólo podría señalar el punto en el que se encuentra el aprendizaje de los alumnos, pero nada puede decir de la distancia que lo separa de un nivel deseado. Este artículo aborda la problemática del desarrollo de un currículo basado en estándares. Se define por tanto el concepto de estándar en educación, se establece una tipología que se ilustra con diversos ejemplos –algunos de ellos desarrollados en la Comunidad Foral de Navarra–, además se dibujan las pautas para la elaboración de estándares y se analizan en las ventajas y objeciones de la evaluación basada en estándares.

ABSTRACT: The most interesting function of educational evaluation resides in the possible improvement produced in the person evaluated as a result of the post-evaluation decisions made. When it is a matter of evaluating school performance, it is vital to establish a priori achievement standards. If not, evaluation can only establish the situation of a student’s learning process but nothing can be said about the difference between that situation and the desired level. This article deals with the problems which arise from the development of a curriculum based on standards. Thus the concept of standard is defined, a typology is determined which is illustrated by various examples –some of which have been developed in the Comunidad Foral de Navarra–, also guide lines for designing standards are offered and the advantages and difficulties involved in evaluation based on standards are discussed.

Nb-016 CASTRO MORERA, M. y GAVIRIA SOTO, J.L. La evaluación educativa desde la perspectiva del valor añadido [Educational Evaluation from a Value Added Perspective]

RESUMEN: La evaluación de los sistemas educativos constituye una herramienta fundamental para conocer el progreso en educación. La mayoría de los sistemas educativos informan, más o menos sistemáticamente, del estado actual del nivel de académico de los alumnos. Sin embargo, la comparación de este estado a través del tiempo, la valoración del incremento de los niveles de aprendizaje de nuestros alumnos suele ser un elemento ausente. En los últimos años aparecen propuestas legislativas como la inglesa y la norteamericana No Child Left Behind que proponen e impulsan sistemas de evaluación y rendición de cuentas de los sistemas educativos que se centran en el crecimiento de los logros de los aprendizajes. Este artículo describe los rasgos principales de los modelos de valor añadido en educación que permitan valorar simultáneamente el nivel actual de aprendizaje y la tasa de cambio o crecimiento que se ha producido por efecto de la acción de la escuela.

ABSTRACT: Evaluation of educational systems becomes a key element to know progress in education. Educational systems inform, more or less systematically, about current academic achievement. However, evaluating learning growth through time does not usually take place. Lately, some proposals have appeared such as the British and North American –No Child Left Behind– that help to develop evaluation and accountability systems which focus on learning progress and growth. This article describes the main features of value added models in education, which permit simultaneous evaluation of the current learning situation and the learning rate of growth due to school action.

Nc-016 ABEDI, J. Validity of Assessments for English Language Learning Students in a National/International Context [Validez de las evaluaciones en los estudiantes de la lengua inglesa en un contexto nacional e internacional]

ABSTRACT: This paper provides a summary of research that shows a substantial performance gap between native and non-native speakers of assessment language. Such a performance gap increases with the level of language demand of the test items. Results of studies indicate that unnecessary linguistic complexity may impact reliability and validity of the assessment outcomes. To control for language factors as a source of bias, this paper introduces the concept of linguistic modification of assessment through which unnecessary linguistic complexity of test items is reduced or eliminated. The paper recommends that test developers be aware of the impact of linguistic complexity in assessment and should plan to control for such possible source of bias.

RESUMEN: Este trabajo sintetiza algunos estudios que muestran importantes diferencias de rendimiento entre los alumnos nativos frente a los no nativos al ser evaluados en la lengua inglesa. Este déficit se incrementa a medida que la complejidad lingüística de las pruebas lo hace. Los resultados de numerosos estudios revelan que hay una complejidad lingüística innecesaria en las pruebas de evaluación, lo que produce un efecto negativo en la fiabilidad y en la validez de los resultados de las evaluaciones. Este trabajo propone un enfoque de modificaciones lingüísticas de la evaluación a partir del cual se puedan modificar o eliminar los ítems que presenten una complejidad innecesaria evitando así el sesgo que ello produce.Finalmente se recomienda a los desarrolladores de pruebas que sean conscientes del impacto negativo de los factores lingüísticos y sugiere que los mismos sean tenidos en cuenta a la hora de planificar las pruebas.

Nd-016 THUM, Y.M. Accounting before Accountability [Contabilizar antes de rendir cuentas]

ABSTRACT: In this article, we will review several issues relating to the definition of “adequate yearly progress” (AYP), and its measurement, and offer some reasons why it may be prudent to separate the definition and measurement of AYP from its use in accountability. The design of accountability system includes general prescriptions about what data are relevant, policy questions that will guide the formulation of progress and productivity indicators based on students’ longitudinal test scores, and procedures for using the resulting indicators in accountability.

RESUMEN: En este artículo se van a revisar algunas cuestiones relacionadas con la definición de Adecuate Yearly Progress (AYP) y su medida en el contexto de la legislación norteamericana “No Child Left Behind Act” (NCLB). Se ofrecerán algunas razones por las cuáles es prudente separar la definición y medida de AYP de sus usos en los sistemas de rendición de cuentas en los sistemas educativos. El diseño de estos sistemas incluye prescripciones generales sobre qué datos son relevantes, qué cuestiones políticas guiarán la formulación de los indicadores de progreso y productividad basados en puntuaciones longitudinales de los estudiantes y qué procedimientos serán necesarios para usar los indicadores resultantes para la rendición de cuentas.

SUBIR