La forma en que los documentos de CSE Mains son evaluados por UPSC es realmente un misterio para la mayoría de los aspirantes, al menos hasta hoy, alguien presentó un caso contra UPSC y la comisión respondió y explicó cómo evalúa los documentos.
Esto es realmente interesante y un poco científico, el proceso es largo y poco complicado, pero funciona para la comisión, si no para los candidatos. Gracias a IKSA por publicar esto en su sitio Parivarthan – El arte y la ciencia de la preparación de UPSC
En la declaración jurada presentada en nombre de la Comisión, la metodología completa para realizar el examen y la evaluación de los guiones de respuesta se ha explicado con las siguientes palabras:
- El UPSC realiza 14 exámenes estructurados por año en los que participan cientos de miles de candidatos. Algunos de estos, como el NDA y los Exámenes de CDS, consisten en documentos de preguntas de tipo objetivo (opción múltiple) con hojas de respuestas de OMR en las que el candidato debe ennegrecer la opción de respuesta correcta. Otros exámenes, incluidos los servicios públicos principales) tienen preguntas convencionales (tipo ensayo) que requieren respuestas escritas a mano discursivas.
- Mientras que las hojas de respuestas de tipo objetivo se evalúan mediante un escáner y una computadora, los examinadores evalúan manualmente los libros de respuestas convencionales.
Cómo se evalúan los papeles principales:
PROCESO GENERAL DE EVALUACIÓN DE PAPELES DE TIPO “CONVENCIONALES” (DISCURSIVOS)
- A Head Examiner se le llama temprano (antes de la reunión de los Examinadores) y evalúa ejemplos / libros de respuestas al azar para cada Examinador adicional al que se llama. Todos los libros de respuestas están codificados con números ficticios antes del inicio del ejercicio de evaluación.
- La reunión de los Examinadores comienza inmediatamente después de (i) arriba. El Examinador principal y los Examinadores adicionales discuten el cuestionario exhaustivamente y acuerdan los estándares de evaluación y los criterios de evaluación.
- Cada examinador evalúa los ejemplares de los libros de respuestas aleatorios que se le han asignado y que ya han sido vistos inicialmente por el examinador principal e indica un premio tentativo. Luego, el personal de escrutinio examina los libros de respuestas para calcular los errores, las partes no evaluadas, etc., y, cuando es necesario, los revisa el examinador.
- Después de (iii) arriba, el Examinador Principal se reúne con cada Examinador Adicional, a su vez, para comparar los estándares de evaluación basados en las calificaciones otorgadas por cada uno de los libros de respuestas al azar de muestras. La conciliación / recalibración de los estándares, donde sea necesario, se realiza, y las marcas se completan en consecuencia para los libros de respuestas de muestras.
- Idealmente, una vez que los estándares se establecen como antes, la evaluación debe ser uniforme. Sin embargo, en la práctica, los estándares de evaluación tienden a variar durante el curso de la evaluación, ya que algunos examinadores son ‘estrictos’ y otros liberales ‘. Idealmente, una vez que los estándares se establecen como antes, la evaluación debe ser uniforme. Sin embargo, en la práctica, los estándares de evaluación tienden a variar durante el curso de la evaluación, ya que algunos examinadores son ‘estrictos’ y otros ‘liberales’.
- Por lo tanto, para garantizar la uniformidad, el Examinador Principal vuelve a examinar un cierto número de libros de respuestas de cada Examinador Adicional para verificar si se han seguido los estándares de evaluación acordados. Por lo tanto, el Examinador Principal puede, después de este nuevo examen, confirmar la adjudicación del Examinador Adicional o revisarla e indicar la adjudicación revisada en el libro de respuestas. Sobre la base de esta revisión (donde sea que se haga), se determina la cantidad de moderación que se aplicará (hacia arriba o hacia abajo) en los libros de respuestas restantes evaluados por el Examinador Adicional. En casos extremos en los que la calificación del Examinador adicional se determina de forma errática en función de la verificación del Examinador Principal, todos los libros de respuestas evaluados por dicho Examinador son reexaminados por el Examinador Principal o por otro Examinador Adicional cuyos estándares se consideran compatibles Las del Jefe Examinador.
- Basado en (vi) arriba, la moderación entre los examinadores se lleva a cabo y se aplica a cada candidato (identificado solo por el número de código ficticio). Sin embargo, antes de que esto se haga, todos y cada uno de los libros de respuestas son examinados por el personal de escrutinio y los errores totales, las partes no evaluadas, el crédito otorgado a las respuestas que exceden el número prescrito de intentos, etc. se rectifican y los premios revisados se indican en los libros de respuestas bajo inicial del Examinador (es).
- Una vez que finaliza la evaluación de todos los temas, se analiza el desempeño de los candidatos en cada uno de ellos con base en las calificaciones otorgadas al final de la moderación entre los examinadores (intra-sujeto) arriba. Los candidatos para este Examen eligen dos asignaturas optativas (cada asignatura tiene dos Papeles) de entre una canasta de 55 asignaturas optativas diversas (30 Literatura y 25 no Literatura); en efecto, 4 Papeles Opcionales de entre 110. Aparte de las diferencias en el alcance y cobertura de los planes de estudio; El nivel de dificultad de los cuestionarios y los estándares de evaluación son, por lo tanto, inevitablemente diferentes y pueden variar de un año a otro según los temas / documentos. Por lo tanto, basándose en una perspectiva holística y con sus décadas de experiencia, la Comisión aplica la moderación entre temas hacia arriba o hacia abajo, donde sea necesario. Esto se hace para asegurar la igualdad de condiciones para todos los candidatos. Es importante tener en cuenta que también en esta etapa solo se toman en cuenta las estadísticas con total anonimato en lo que respecta a los detalles de los candidatos.
- Sobre la base de la moderación entre sujetos, más arriba, las calificaciones se otorgan finalmente a cada Documento de cada candidato (representado por los números de código ficticios relevantes). Este premio final incluye todas las etapas anteriores. Solo estos premios finales en papel se consideran para preparar la lista de méritos común después de descodificar los números ficticios relevantes. En todo el procesamiento posterior, solo los premios finales (moderados) se tienen en cuenta y las etapas anteriores ya no son relevantes en este contexto.
PROBLEMAS EN MOSTRAR LOS LIBROS DE RESPUESTAS EVALUADOS A LOS CANDIDATOS
- ¿Cuáles son los sitios de conferencias económicas para las EEI?
- ¿Es necesario leer The Hindu para la preparación de UPSC? ¿Por qué todas las personas aconsejan a otros que lean El hindú?
- ¿Ser estudiante de biología plantea algún problema en los exámenes de UPSC?
- ¿Cuáles son las cosas / materias que se enseñan en LBSNAA a IAS?
- ¿Cómo debo prepararme para UPSC? Estoy en 2do año de mi graduación?
- Los premios finales subsumen las primeras etapas de evaluación. La revelación de los libros de respuestas también revelaría etapas intermedias, incluidas las llamadas “marcas en bruto”, que tendrían implicaciones negativas para la integridad del sistema de exámenes, como se detalla en la Sección (C) a continuación.
- El proceso de evaluación involucra varias etapas. Los premios asignados inicialmente por un examinador pueden ser eliminados y revisados debido a (a) Total de errores, partes no evaluadas, intentos adicionales (más allá del número prescrito) que se corrigen posteriormente como resultado del escrutinio administrativo (b) El Examinador cambia sus propios premios durante el curso de
evaluación ya sea porque él / ella lo marcó de manera diferente inicialmente debido a un error involuntario o porque se corrigió a sí mismo para estar más en conformidad con los estándares aceptados, después de una discusión con el Examinador Principal / Examinador colega (c) Premios iniciales del Adicional Examinador revisado por el Examinador principal durante la revisión de este último del trabajo del (d) El trabajo del Examinador adicional, que fue encontrado errático por el Examinador principal, fue revisado completamente por otro Examinador, con o sin el Examinador principal nuevamente. revisando este trabajo - Las correcciones hechas en el libro de respuestas probablemente suscitarían dudas y quizás incluso sospechas en la mente del candidato. Cuando tales correcciones conducen a una reducción de los premios anteriores, esto no solo generaría representaciones / reclamos, sino que probablemente conduciría a litigios. En el único libro de respuestas evaluado que hasta ahora se ha mostrado a un candidato (Shri Gaurav Gupta en WP 3683/2012) por orden del Tribunal Superior, Delhi y también con las marcas asignadas enmascaradas; Sin embargo, el candidato ha presentado un nuevo documento de trabajo que se basa en una evaluación incorrecta.
- Como el criterio aquí es el mérito relativo y no el mérito absoluto (a diferencia de los exámenes académicos), un sentimiento de las marcas / revisiones iniciales consideradas duras cuando se analiza el guión de respuesta en particular puede surgir sin tener en cuenta que se han aplicado estándares similares. todos los demás en el campo. La no apreciación de esto llevaría a la erosión de la fe y la credibilidad en el sistema y a los desafíos a la integridad del sistema, incluso a través de un litigio.
- Con la divulgación de los libros de respuestas evaluados, el peligro de que los institutos de coaching recopilen copias de estos de los candidatos (después de quizás animarlos / inducirlos a solicitar copias de sus libros de respuestas bajo la Ley de RTI) es real, con todas sus implicaciones concomitantes .
- Con la divulgación de los libros de respuestas a los candidatos, es probable que al menos algunos de los Examinadores relevantes también tengan acceso a estos. Su posible resentimiento ante sus premios iniciales (que probablemente reconocerían por los números de códigos ficticios y / o sus marcas, especialmente para los sujetos de baja candidatura) que han sido reemplazados (ya sea por inter-examinador o moderación entre-sujetos) llevaría a mala sangre entre Examinadores Adicionales y el Examinador Principal por un lado, y entre Examinadores y la Comisión, por otro lado. La manera libre y franca en que los Examinadores Principales, por ejemplo, revisan el trabajo de sus colegas Examinadores Adicionales, probablemente se vería afectada. La calidad de los estándares de evaluación sufriría.
- Algunos de los documentos opcionales tienen una candidatura muy baja (a veces solo una), especialmente los documentos de literatura. Incluso si todas las iniciales de los Examinadores están enmascaradas (lo que también es difícil desde el punto de vista logístico, ya que cada libro de respuestas tiene varias páginas, y los examinadores a menudo registran sus iniciales y comentarios en varias páginas, con revisiones / correcciones,
una vez hecho esto, sumado al tamaño del problema, la forma en que se otorgan las marcas podría ser un regalo para revelar la identidad del examinador. Si el enmascaramiento falla en cualquier etapa, entonces la identidad del examinador queda expuesta sin piedad. Se sabe que la “área de captación” de candidatos y examinadores en algunos de estos documentos de baja candidatura es limitada. Cualquier posibilidad de que la identidad del Examinador se revele en un examen tan importante podría tener serias implicaciones, tanto para la integridad y la imparcialidad del sistema de Exámenes como para la seguridad del Examinador. El asunto se complica por el hecho de que hemos declarado públicamente en diferentes contextos antes que el Preparador de papel también es generalmente el Examinador principal. - El UPSC ahora puede conseguir que algunos de los mejores maestros y académicos del país se asocien en su trabajo de evaluación. Una razón importante para esto es, sin duda, la seguridad de su anonimato, por lo que la Comisión hace todo lo posible. Una vez que comienza la divulgación de los libros de respuestas y comienzan los inevitables desafíos (incluidos los litigios) de los candidatos decepcionados, es solo una cuestión de tiempo que estos Examinadores, a los que se les pida que expliquen su evaluación / adjudicación, se nieguen a aceptar más tareas
de la Comisión. Un corolario resultante sería que los Examinadores que luego aceptan esta tarea se sentirían tentados a jugar de forma segura en su calificación, sin otorgar calificaciones sobresalientes ni calificaciones muy bajas, incluso cuando éstas se merecen. La mediocridad reinaría suprema y no solo el prestigio, sino la integridad misma del sistema se vería comprometida notablemente “.
Esta metodología se usa para el programa de estudios anterior, pero algo similar podría adoptarse para un nuevo patrón de examen. El documento Fuente: UPSC .
