Publication
Web application for the analysis of assessment tests
| dc.contributor.author | Prata, Paula | |
| dc.contributor.author | Duarte, Luís | |
| dc.contributor.author | Ferrão, Maria Eugénia | |
| dc.date.accessioned | 2020-01-27T09:27:38Z | |
| dc.date.available | 2020-01-27T09:27:38Z | |
| dc.date.issued | 2018-09-27 | |
| dc.description.abstract | Introduction: An assessment test enables the evaluation of an individual’s competence or ability. Such tests are important for both teaching and professional training institutions, as well as for the recruiting of human resources in the enterprise. Objectives: The present paper introduces the “Evaluate” web application, for the analysis of assessment tests. Methods: The design and implementation of the application is described, which allows the management of assessment items, used to constitute evaluation tests, upon which results the main descriptive statistic values used under the classical test theory in the analysis of assessment tests are calculated. The application was developed in Python, within the Django framework, and tested with real assessment tests. Results: Scores are assigned to each assessment item, and various statistics — such as difficulty and discrimination index, point-biserial correlation, test internal consistency coefficient — can be obtained upon the answers of the subjects, as well as a graphic analysis of the performance of each subject on each assessment item, as well as on the test as a whole. Conclusion: The “Evaluate” application makes a meaningful contribution to a better knowledge of assessment tools used in competence evaluation, by allowing the detection of inconsistencies and the consequent improvement in the process. | pt_PT |
| dc.description.abstract | Introdução: Um teste de aferição permite a avaliação de uma dada competência ou capacidade de um individuo. Estes testes são importantes quer no âmbito de instituições de ensino, quer no âmbito empresarial para o recrutamento de recursos humanos. Objetivos: O artigo tem como principal objectivo apresentar a aplicação web designada "Evaluate" para a análise de testes de aferição. Métodos: Descreve-se o desenho e implementação da aplicação que permite fazer a gestão de questões ou itens de aferição, a partir dos quais é possível a construção de testes de avaliação. A partir dos resultados dos alunos na resolução desses testes, são calculadas as principais estatísticas descritivas usadas na análise de testes de aferição das aprendizagens ao abrigo da teoria clássica dos testes. A aplicação “Evaluate” foi desenvolvida em Python usando a framework Django e foi testada com provas de aferição reais. Resultados: Para cada teste são atribuídas cotações aos itens e, a partir das respostas dos alunos, são obtidas diversas estatísticas tais como: índice de dificuldade e de discriminação, correlação ponto-bisserial, coeficiente de consistência interna do teste. A aplicação permitir ainda a análise gráfica do desempenho dos alunos por cada item e no teste como um todo. Conclusões: A aplicação “Evaluate” é uma ferramenta que contribui para um melhor conhecimento dos instrumentos de aferição usados na avaliação de conhecimentos, permitindo identificar inconsistências e consequentemente introduzir melhorias no processo. | pt_PT |
| dc.description.abstract | Introducción: Una prueba de evaluación permite la evaluación de una determinada competencia de un individuo. Estas pruebas son importantes tanto en el ámbito de las instituciones de enseñanza, tanto en el ámbito empresarial para la contratación de recursos humanos. Objetivo: El artículo tiene como principal objetivo presentar la aplicación web designada “Evaluate” para análisis de pruebas de evaluación. Métodos: Se describe el diseño e implementación de la aplicación que permite hacer la gestión de cuestiones, a partir de los cuales es posible la construcción de pruebas de evaluación. A partir de los resultados de los alumnos en la resolución de estas pruebas, son calculadas las principales estadísticas descriptivas utilizadas en el análisis de pruebas de evaluación de los aprendizajes bajo la teoría clásica de las pruebas. La aplicación “Evaluate” fue desarrollada en Python usando el framework Django y fue probada con pruebas de evaluación real. Resultados: Para cada prueba se asignan cotizaciones a los ítems y, a partir de las respuestas de los alumnos, se obtienen diversas estadísticas por cada ítem e por cada prueba. La aplicación permite además el análisis gráfico del desempeño de los alumnos por cada ítem y en la prueba como un todo. Conclusiones: La aplicación “Evaluate” es una herramienta que contribuye a un mejor conocimiento de los instrumentos de medición usados en la evaluación de conocimientos, permitiendo identificar inconsistencias y consecuentemente introducir mejoras en el proceso. | pt_PT |
| dc.description.version | info:eu-repo/semantics/publishedVersion | pt_PT |
| dc.identifier.citation | Prata, P., Duarte, L. & Ferrão., M. E. (2018),Web application for the analysis of assessment tests. Millenium, 2(7), 91-101, 2018 | pt_PT |
| dc.identifier.doi | https://doi.org/10.29352/mill0207.08.00176 | pt_PT |
| dc.identifier.issn | 0873-3015 | |
| dc.identifier.uri | http://hdl.handle.net/10400.6/8729 | |
| dc.language.iso | eng | pt_PT |
| dc.peerreviewed | yes | pt_PT |
| dc.publisher | Millenium - Journal of Education, Technologies, and Health | pt_PT |
| dc.relation.publisherversion | https://revistas.rcaap.pt/millenium/article/view/14070 | pt_PT |
| dc.rights.uri | http://creativecommons.org/licenses/by/4.0/ | pt_PT |
| dc.subject | Classical test theory | pt_PT |
| dc.subject | E-assessment | pt_PT |
| dc.subject | Data analysis | pt_PT |
| dc.title | Web application for the analysis of assessment tests | pt_PT |
| dc.type | journal article | |
| dspace.entity.type | Publication | |
| oaire.awardURI | info:eu-repo/grantAgreement/FCT/5876/UID%2FEEA%2F50008%2F2013/PT | |
| oaire.awardURI | info:eu-repo/grantAgreement/FCT/5876/UID%2FMulti%2F00491%2F2013/PT | |
| oaire.citation.conferencePlace | Viseu | pt_PT |
| oaire.citation.endPage | 101 | pt_PT |
| oaire.citation.issue | 2 | pt_PT |
| oaire.citation.startPage | 91 | pt_PT |
| oaire.citation.title | Millenium - Journal of Education, Technologies, and Health | pt_PT |
| oaire.citation.volume | 7 | pt_PT |
| oaire.fundingStream | 5876 | |
| oaire.fundingStream | 5876 | |
| person.familyName | Prata | |
| person.familyName | Ferrão | |
| person.givenName | Paula | |
| person.givenName | Maria Eugénia | |
| person.identifier.ciencia-id | 651F-C1C8-44AD | |
| person.identifier.orcid | 0000-0002-3072-0186 | |
| person.identifier.orcid | 0000-0002-1317-0629 | |
| person.identifier.rid | A-2665-2011 | |
| person.identifier.scopus-author-id | 6506143567 | |
| person.identifier.scopus-author-id | 24075949800 | |
| project.funder.identifier | http://doi.org/10.13039/501100001871 | |
| project.funder.identifier | http://doi.org/10.13039/501100001871 | |
| project.funder.name | Fundação para a Ciência e a Tecnologia | |
| project.funder.name | Fundação para a Ciência e a Tecnologia | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | article | pt_PT |
| relation.isAuthorOfPublication | 138a0dac-5e5d-466c-901d-4ed34f860403 | |
| relation.isAuthorOfPublication | f32b6cd9-ea61-4de5-898c-d4e0d40a057f | |
| relation.isAuthorOfPublication.latestForDiscovery | f32b6cd9-ea61-4de5-898c-d4e0d40a057f | |
| relation.isProjectOfPublication | 6051e784-a228-452a-ad8e-90f4372bc6bf | |
| relation.isProjectOfPublication | 0a22f832-50f6-4555-abb2-5cbcd9a8fac9 | |
| relation.isProjectOfPublication.latestForDiscovery | 6051e784-a228-452a-ad8e-90f4372bc6bf |