Master's Thesis
Development of an automated assessment tool
— 2023
Key information
Authors:
Supervisors:
Published in
November 24, 2023
Abstract
Os cursos de Ciência da Computação contam com avaliações de projetos de programação para definir uma parte significativa da nota dos alunos. Uma vez que não há consenso sobre uma ferramenta a ser utilizada no Instituto Superior Técnico (IST) e a maioria delas não atende às especificidades necessárias dos cursos, muitos professores criaram as suas próprias ferramentas de avaliação automática ou adaptaram existentes para avaliar as soluções implementadas pelos alunos. Neste trabalho, em primeira instância, realizamos um estudo comparativo que incluiu ferramentas desenvolvidas para concursos de programação (como o Mooshak) e para o ambiente académico (como o Repl.it e o Autolab), caracterizamo-las do ponto de vista dos professores e dos alunos, e apresentamos alguns aspectos de alto nível. Em seguida, realizamos um estudo com alunos e entrevistas semiestruturadas com professores do departamento de engenharia informática para compreender e reunir todas as suas necessidades. Após analisar toda a informação, propomos o Reliable Automated Testing and Evaluation System (RATES): uma nova ferramenta na qual os professores criam e gerem projetos para os cursos que lecionam, e os alunos submetem as suas soluções. O RATES oferece mais e melhores vantagens em relação a trabalhos anteriores e é uma ferramenta confiável, escalável e segura para avaliar as submissões num ambiente isolado e altamente configurado pelos professores. Por fim, também fornece aos alunos feedback personalizado sobre as suas soluções após a avaliação. Computer Science (CS) courses rely on programming assignment assessments to define a significant portion of the grade for students. Since there is no consensus on a tool to use at Instituto Superior Técnico (IST) and most do not satisfy the required specificities of the courses, many professors created their own Automated Assessment Tools (AATs) or adapted existing ones to grade the solutions implemented by the students. In this work, first, we conducted a comparative study that included tools developed for programming contests (such as Mooshak) and for the academic environment (such as Repl.it and Autolab), characterized them from the teacher and student sides, and presented some high-level aspects. Then, we conducted a student survey and a semi-structured interview with teachers from the computer engineering department to understand and gather all their needs. After analyzing all the information, we propose Reliable Automated Testing and Evaluation System (RATES): a new tool where teachers create and manage assignments for the courses they teach and students submit their solutions. RATES offers more and greater advantages over previous works and is a reliable, scalable, and secure tool to assess submissions in an isolated environment and highly configured by teachers. Finally, it also provides students with personalized feedback on their solutions after the assessment.
Publication details
Authors in the community:
André Luís Raposo Marinho
ist193687
Supervisors of this institution:
Pedro Tiago Gonçalves Monteiro
ist146963
Degree Name
Mestrado em Engenharia Informática e de Computadores
Fields of Science and Technology (FOS)
electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering
Keywords
- Automated Assessment Tools
- Programming Assignments
- Evaluation Configuration
- Personalized Feedback
- Ferramentas de Avaliação Automática
- Projetos de Programação
- Configuração da Avaliação
- Feedback Personalizado
Publication language (ISO code)
eng - English
Rights type:
Embargo lifted
Date available:
September 27, 2024
Institution name
Instituto Superior Técnico