Automatic recognition of handwritten students identification numbers in examination classroom maps

Aline Amaral Peres

Key information

Authors:

Supervisors:

Susana Margarida da Silva Vieira (Susana Margarida da Silva Vieira); João Rogério Caldas Pinto (João Rogério Caldas Pinto)

Published in

November 13, 2017

Abstract

Neste trabalho, foi desenvolvido um algoritmo para o reconhecimento automático de números manuscritos aplicado a plantas de salas de exame. O algoritmo e composto por quatro etapas principais: pré- processamento, segmentação, extração de características e classificação. Para cada uma destas etapas, e proposta uma abordagem customizada ao problema. E implementada uma estratégia de segmentação original, projetada para plantas de salas, com base em operações morfológicas e componentes conectadas. Esta estratégia pode ser facilmente adaptada a outros problemas de reconhecimento de caracteres manuscritos. No modulo de classificação, dois métodos diferentes (Support Vector Machine e Convolutional Neural Networks) são avaliados e combinados para produzir um modelo de classificação ajustado para este problema e melhorar a precisão. Os resultados apresentados provem do algoritmo aplicado em plantas reais e atingiram uma precisão global de reconhecimento dos algarismos de 96,5 % em teste. Como resultado do processo de segmentação, foi gerada uma base de dados proprietária, a ISTDB, composta por imagens de algarismos. Por fim, foi criada uma simples interface apenas como uma primeira demonstração da funcionalidade do algoritmo. Nesta interface o utilizador pode selecionar a imagem da planta a qual pretende realizar o reconhecimento assim como a lista de alunos inscritos a cadeira, introduzir manualmente possíveis números não reconhecidos e gerar um ficheiro contendo a planta reconhecida. In this work is developed an algorithm for automatic recognition of handwritten numerals, applied to examination classroom maps. The algorithm is composed by four main steps: pre-processing, segmentation, feature extraction and classification. For each of these steps, a tailored approach is proposed. It is implemented an original segmentation strategy designed for the classroom maps, based on morphological operations and connected components. This strategy can be easily adapted to others handwritten character recognition problems. In classification, two different algorithms (Support Vector Machine and Convolutional Neural Networks) are evaluated and combined to produce a tuned classification model for this problem and improve accuracy. The results presented are from the algorithm applied on real classroom maps and achieved an overall numeral recognition accuracy of 96,5% in test. As a result of the segmentation process a proprietary dataset of numerals images, the ISTDB, was created. Finally, a simple interface was designed as a glimpse of the functionality of the algorithm. In this interface, the user can select the map image to be recognized as well as the list of students enrolled in the course, introduce manually possible unrecognized numbers and generate a file containing the recognized classroom map