Master's Thesis

A framework for digitized document processing and analysis

André Filipe Pinto de Oliveira — 2024

Key information

Authors:

André Filipe Pinto de Oliveira (André Filipe Pinto de Oliveira)

Supervisors:

José Luís Brinquete Borbinha (José Luís Brinquete Borbinha); Flávio Nuno Fernandes Martins (Flávio Martins)

Published in

June 11, 2024

Abstract

Reconhecimento ótico de caracteres (OCR) é uma tecnologia em desenvolvimento ativo que permite a um computador converter um documento ou imagem digitalizada num formato digital que pode ser reconhecido por máquinas. Hoje em dia, várias indústrias têm enormes arquivos em papel que são difíceis de explorar quando se procura tópicos ou palavras-chave específicas, pelo que muitas empresas estão a fazer a transição para bibliotecas digitais. Este documento fornece uma visão geral dos últimos avanços na tecnologia relevante e aprofunda as complexidades do \ac{OCR} para documentos com uma única coluna ou vários blocos. Disseca os desafios associados ao \ac{OCR} e descreve a arquitetura do sistema de software. Além disso, elucida várias características do sistema, incluindo, entre outras, a funcionalidade central do \ac{OCR}, as opções para exportar ficheiros, a funcionalidade de sessões privadas e a utilização de dados processados. A aplicação também permite ao utilizador pesquisar e agrupar páginas por palavras específicas. A versão atual do sistema é capaz de tratar documentos com vários \ac{GB}s e mais de cinco mil páginas. De acordo com os resultados obtidos nos testes realizados por utilizadores, mais de 89\% dos testes foram concluídos sem grandes preocupações. Optical Character Recognition (OCR) is a technology in active development that allows a computer to convert a scanned document or image into a digital format that can be recognized by machines. Nowadays, several industries have huge paper archives that are hard to explore when searching for specific topics or keywords, thus many companies are making the transition to digital libraries. This document provides an overview of the latest advancements in relevant technology and delves into the complexities of OCR for documents with a single column or multiple blocks. It dissects the challenges associated with OCR and describes the architecture of the software system. Additionally, it elucidates various features of the system, including but not limited to the core OCR functionality, exportable file options, private sessions feature, and utilization of processed data. The framework also allows the user to search and group pages by specific words. The current version of the system is capable of handling documents with several Gigabyte (GB)s and over five thousand pages. According to the results obtained from the user evaluation conducted, over 89% of the tests were completed without any major concerns.

Publication details

Authors in the community:

Supervisors of this institution:

Degree Name

Mestrado em Engenharia Informática e de Computadores

Fields of Science and Technology (FOS)

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

  • Optical Character Recognition
  • ElasticSearch
  • Tesseract
  • Redis
  • Celery
  • Docker
  • Reconhecimento ótico de caracteres

Publication language (ISO code)

eng - English

Rights type:

Embargo lifted

Date available:

April 11, 2025

Institution name

Instituto Superior Técnico