Master's Thesis

Time series forecasting for mortality and disease incidence data

Diogo Vieira Ferreira — 2023

Key information

Authors:

Diogo Vieira Ferreira (Diogo Vieira Ferreira)

Supervisors:

Bruno Emanuel Da Graça Martins (Bruno Emanuel Da Graça Martins)

Published in

November 17, 2023

Abstract

Na área de previsão de mortalidade, modelos estatísticos convencionais, como o Auto-Regres-sive Integrated Moving Average (ARIMA) e modelos simples de aprendizagem de automática, como os Long Short-Term Memory Models (LSTM), têm sido amplamente utilizados. No entanto, isto contrasta acentuadamente com os avanços significativos no campo de aprendizagem automática, especialmente o campo dos State Space Models (SSM). O ponto central desta tese é investigar as potenciais vantagens de aplicar os modelos de aprendizagem automática mais recentes a uma tarefa de previsão de mortalidade. Para tal, extraíram-se dados de mortalidade constituídos por 252 meses da base de dados de mortalidade dos Estados Unidos, abrangendo 57 diferentes causas de morte em cinco estados. Com esses dados, foi formulada uma tarefa de previsão de mortalidade, no se forneceu aos modelos com um contexto de 24 meses e requisitou-se uma previsão para os próximos 6 meses. Foram testados seis modelos de última geração, incluindo os modelos S4 e S4 diagonal. Adicionalmente, os modelos LSTM e Persistência serviram como bases de comparação. Os resultados revelaram que, para previsões de curto prazo, os modelos de última geração apresentaram desempenho semelhante ou marginalmente inferior às bases de comparação. No entanto, à medida que o horizonte de previsão aumenta, os modelos avançados superam consistentemente as bases de comparação. Terminando, houve variações no desempenho dos modelos com base na periodicidade das causas de morte, alguns modelos destacaram-se na previsão de tendências periódicas, como o S4, e outros mostraram-se mais proficientes na previsão de padrões não periódicos, caso do S4 diagonal. In the context of mortality forecasting, conventional statistical models like the Auto-Regressive Integrated Moving Average model (ARIMA), and simple machine learning models such as Long Short-Term Memory (LSTM) networks, have been the standard approaches. However, this landscape sharply contrasts with the significant advancements in machine learning, particularly concerning state space models.The focal point of my thesis is to investigate the potential advantages of applying state-of-the-art machine learning models to a mortality forecasting task. To accomplish this, mortality data spanning 252 months was extracted from the United States' underlying mortality database, encompassing 57 different causes of death across five states. This data was used to formulate a mortality forecasting challenge, where models are presented with a 24-month historical context and tasked with forecasting the subsequent 6 months. Six state-of-the-art models were subjected to rigorous testing, which included the S4 and S4 diagonal models. In addition, LSTM and persistence models were utilised as baselines for comparison. The results revealed that, for short-term forecasts, the state-of-the-art models exhibited similar or marginally inferior performance compared to the baselines. However, as the forecasting horizon extended, these advanced models consistently outperformed the baselines. Moreover, it was observed variations in model performance based on the periodicity of the causes of death, with some models excelling at predicting periodic trends, such as the S4, and others being more proficient at forecasting non-periodic patterns, exemplified by the S4 diagonal.

Publication details

Authors in the community:

Supervisors of this institution:

RENATES TID

203838033

Degree Name

Mestrado em Engenharia Biomédica

Fields of Science and Technology (FOS)

health-biotechnology - Medical biotechnology

Keywords

  • Mortality forecasting
  • Time-series forecasting
  • State Space Models
  • Machine Learning
  • Previsão de Mortalidade
  • Previsão de Séries Temporais
  • Modelos de Espaço de Estado

Publication language (ISO code)

eng - English

Rights type:

Embargo lifted

Date available:

October 5, 2024

Institution name

Instituto Superior Técnico