Application of Autonomous Learning Multi Model system to multiclass imbalanced datasets

André Filipe Mendes Seabra

Key information

Authors:

André Filipe Mendes Seabra (André Filipe Mendes Seabra)

Supervisors:

Susana Margarida da Silva Vieira (Susana Margarida da Silva Vieira); Rodrigo Saragoça Boal Ventura (Rodrigo Saragoça Boal Ventura)

Published in

July 14, 2023

Abstract

Um dos problemas mais difíceis para técnicas contemporâneas de classificação de aprendizagem automática é lidar com dados desbalanceados. Além disso, a natureza de múltiplas classes de vários problemas parece agravar ainda mais o desempenho preditivo dessas abordagens, exigindo a exploração de novas soluções e abordagens para melhor lidar com este tipos de problemas. O classificador Zero-Order Autonomous Learning Multi-Model (ALMMo-0), um sistema baseado em regras fuzzy do tipo AnYa, é usado nesta tese para abordar a questão do desequilíbrio de dados desbalanceados. Todos os testes respeitantes a esta tese foram realizados em conjuntos de dados reais de referencia com múltiplas classes e com vários graus de desequilíbrio de classes e as conclusões foram retiradas da realização de um teste estatístico aos diferentes resultados obtidos. Em primeiro lugar, o desempenho do classificador ALMMo-0 é comparado a métodos de classificação tradicionais. Em segundo lugar, com base nos resultados empíricos obtidos com o algoritmo ALMMo-0 original, são propostos três novos classificadores baseados no ALMMo-0 que visam melhorar a deteção de classes minoritárias: um classificador ensemble que usa um esquema de decomposição Um-contra-Todos, um classificador ensemble que divide o problema original em dois problemas mais simples e faz uso de um estimador de classe-alvo para identificar com precisão as classes minoritárias, e um classificador cost-sensitive que atribui diferentes pesos a cada classe que são otimizados usando otimização Bayesiana. Os métodos propostos superam o ALMMo-0 original em várias métricas de classificação relevantes e oferecem soluções para diferentes tipos de casos de uso. One of the most difficult problems for contemporary machine learning classification techniques is dealing with imbalanced datasets. Moreover, the multiclass nature of several problems seems to further aggravate the predictive performance of these approaches, demanding the exploration of new solutions and approaches to better deal with these types of problems. The Zero-Order Autonomous Learning Multi-Model (ALMMo-0) classifier, an AnYa-type fuzzy rule based system that is non-iterative, non-parametric, and fully autonomous, is used in this thesis to address the issue of imbalanced datasets. All tests conducted throughout this thesis were performed on real benchmark multiclass datasets with varying degrees of class imbalance, from low to high, and conclusions were drawn from performing a non-parametric statistical test to the different obtained results. Firstly, the performance of the ALMMo-0 classifier is compared to benchmark traditional classification methods. It is demonstrated that the ALMMo-0 classifier outperforms the benchmark techniques on several relevant metrics. Secondly, three new ALMMo-0 based classifiers that aim to enhance the minority class detection are proposed: an ensemble classifier that uses a One-vs-All (OvA) problem decomposition scheme, an ensemble classifier that divides the original problem into two simpler problems and makes use of a target class estimator to accurately identify the minority classes, and a cost-sensitive classifier that assigns different weights to each class which are optimized using Bayesian optimization. The proposed methods are shown to outperform the original ALMMo-0 in several relevant classification metrics and offer solutions for different types of use cases.