PhD Thesis

New methods for balancing techniques in classification problems with different types of variables

Rasool Taban — 2025

Key information

Authors:

Rasool Taban (Rasool Taban)

Supervisors:

Maria do Rosário De Oliveira Silva (Maria do Rosário De Oliveira Silva); Cláudia Rita Ribeiro Coelho Nunes Philippart (Cláudia Rita Ribeiro Coelho Nunes Philippart)

Published in

October 20, 2025

Abstract

Esta tese é uma contribuição para três campos sob a classe de problemas de classificação de dados desequilibrados e soluções relacionadas, conhecidas como Técnicas de Balanceamento. Dados desequilibrados referem-se a uma situação em que os dados uma class têm uma probabilidade significativamente menor de ocorrência. As técnicas de balanceamentos tentam resolver o problema utilizando a distribuição da classe Minoritária. Os três problemas que consideramos nesta tese consideram três tipos de dados diferentes que podemos enfrentar ao modelar tarefas de classificação de dados desequilibrados. No primeiro problema, concentramo-nos em situações de dados em que todas as variáveis são contínuas. Neste caso, propomos uma técnica de balanceamento robusto, a que chamamos RM-SMOTE, que combina a ideia do SMOTE com a distância de Mahalanobis robusta. Propomos reduzir o peso das observações atípicas da classe Minority de forma a que os potenciais outliers desta classe tenham uma baixa probabilidade de serem seleccionados no passo de reamostragem. No segundo problema, centramo-nos em situações de dados de tipo misto, o que significa que os dados contêm tanto variáveis contínuas como categóricas. Neste caso, propomos dois técnicas de balanceamentos. O primeiro método, denominado Mixed-robROSE, é inspirado no método robROSE. Este método utiliza uma estratégia para sobreamostragem de variáveis categóricas, preservação a mesma proporção de padrões de variáveis categóricas. O segundo método, denominado SMOTEHuang, utiliza a distância de tipo misto de Huang para modificar a abordagem método de SMOTE-NC. Para o último problemo, concentramo-nos em dados simbólicos, em que os dados são intervalares. Propomos uma técnica de balanceamento baseado no SMOTE adaptado para dados intervalares, onde considera de distância de Mallow. Otema da tese surgiu da colaboração com os parceiros do projeto BIGMATH, o Center for Investments and Finance (CIF) da Sérvia, e o SDG Group de Itália, que identificaram desafios associados à modelação de conjuntos de dados de pontuação de crédito altamente desequilibrados. This thesis is a contribution to the different fields under the class of imbalanced data classification problems and related solutions, known as Balancing Techniques. Imbalanced data refers to a situation where the data is modeled as a mixture of classes, where one or more of the classes have a significantly lower probability of occurrence. Balancing techniques try to overcome the issue by using the distribution of the Minority class in different ways. The three problems that we consider in this thesis consider three different data types that we may face when modeling imbalanced data classification tasks. In the first problem, we focus on data situations where all the variables are continuous. In this case, we propose a robust balancing technique, called RM-SMOTE, that combines the idea of SMOTE with robust Mahalanobis distance. We propose to down-weight atypical Minority class observations such that the potential outliers from this class have a low chance of selection in the resampling step. In the second problem, we focus on mixed-type data situations, meaning that the data contains both continuous and categorical variables, which, adding to the imbalanced data problem, makes the analysis of such datasets even more complicated. In this case, we propose two balancing techniques. The first method named Mixed-robROSE, is inspired by the method robROSE. This method employs a novel strategy to oversample categorical variables by preserving the proportion of categorical patterns. The second balancing technique named SMOTE-Huang, utilizes the Huang mixed-type distance to modify the SMOTE-NC approach. For the last problem, we focus on symbolic data, where the data are intervals. We propose a balancing technique based on SMOTE tailored for interval data, by considering the Mallow’s distance. The thesis track arose from the collaboration with industrial partners of the BIGMATH project, more specifically Center for Investments and Finance (CIF) from Serbia, and SDG Group from Italy, who identified challenges associated with modeling highly imbalanced lead and credit scoring datasets. The implementation of methods is publicly available on https://github.com/rasooltaban.

Publication details

Authors in the community:

RENATES TID

101841094

Degree Name

Doutoramento em Estatística e Processos Estocásticos

Fields of Science and Technology (FOS)

mathematics - Mathematics

Keywords

  • Imbalanced Classification
  • Robust Statistics
  • Mixed-type data
  • Interval-data
  • Oversampling
  • Classificação desequilibrada
  • estatística robusta
  • dados tipo misto
  • intervalados
  • sobreamostragem

Publication language (ISO code)

eng - English

Rights type:

Open access

Institution name

Instituto Superior Técnico

Financing entity

Fundação para a Ciência e Tecnologia

Number for the project, award or grant: UIDB/04621/2020

Financing entity

European Union’s Horizon 2020

Title of the project, award or grant: BIGMATH

Funding Stream: Marie Skłodowska-Curie

Number for the project, award or grant: 812912