PhD Thesis
New methods for balancing techniques in classification problems with different types of variables
— 2025
Key information
Authors:
Supervisors:
Published in
October 20, 2025
Abstract
Esta tese é uma contribuição para três campos sob a classe de problemas de classificação de dados desequilibrados e soluções relacionadas, conhecidas como Técnicas de Balanceamento. Dados desequilibrados referem-se a uma situação em que os dados uma class têm uma probabilidade significativamente menor de ocorrência. As técnicas de balanceamentos tentam resolver o problema utilizando a distribuição da classe Minoritária. Os três problemas que consideramos nesta tese consideram três tipos de dados diferentes que podemos enfrentar ao modelar tarefas de classificação de dados desequilibrados. No primeiro problema, concentramo-nos em situações de dados em que todas as variáveis são contínuas. Neste caso, propomos uma técnica de balanceamento robusto, a que chamamos RM-SMOTE, que combina a ideia do SMOTE com a distância de Mahalanobis robusta. Propomos reduzir o peso das observações atípicas da classe Minority de forma a que os potenciais outliers desta classe tenham uma baixa probabilidade de serem seleccionados no passo de reamostragem. No segundo problema, centramo-nos em situações de dados de tipo misto, o que significa que os dados contêm tanto variáveis contínuas como categóricas. Neste caso, propomos dois técnicas de balanceamentos. O primeiro método, denominado Mixed-robROSE, é inspirado no método robROSE. Este método utiliza uma estratégia para sobreamostragem de variáveis categóricas, preservação a mesma proporção de padrões de variáveis categóricas. O segundo método, denominado SMOTEHuang, utiliza a distância de tipo misto de Huang para modificar a abordagem método de SMOTE-NC. Para o último problemo, concentramo-nos em dados simbólicos, em que os dados são intervalares. Propomos uma técnica de balanceamento baseado no SMOTE adaptado para dados intervalares, onde considera de distância de Mallow. Otema da tese surgiu da colaboração com os parceiros do projeto BIGMATH, o Center for Investments and Finance (CIF) da Sérvia, e o SDG Group de Itália, que identificaram desafios associados à modelação de conjuntos de dados de pontuação de crédito altamente desequilibrados. This thesis is a contribution to the different fields under the class of imbalanced data classification problems and related solutions, known as Balancing Techniques. Imbalanced data refers to a situation where the data is modeled as a mixture of classes, where one or more of the classes have a significantly lower probability of occurrence. Balancing techniques try to overcome the issue by using the distribution of the Minority class in different ways. The three problems that we consider in this thesis consider three different data types that we may face when modeling imbalanced data classification tasks. In the first problem, we focus on data situations where all the variables are continuous. In this case, we propose a robust balancing technique, called RM-SMOTE, that combines the idea of SMOTE with robust Mahalanobis distance. We propose to down-weight atypical Minority class observations such that the potential outliers from this class have a low chance of selection in the resampling step. In the second problem, we focus on mixed-type data situations, meaning that the data contains both continuous and categorical variables, which, adding to the imbalanced data problem, makes the analysis of such datasets even more complicated. In this case, we propose two balancing techniques. The first method named Mixed-robROSE, is inspired by the method robROSE. This method employs a novel strategy to oversample categorical variables by preserving the proportion of categorical patterns. The second balancing technique named SMOTE-Huang, utilizes the Huang mixed-type distance to modify the SMOTE-NC approach. For the last problem, we focus on symbolic data, where the data are intervals. We propose a balancing technique based on SMOTE tailored for interval data, by considering the Mallow’s distance. The thesis track arose from the collaboration with industrial partners of the BIGMATH project, more specifically Center for Investments and Finance (CIF) from Serbia, and SDG Group from Italy, who identified challenges associated with modeling highly imbalanced lead and credit scoring datasets. The implementation of methods is publicly available on https://github.com/rasooltaban.
Publication details
Authors in the community:
Rasool Taban
ist428518
Supervisors of this institution:
RENATES TID
101841094
Degree Name
Doutoramento em Estatística e Processos Estocásticos
Fields of Science and Technology (FOS)
mathematics - Mathematics
Keywords
- Imbalanced Classification
- Robust Statistics
- Mixed-type data
- Interval-data
- Oversampling
- Classificação desequilibrada
- estatística robusta
- dados tipo misto
- intervalados
- sobreamostragem
Publication language (ISO code)
eng - English
Rights type:
Open access
Institution name
Instituto Superior Técnico
Financing entity
Fundação para a Ciência e Tecnologia
Number for the project, award or grant: UIDB/04621/2020
Financing entity
European Union’s Horizon 2020
Title of the project, award or grant: BIGMATH
Funding Stream: Marie Skłodowska-Curie
Number for the project, award or grant: 812912