Enhancing multicriteria resource allocation modelling with structuring and negotiation tools to improve decision-making in auditing contexts

Vivian Vivas

Key information

Authors:

Vivian Vivas (Vivian Vivas)

Supervisors:

Mónica Duarte Correia de Oliveira (Mónica Duarte Correia de Oliveira)

Published in

05/28/2020

Abstract

Contexto: A avaliação multicritério para afetação de recursos é amplamente reconhecida como essencial nas áreas de apoio à decisão e pesquisa operacional, em contextos em que indivíduos ou um grupo de decisores precisam alocar seus escassos recursos em projetos concorrentes e que envolvam múltiplos benefícios, riscos e custos. No entanto, poucos estudos relatam a adoção desses modelos multicritério de afetação de recursos (MMARs) em ambiente real e fornecem diretrizes e ferramentas para apoiar os pesquisadores a estruturar e aplicar esses modelos na prática. De forma semelhante a outras organizações públicas de auditoria, a Controladoria-Geral da União (CGU) no Brasil lida com frequência com decisões acerca de quais projetos de auditoria serão executados por suas equipes, levando-se em consideração as restrições orçamentárias, logísticas e de recursos humanos, além de se considerar as diferenças de opinião e conflitos de interesse que surgem ao longo do processo de negociação sobre quais projetos selecionar. Dessa forma, existe uma oportunidade de desenvolver métodos e ferramentas para apoiar na estruturação de MMARs, para modelar as diferentes visões de vários stakeholders e para ajudar nos processos de negociação, sendo esses métodos de alto interesse para a CGU. Objetivos: O objetivo geral desta tese é desenvolver ferramentas multicritério para apoiar as organizações de auditoria na afetação de recursos em seus projetos de auditoria, bem como apoiar a CGU. Especificamente, há objetivos de criar métodos e ferramentas para ajudar a estruturar MMARs, auxiliar a construção de MMARs em contextos de negociação e ajudar a CGU a avançar no uso desses métodos apoiada por um sistema de suporte à decisão (DSS). Métodos: Vários estudos foram conduzidos nesta tese para o desenvolvimento de um framework para a estruturação de MMARs, para a implementação e teste deste framework de estruturação, para o desenvolvimento de instrumentos / métodos para apoiar a negociação informada e na proposta de um modelo de arquitetura de um DSS para possibilitar a implementação e o uso desses métodos na CGU. Com base em métodos robustos e em processos participativos combinados em abordagens sociotécnicas, os estudos foram inspirados e aplicados ao contexto da CGU, nomeadamente na elaboração do Plano Operacional do Departamento de Auditoria da CGU. Feedback sobre os métodos foi coletado dos participantes. Resultados: Os métodos e ferramentas desenvolvidos nesta tese foram implementados em casos que exigiram o envolvimento de stakeholders em diferentes estudos, tanto na estruturação quanto na construção e validação dos MMARs, bem como na participação nos processos de negociação. Em relação ao feedback da CGU, o estudo trouxe uma expectativa de melhoria dos processos internos de tomada de decisão e existe uma intenção real da organização de usar esses instrumentos desenvolvidos. Além disso, os participantes reportaram uma experiência positiva sobre os métodos testados. Discussão: Os métodos desenvolvidos responderam aos desafios atuais de se integrar a análise de portfólios com a negociação e tem potencial para melhoria dos processos de afetação de recursos para tomada de decisão da CGU. Pesquisas futuras podem ser realizadas para estender e aplicar a metodologia a outros contextos além da auditoria. Context: Multicriteria resource allocation is widely recognized as essential in the decision support and operational research fields for contexts in which an individual or group need to allocate scarce resources to competing projects that entail multiple benefits, risks and costs. Nevertheless, few studies report the adoption of multicriteria resource allocation models (MRAMs) in real settings and provide guidelines and tools to help researchers structuring and applying these models in practice. Similar to other public auditing organizations, the Comptroller General of the Union (CGU) in Brazil needs to frequently decide on which audit projects to be carried out by their teams while taking into consideration of budgetary, logistical and human resources constraints, as well as while considering the multiple differences in opinion and conflicts of interest that arise in the process of negotiation about which audit project to select. Accordingly, there is an opportunity to develop methods and tools to help structuring MRAMs, to help modelling the different views from multiple stakeholders and to help negotiation processes, with these methods being of high interest to CGU. Objectives: With the overall objective of providing multicriteria tools to support audit organizations in allocating resources to their audit projects and to help CGU. Specifically, there is an aim to develop methods and tools to help structuring MRAMs, to assist the development of MRAMs in negotiation contexts, and to help the CGU to move towards the use of these methods with a decision support system (DSS). Methods: Several studies were conducted in this thesis towards the development of a framework for structuring MRAMs, the implementation and test of the structuring framework, the development of instruments/methods to support informed negotiation, and the proposal of an architectural model of a DSS to enable the implementation and use of these methods at CGU. Based on sound theoretical methods and participatory processes embedded within socio-technical approaches, the studies were inspired and applied to the CGU context, namely into the elaboration of Operation Plan in the Comptroller Department of CGU. Feedback regarding the approach was collected from participants. Results: The methods and tools presented in this thesis were implemented based on cases, which required the involvement of stakeholders in different studies, such as on structuring and building of MRAMs or on participation in negotiation processes. Regarding CGU feedback, the study brought an expectation to improve the internal decision-making processes and there is a real intention of the ii organization to use these developed instruments. Also, the participants provided positive feedback about the tested methods. Discussion: The developed methods addressed the current challenges of integrating portfolio analysis within negotiation and have the potential to improve CGU's decision-making resource allocation processes. Future research should be performed in order to extend and apply the methodology to other auditing contexts and beyond the audit context.