PhD Thesis
Advances in Partial Information Decomposition
— 2025
Key information
Authors:
Supervisors:
Published in
January 29, 2025
Abstract
This thesis explores partial information decomposition (PID), a framework for decomposing the information that a set of input variables has about a target variable into different types of information: redundant information—the information that is shared among several variables—unique information—the information that is uniquely present in certain variables—and synergistic information—the information that can only be retrieved when certain variables are simultaneously known. PID was originally (and axiomatically) introduced by Williams and Beer in 2010, formulated from the perspective of redundant information, and further developed from the perspective of other measures. We review PID theory, as well as the proposed measures and properties, comment on them, accept some and reject others, contextualize the advancements of PID, as well as open problems, and interpret some results that have been presented as apparent paradoxes. In terms of contributions, this thesis presents two articles and presents an overview of the PID state-of-the-art, as well as comments on the limitations of PID and what can be done to overcome those limitations, whenever possible. The first article introduces new measures of redundant and union information based on preorder relationships between communication channels and provides sufficient conditions under which such preorders lead to PID measures that comply with the PID axioms. The second article introduces a measure of union information based on conditional independence of sources—from which a measure of synergy is derived—reviews previous measures of union information and synergy, and compares them to the proposed measures. It also extends the Williams and Beer axioms—originally defined only for measures of redundant information— to also encompass measures of union information, and we propose some properties that measures of union information and synergy should comply with. Esta tese explora a decomposição de informação parcial (DIP), uma abordagem para decompor a informação que um conjunto de variáveis de entrada tem sobre uma variável alvo em diferentes tipos de informação: informação redundante—aquela que é partilhada entre diferentes variáveis—informação única—a que está presente exclusivamente em certas variáveis—e informação sinérgica—a que só pode ser recuperada quando estas variáveis são conhecidas em simultâneo. A DIP foi originalmente introduzida axiomaticamente por Williams e Beer em 2010, formulada na perspectiva de informação redundante e posteriormente desenvolvida com base noutro tipo de medidas. A tese faz uma revisão da teoria da DIP, bem como das medidas e propriedades propostas, comenta-as, aceita algumas e rejeita outras, contextualiza os avanços da DIP, bem como os problemas em aberto, e apresenta interpretações de alguns resultados que foram apresentados como aparentemente paradoxais. Em termos de contributos, esta tese apresenta dois artigos e uma visão do estado da arte da DIP, bem como comentários sobre as limitações da DIP e o que pode ser feito para ultrapassar tais limitações, quando possível. O primeiro artigo introduz novas medidas de informação redundante e informação de união baseadas em preordens entre canais de comunicação e apresenta condições suficientes sob as quais tais preordens levam a medidas que cumprem os axiomas para a DIP. O segundo artigo introduz uma medida de informação união baseada na independência condicional das fontes—da qual se deduz uma medida de sinergia—analisa as medidas de informação de união e sinergística anteriormente propostas e compara-as com as medidas propostas. O artigo propõe uma extensão dos conhecidos axiomas de Williams e Beer—originalmente definidos apenas para medidas de informação redundante—para abranger também as medidas de informação de união, e propõe algumas propriedades que as medidas de informação de união e sinergística devem satisfazer.
Publication details
Authors in the community:
André Filipe Correia Gomes
ist197849
Supervisors of this institution:
Sara Alexandra Cordeiro Madeira
ist46399
RENATES TID
101648359
Degree Name
Doutoramento em Engenharia Electrotécnica e de Computadores
Fields of Science and Technology (FOS)
electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering
Keywords
- decomposição de informação parcial
- teoria de informação
- informação redundante
- informação união
- sinergia
- partial information decomposition
- information theory
- redundant information
- union information
- synergy
Publication language (ISO code)
eng - English
Rights type:
Open access
Institution name
Instituto Superior Técnico
Financing entity
Fundação para a Ciência e a Tecnologia
Identifier for the funding entity: https://doi.org/10.13039/501100001871
Type of identifier of the funding entity: Crossref Funder
Financing entity
Instituto de Telecomunicações
Identifier for the funding entity: https://doi.org/10.13039/501100015494
Type of identifier of the funding entity: Crossref Funder