Mathematical methods for inverse rigging in realistic blendshape models

Stevo Rackovic

Key information

Authors:

Supervisors:

Cláudia Alexandra Magalhães Soares (Cláudia Alexandra Magalhães Soares); Dusan Jakovetic (Dusan Jakovetic); João Paulo Salgado Arriscado Costeira (João Paulo Salgado Arriscado Costeira)

Published in

November 19, 2025

Abstract

Na animação digital moderna, rostos são frequentemente modelados com o modelo blendshape, que combina deformações faciais locais para criar expressões realistas. Um desafio importante nesse campo é a inversão do rig, amplamente utilizada na retargetagem de animações. O objetivo é estimar os pesos do blendshape de modo que o rosto deformado de um personagem corresponda ás expressões capturadas de uma referência, como dados de motion capture. Esta tese propõe soluções inovadoras para a inversão de rig, com foco em modelos de blendshape altamente realistas usados na indústria. Diferentemente de abordagens anteriores, que tratam rigs como funções lineares simplificadas, esta pesquisa considera termos corretivos não lineares, fundamentais para capturar a expressividade dos avatares. Além disso, são incorporadas restrições práticas: os pesos devem ser não negativos, limitados entre zero e um e esparsos, garantindo maior controle e interpretabilidade. O primero método, descrito nos artigos “Accurate and Interpretable Solution of the Inverse Rig for Realistic Blendshape Models with Quadratic Corrective Terms” e “A Majorization Minimizationbased Method for Nonconvex Inverse Rig Problems in Facial Animation: Algorithm Derivation”, utiliza uma abordagem Jacobi com majorization-minimization. Este método permite estimar pesos de forma conjunta, facilitando a inclusão de termos corretivos, além de viabilizar a paralelização, resultando em soluções precisas, suaves e de baixa cardinalidade. O segundo método, detalhado em “High-fidelity Interpretable Inverse Rig: An Accurate and Sparse Solution Optimizing the Quartic Blendshape Model”, adota coordinate descent. Embora não seja paralelizável, é capaz de lidar com termos corretivos de ordem superior, oferecendo maior precisão em situações complexas. Além disso, a tese explora segmentação do modelo de blendshape, com uma técnica de clusterização para resolver a inversão de rig de forma distribuída (“Clustering of the Blendshape Facial Model”). Por fim, a regularização temporal é incorporada para garantir transições suaves entre quadros de animação. Testes extensivos validaram os métodos em termos de precisão, esparsidade e qualidade, com métricas robustas e avaliações de especialistas (“Distributed Solution of the Blendshape Rig Inversion Problem”). In modern computer animation, faces are often modeled using the blendshape model, a technique combining vectorized representations of local facial deformations to create realistic expressions. A key challenge in this domain is rig inversion, which arises in animation retargeting. Here, the goal is to estimate optimal activation parameters — blendshape weights — such that the deformed face of a character matches captured expressions from a reference, typically motion capture data. This thesis focuses on model-based solutions for rig inversion, emphasizing high-realism blendshape models used in the industry. Unlike prior work, which simplifies blendshape rigs to linear functions, this research addresses the complexity introduced by non-linear corrective terms, crucial for enhancing avatar expressiveness. Further, we account for practical requirements: weights must remain non-negative, bounded by one, and sparse. The first method, introduced in the papers “Accurate and Interpretable Solution of the Inverse Rig for Realistic Blendshape Models with Quadratic Corrective Terms” and “A Majorization Minimization based Method for Nonconvex Inverse Rig Problems in Facial Animation: Algorithm Derivation”, uses a Jacobi approach with majorization-minimization. This method jointly estimates weights, simplifying inclusion of corrective terms and enabling parallelization, achieving smooth, accurate results with low cardinality. The second method, detailed in “High-fidelity Interpretable Inverse Rig: An Accurate and Sparse Solution Optimizing the Quartic Blendshape Model”, employs coordinate descent. While not parallelizable, it handles higher-order corrective terms, delivering even higher accuracy. Additionally, the thesis explores blendshape model segmentation, proposing a clustering technique (“Clustering of the Blendshape Facial Model”) to solve rig inversion in a distributed manner. By segmenting the model and applying a distributed algorithm based on the alternating direction method of multipliers, the approach improves weight coupling and accuracy (“Distributed Solution of the Blendshape Rig Inversion Problem”). Lastly, the research incorporates temporal regularization to ensure smooth transitions between animation frames (“Refined Inverse Rigging: A Balanced Approach to High-fidelity Blendshape Animation”). Extensive experiments demonstrate the superiority of these methods in accuracy, sparsity, and quality, validated through numerical metrics and expert evaluations.