Loading...
Publication
Interpretable Face Verification Using Visual Explanations
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 17.22 MB | Adobe PDF |
Abstract(s)
A significant number of authentication systems rely on Face Verification (FV) due to its high
accuracy, scalability and ease of integration in real-world applications. These systems often achieve performance levels that surpass human verification capabilities. However, they
typically function as black boxes, offering binary outputs without insight into the decisionmaking process. This lack of interpretability raises serious concerns regarding trust, fairness
and transparency, particularly in sensitive contexts where decisions must be explainable. Additionally, current explanation methods for FV still exhibit limitations in terms of precision,
clarity and reliability of the visual explanations they generate.
This dissertation presents a novel model-agnostic framework for explaining FV decisions using realistic perturbations guided by semantically segmented face regions. The proposed approach combines semantic face masks with a state-of-the-art face inpainting model to reconstruct masked regions in a visually coherent manner. For each face pair, the system systematically masks individual semantic face regions, inpaints the occluded areas, and compares
the similarity scores before and after modification. This process quantifies the contribution
of each region to the final verification decision and produces a similarity map that highlights
the most influential facial areas.
Two complementary perturbation strategies are introduced: Single Inpaint (S0), which assesses the individual impact of each semantic region, and Greedy Inpaint (S1), which incrementally evaluates combinations of regions to capture joint contributions. Extensive qualitative analysis shows that the proposed method produces more interpretable, precise, and
visually coherent explanation maps than existing state-of-the-art techniques, which typically
rely on random or unrealistic occlusions. This is further validated through a quantitative ablation study using Deletion and Insertion metrics, which confirms that the integration of
semantic guidance with inpainting significantly improves the accuracy, reliability, and faithfulness of the resulting explanations.
Uma quantidade significativa de sistemas de autenticação baseia-se em sistemas deVerificação Facial (VF), devido à sua elevada precisão e escalabilidade. Estes sistemas demonstraram desempenhos elevados que já ultrapassam o desempenho da VF humana. No entanto, os resultados são frequentemente binários, não fornecem explicações e, consequentemente, funcionam como caixas pretas, faltando-lhes transparência nos seus processos de tomada de decisão. Esta falta de interpretabilidade suscita sérias preocupações no que diz respeito à confiança e à equidade em contextos sensíveis em que as decisões devem ser justificadas. Além disso, os métodos existentes para explicar os sistemas de VF podem ser melhorados em termos de precisão e clareza das explicações visuais. Neste trabalho, propomos uma estratégia inovadora para explicação de decisões de verificação facial, baseada em perturbações realistas obtidas através da combinação de máscaras semânticas com um modelo de inpainting. Para cada par de faces, o método remove sistematicamente regiões da face específicas e reconstrói essas regiões de forma visualmente plausível. A comparação entre as pontuações de similaridade antes e depois da reconstrução permite quantificar a contribuição de cada região para a decisão da verificação, resultando num mapa de similaridade que indica quais as regiões da face foram mais relevantes para a previsão do modelo. Propomos duas estratégias complementares: a Single Inpaint (S0), que avalia individualmente a influência de cada região semântica, e a Greedy Inpaint (S1), que analisa o impacto conjunto de diferentes combinações de regiões perturbadas na pontuação de similaridade. Os resultados experimentais obtidos demonstram de forma clara a eficácia da abordagem proposta. No plano qualitativo, verifica-se que a utilização conjunta de máscaras semânticas e inpainting permite gerar mapas de similaridade com maior precisão, consistência visual, interpretabilidade e fidelidade, que superam os métodos do estado da arte que recorrem a oclusões aleatórias e pouco realistas. Esta superioridade é também evidenciada nos resultados quantitativos: o estudo de remoção realizado confirma que, embora as máscaras semânticas já tragam ganhos relevantes na identificação de regiões faciais importantes, é a sua integração com o inpainting que assegura explicações significativamente mais fiáveis e representativas das decisões do modelo.
Uma quantidade significativa de sistemas de autenticação baseia-se em sistemas deVerificação Facial (VF), devido à sua elevada precisão e escalabilidade. Estes sistemas demonstraram desempenhos elevados que já ultrapassam o desempenho da VF humana. No entanto, os resultados são frequentemente binários, não fornecem explicações e, consequentemente, funcionam como caixas pretas, faltando-lhes transparência nos seus processos de tomada de decisão. Esta falta de interpretabilidade suscita sérias preocupações no que diz respeito à confiança e à equidade em contextos sensíveis em que as decisões devem ser justificadas. Além disso, os métodos existentes para explicar os sistemas de VF podem ser melhorados em termos de precisão e clareza das explicações visuais. Neste trabalho, propomos uma estratégia inovadora para explicação de decisões de verificação facial, baseada em perturbações realistas obtidas através da combinação de máscaras semânticas com um modelo de inpainting. Para cada par de faces, o método remove sistematicamente regiões da face específicas e reconstrói essas regiões de forma visualmente plausível. A comparação entre as pontuações de similaridade antes e depois da reconstrução permite quantificar a contribuição de cada região para a decisão da verificação, resultando num mapa de similaridade que indica quais as regiões da face foram mais relevantes para a previsão do modelo. Propomos duas estratégias complementares: a Single Inpaint (S0), que avalia individualmente a influência de cada região semântica, e a Greedy Inpaint (S1), que analisa o impacto conjunto de diferentes combinações de regiões perturbadas na pontuação de similaridade. Os resultados experimentais obtidos demonstram de forma clara a eficácia da abordagem proposta. No plano qualitativo, verifica-se que a utilização conjunta de máscaras semânticas e inpainting permite gerar mapas de similaridade com maior precisão, consistência visual, interpretabilidade e fidelidade, que superam os métodos do estado da arte que recorrem a oclusões aleatórias e pouco realistas. Esta superioridade é também evidenciada nos resultados quantitativos: o estudo de remoção realizado confirma que, embora as máscaras semânticas já tragam ganhos relevantes na identificação de regiões faciais importantes, é a sua integração com o inpainting que assegura explicações significativamente mais fiáveis e representativas das decisões do modelo.
Description
Keywords
Explicações Visuais Interpretabilidade Verificação Facial