| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 5.98 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
Facial expressions play a crucial role in conveying emotions, accounting for 55% of com- munication. Although humans naturally perceive these expressions, individual differences can make this recognition complex. Technological advancements seek to automate the identification of facial expressions, thereby improving interactions. Nonetheless, the obstruction of facial features caused by elements such as hand movements or hair presents substantial obstacles, complicating the precise recognition of expressions. This study investigates the impact of partial occlusion on facial expression recognition, specifically examining how occlusions from masks and Virtual Reality goggles affect model performance on the FERPlus and FERV39K datasets. The results reveal that occlusion reduces the accuracy of all models. Notably, the performance of EfficientNetB1 drops significantly from 92.9% to 74% when the mouth is obscured, in happiness, in FERPlus dataset, while ResNet18 performs poorest in recognizing fear, plummeting to 30% with eyes occlusion. In the FERV39K dataset, occlusion scenarios have a substantial effect on the accuracy of the neutral class. For example, in VGG19, the accuracy decreases sharply from 94.4% to 31.7% in the goggles occlusion scenario and to 30.4% in the mask occlusion scenario. However, a three-class grouping enhances the overall performance, illustrated by the results obtained in the three models in both datasets, indicating the effectiveness of the approach in difficult situations. These findings emphasize the significant challenges occlusion poses for emotion recognition systems, highlighting the need for continued research in this field.
As expressões faciais desempenham um papel crucial na transmissão de emoções, representando 55% da comunicação. Embora os humanos percebam essas expressões de forma natural, as diferenças individuais podem tornar esse reconhecimento complexo. Avanços tecnológicos procuram automatizar a identificação das expressões faciais, melhorando assim a interação humano-máquina ou outras aplicações. No entanto, a obstrução de características faciais causada por elementos como movimentos das mãos ou cabelo apresenta obstáculos substanciais, complicando o reconhecimento preciso das expressões. Este estudo investiga o impacto da oclusão parcial no reconhecimento de expressões faciais, examinando especificamente como as oclusões causadas por máscaras e óculos de Realidade Virtual afetam o desempenho dos modelos nos conjuntos de dados FERPlus e FERV39K. Os resultados revelam que a oclusão reduz significativamente a precisão de todos os modelos. Notavelmente, o desempenho do EfficientNetB1 cai significativamente de 92,9% para 74%, quando a boca é obscurecida, em happiness, no conjunto de dados FERPlus, enquanto o ResNet18 tem o pior desempenho no reconhecimento de fear, caindo para 30% com a oclusão dos olhos. No conjunto de dados FERV39K, os cenários de oclusão têm um impacto substancial na precisão da classe neutral. Por exemplo, no VGG19, a accuracy diminui drasticamente de 94,4% para 31,7% no cenário de oclusão com óculos e para 30,4% no cenário de oclusão com máscara. No entanto, um agrupamento de três classes melhora o desempenho geral, como ilustrado pelos resultados obtidos nos três modelos em ambos os conjuntos de dados, indicando a eficácia da abordagem em situações difíceis. Esses resultados ressaltam os desafios significativos que a oclusão impõe para os sistemas de reconhecimento de emoções, destacando a necessidade de pesquisas contínuas nesta área.
As expressões faciais desempenham um papel crucial na transmissão de emoções, representando 55% da comunicação. Embora os humanos percebam essas expressões de forma natural, as diferenças individuais podem tornar esse reconhecimento complexo. Avanços tecnológicos procuram automatizar a identificação das expressões faciais, melhorando assim a interação humano-máquina ou outras aplicações. No entanto, a obstrução de características faciais causada por elementos como movimentos das mãos ou cabelo apresenta obstáculos substanciais, complicando o reconhecimento preciso das expressões. Este estudo investiga o impacto da oclusão parcial no reconhecimento de expressões faciais, examinando especificamente como as oclusões causadas por máscaras e óculos de Realidade Virtual afetam o desempenho dos modelos nos conjuntos de dados FERPlus e FERV39K. Os resultados revelam que a oclusão reduz significativamente a precisão de todos os modelos. Notavelmente, o desempenho do EfficientNetB1 cai significativamente de 92,9% para 74%, quando a boca é obscurecida, em happiness, no conjunto de dados FERPlus, enquanto o ResNet18 tem o pior desempenho no reconhecimento de fear, caindo para 30% com a oclusão dos olhos. No conjunto de dados FERV39K, os cenários de oclusão têm um impacto substancial na precisão da classe neutral. Por exemplo, no VGG19, a accuracy diminui drasticamente de 94,4% para 31,7% no cenário de oclusão com óculos e para 30,4% no cenário de oclusão com máscara. No entanto, um agrupamento de três classes melhora o desempenho geral, como ilustrado pelos resultados obtidos nos três modelos em ambos os conjuntos de dados, indicando a eficácia da abordagem em situações difíceis. Esses resultados ressaltam os desafios significativos que a oclusão impõe para os sistemas de reconhecimento de emoções, destacando a necessidade de pesquisas contínuas nesta área.
Description
Keywords
Facial expression recognition Partial occlusion Class grouping