Repository logo
 
No Thumbnail Available
Publication

Development of a thermal water-based cosmetic product recommendation system based on a facial image processing approach

Use this identifier to reference this record.
Name:Description:Size:Format: 
Guilherme Tonello.pdf6.07 MBAdobe PDF Download

Abstract(s)

Skincare has become a constant demand among the population, who are increasingly concerned about their health. Furthermore, environmental issues arouse the interest of the masses in natural and sustainable products. This project proposes an approach for recommending thermal-based products based on a set of information provided by the user, combined with the results of computer vision algorithms (to identify the age and occurrence of wrinkles on the user’s forehead). A list of recommended products is generated based on the profile determined for the user. To predict wrinkles, for each facial image sent by the user, we apply a pre-processing step that segments and prepares the region of interest, which a CNN will process. As a CNN, we used the VGG16 architecture trained using a transfer learning and fine-tuning strategy, which improved the results obtained, reaching an accuracy of 92% in classifying wrinkles. An algorithm provided by the Deepface tool is used to predict the user’s age, based on the sent picture. Which is crossed with the user’s information to determine a level of aging in order to improve the quality of the the recommended products.
Os cuidados com a pele tornaram-se uma procura constante entre a população, que se preocupa cada vez mais com a sua saúde. Para além disso, as questões ambientais despertam o interesse das massas por produtos naturais e sustentáveis. Este projeto propõe uma abordagem para a recomenda¸cão de produtos baseado em ´agua termal, a partir de um conjunto de informações fornecidas pelo utilizador, combinadas com os resultados de algoritmos de visão computacional (para identificar a idade e a ocorrência de rugas na testa do usuário). Para prever as rugas, para cada imagem facial enviada pelo usuário, aplica-se um passo de pré-processamento que segmenta e prepara a regi˜ao de interesse, que será processada por uma Rede Neural Convolucional. Utilizou-se a arquitetura VGG16 como base para treinar o modelo através de uma estratégia baseada em transferência de aprendizado e ajuste fino, que melhorou os resultados obtidos, atingindo uma precisão de 92% na classifica¸ cão das rugas. Um algoritmo fornecido pela ferramenta Deepface é utilizado para prever a idade do utilizador, com base na fotografia enviada. Este algoritmo é cruzado com as informações do usuário para determinar um nível de envelhecimento, melhorando a precisão dos produtos recomendados.

Description

Mestrado de dupla diplomação com a UTFPR - Universidade Tecnológica Federal do Paraná

Keywords

Deep learning Wrinkle detection Recommendation system Convolutional neural network VGG16

Citation

Research Projects

Organizational Units

Journal Issue