Leveraging existing technologies to improve large-scale recommender systems

André Filipe Caldaça da Silva Carvalho

Key information

Authors:

André Filipe Caldaça da Silva Carvalho (André Filipe Caldaça da Silva Carvalho)

Supervisors:

Pável Pereira Calado (Pável Pereira Calado); João Paulo Carvalho

Published in

09/05/2019

Abstract

Os Sistemas de Recomendação têm como principal objetivo gerar recomendações com interesse para o utilizador. A maioria da investigação em torno de Sistemas de Recomendação tenta exclusivamente melhorar a qualidade das recomendações, ignorando a sua complexidade computacional. Embora os Sistemas de Recomendação, usando filtragem colaborativa baseada em memória, não tenham ratings em abundância, devido a esparsidade, e possível ainda estrategicamente remover alguns ratings redundantes conseguindo-se melhorar a eficiência computacional das métricas de similaridade. Este trabalho foca-se em melhorar a eficiência computacional e ao mesmo tempo melhorar a qualidade de recomendação. Duas abordagens são apresentadas: a primeira utilizando filtragem colaborativa, i.e. exclusivamente ratings, para produzir uma métrica de similaridade mais eficiente computacionalmente; a segunda abordagem, usa informação contextual relativamente aos utilizadores e itens, conseguindo melhor qualidade de recomendação e mantendo ainda a mesma complexidade computacional que as amétricas de similaridade tradicionais. A eficiência computacional e um requisito deste trabalho, pois o objetivo e desenvolver um Sistema de Recomendação capaz de integrar a aplicação em um cenário real e não ser apenas aplicável a nível académico. As abordagens desenvolvidas procuram melhorar a métrica de similaridade para Sistemas de Recomendação de filtragem colaborativa baseada em memoria, através de modelos fuzificados. A sua qualidade depende muito da métrica de similaridade usada. Propõe-se o uso de Fuzzy Fingerprints para criar uma métrica de similaridade capaz de produzir uma solução de rápida integração e eficiente para Sistemas de Recomendação. A segunda abordagem também utiliza Fuzzy Fingerprint similarity, quer seja por combinar informação contextual e ratings numa só Fuzzy Fingerprint quer seja por criar uma multi-contextual Fuzzy Fingerprint similarity utilizando algoritmos de ranking fusion. Este trabalho e validado usando quatro populares datasets designados por ML-1M, HetRec 2011, Netflix e Jester. Os resultados mostram que as Fuzzy Fingerprints conseguem melhorar ligeiramente a qualidade de recomendação, mas mostram principalmente a sua capacidade de melhorar a complexidade computacional, que é quarto vezes menor face as outras métricas de similaridade testadas. O uso de informação contextual permite melhorar a qualidade de recomendação quer seja combinando informação contextual e ratings em uma só Fuzzy Fingerprint, ou usando multi-contextual Fuzzy Fingerprints criando uma Fuzzy Fingerprint por cada fonte de informação contextual. Estas duas soluções, usando informação contextual, conseguem melhorias na qualidade de recomendação e a sua eficiência computacional e ainda assim comparável com outras métricas usadas pela comunidade científica. Recommender Systems have as goal providing valuable recommendations to their users. Most research on Recommender Systems aims to improve the recommendation quality exclusively, while overlooking the computational eciency of such solutions. Although Recommender Systems, based on collaborative filtering, do not have many ratings available, in this work by strategically removing redundant ratings it is possible to o↵er a similarity metric, that improves the computational eciency of Recommender Systems. This work focus on improving the computational eciency of similarity metrics and enhance quality, using two di↵erent approaches. The first relies on Collaborative Filtering, i.e., exclusively on ratings, to produce a computationally ecient similarity metric for Recommender Systems. The second approach uses contextual information regarding users and items to further improve recommendation quality, while still maintaining the same computational eciency. The solutions here proposed can be readily deployed on real Recommender Systems. The first approach methodology intends to improve similarity metrics for Memory-based Collaborative Filtering using Fuzzy Models. Memory-based Collaborative Filtering relies heavily on similarity metrics to produce recommendations. Fuzzy Fingerprints are used as a framework to create a novel similarity metric, providing a fast and e↵ective solution. The second approach also uses Fuzzy Fingerprints, and it combines contextual information with ratings into a single Fuzzy Fingerprint, or create a multi-context Fuzzy Fingerprint where each contextual information has its own Fuzzy Fingerprint. Each contextual Fuzzy Fingerprint allows a ranking fusion algorithm to produce similarity values. This work is validated using four well-known datasets which are ML-1M, HetRec 2011, Netflix and Jester. The application of the Fuzzy Fingerprint similarity improves recommendation quality but, more importantly, requires four times less computational resources than current solutions on large datasets. When using contextual information, the recommendation quality improves either by combining contextual information and ratings into a single Fuzzy Fingerprint or by using multi-context Fuzzy Fingerprints. The solutions using contextual information achieve further recommendation quality improvements while maintaining a comparable computational eciency in comparison with well-known similarity metrics.