DSpace/Manakin Repository

Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations

Mostrar registro simples

dc.creator.ID SILVA, Í. S. pt_BR
dc.creator.Lattes http://lattes.cnpq.br/8800276401663245 pt_BR
dc.contributor.advisor1 MARINHO, Leandro Balby.
dc.contributor.advisor1ID MARINHO, L. B. pt_BR
dc.contributor.advisor1Lattes http://lattes.cnpq.br/3728312501032061 pt_BR
dc.contributor.referee1 CAMPELO, Cláudio Elízio Calazans.
dc.contributor.referee2 VELOSO, Adriano Alonso.
dc.description.resumo Sistemas derecomendação(RSs)tornaram-secomunsnodiaadiadeboapartedapop- ulação, auxiliandousuáriosnadescobertadeitensrelevantesemdiversosdomínios.No entanto, acrescentecomplexidadedosRSslevantapreocupaçõessobresuatransparênciae interpretabilidade, especialmenteemaplicaçõesdealtoimpacto.Estadissertaçãoinvestigao potencial dosGrandesModelosdeLinguagem(LLMs)paragerarexplicaçõesautomatizadas e centradasnoserhumanoparaRSseavaliasuafidelidadeemrefletiroraciocíniointerno dos modelos.Avaliamosrecomendaçõespersonalizadasdefilmeseexplicaçõesgeradas pelo GPT-3.5Turbopormeiodeumestudocomusuários,medindoeficácia,personaliza- ção epoderdepersuasão.Umestudocomplementar,abrangendorecomendaçõesdefilmes, músicas elivrosgeradasporquatroLLMs(asaber,GPT-4o,Llama3,Gemma2eMixtral 8x7B), avaliouafidelidadedessasexplicaçõesusandoumaavaliaçãoaxiomáticabaseada no AcordodeImportânciadeCaracterísticas.Nossosresultadosrevelaramque,emboraas recomendações geradaspelosLLMstenhammelhoradoasatisfaçãodousuárioemcom- paração comseleçõesaleatórias,asexplicaçõesfrequentementenãoatendiamaoscritérios de fidelidade.Surpreendentemente,explicaçõesbaseadasempreferênciasdousuárionão foram consistentementepercebidascomomaispersonalizadas,eficazesoupersuasivasdo que explicaçõesgenéricas.Asprincipaiscontribuiçõesincluíramumaavaliaçãocentrada no usuáriodaqualidadedasexplicações,ummétodoaxiomáticoparaavaliarafidelidade, percepções sobrepreferênciasdosusuáriosetiposdeexplicações,alémdeumaanáliseda interação entreosobjetivosdasexplicações.Desafiosnotáveisidentificadosincluemasca- pacidades limitadasdepersonalizaçãodosLLMs,avariabilidadenosresultadosdevidoao comportamento nãodeterminísticoeanaturezainerentementedecaixa-pretadessesmode- los. EstetrabalhodestacaaspromessaselimitaçõesdosLLMsemRSsExplicáveisefornece uma baseparafuturaspesquisasquebusquemmelhoraroalinhamentoentreapercepçãodo usuário eafidelidadedasexplicações. pt_BR
dc.publisher.country Brasil pt_BR
dc.publisher.department Centro de Engenharia Elétrica e Informática - CEEI pt_BR
dc.publisher.program PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO pt_BR
dc.publisher.initials UFCG pt_BR
dc.subject.cnpq Ciência da Computação pt_BR
dc.title Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations pt_BR
dc.date.issued 2025-02-13
dc.description.abstract Recommender systems(RSs)havebecomeubiquitous,assistingusersindiscoveringrele- vantitemsacrossvariousdomains.However,theincreasingcomplexityofRSsraisescon- cerns abouttheirtransparencyandinterpretability,particularlyinhigh-stakesapplications. This thesisinvestigatesthepotentialofLargeLanguageModels(LLMs)togenerateau- tomated, human-centeredexplanationsforRSsandassessestheirfaithfulnessinreflecting the models’internalreasoning.Weevaluatedpersonalizedmovierecommendationsand explanationsgeneratedbyGPT-3.5Turbothroughauserstudy,measuringeffectiveness, personalization, andpersuasiveness.Afollow-upstudyacrossmovie,song,andbookrec- ommendations generatedbyfourLLMs(namely,GPT-4o,Llama3,Gemma2,andMixtral 8x7B) assessedthefaithfulnessoftheseexplanationsusinganaxiomaticevaluationbased on theFeatureImportanceAgreement.OurfindingsrevealedthatwhileLLM-generatedrec- ommendations improvedusersatisfactioncomparedtorandomselections,theexplanations often failedtomeetfaithfulnesscriteria.Surprisingly,explanationsbasedonuserpreferences were notconsistentlyperceivedasmorepersonalized,effective,orpersuasivethangeneric explanations.Keycontributionsincludedauser-centricevaluationofexplanationquality, an axiomaticmethodforassessingfaithfulness,insightsintouserpreferencesandexplana- tion types,andananalysisoftheinterplaybetweenexplanationgoals.Notablechallenges identified includeLLMs’limitedpersonalizationcapabilities,variabilityinoutputsdueto non-deterministic behavior,andtheinherentblack-boxnatureofthesemodels.Thiswork highlights thepromiseandlimitationsofLLMsinExplainableRSsandprovidesafounda- tion forfutureresearchtoenhancethealignmentbetweenuserperceptionandexplanation faithfulness. pt_BR
dc.identifier.uri http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/41298
dc.date.accessioned 2025-03-25T18:54:28Z
dc.date.available 2025-03-25
dc.date.available 2025-03-25T18:54:28Z
dc.type Dissertação pt_BR
dc.subject Recuperação de Informação pt_BR
dc.subject Estudo de Usuário pt_BR
dc.subject Sistemas de Recomendação (RSs) pt_BR
dc.subject Grandes Modelos de Linguagem (LLMs) pt_BR
dc.subject Large Language Models (LLMs) pt_BR
dc.subject Recommendation Systems (SRs) pt_BR
dc.subject User Study pt_BR
dc.subject Information Retrieval pt_BR
dc.rights Acesso Aberto pt_BR
dc.creator SILVA, Ítallo de Sousa.
dc.publisher Universidade Federal de Campina Grande pt_BR
dc.language por pt_BR
dc.title.alternative Aproveitando LLMs para sistemas de recomendação explicáveis: explorando Percepções do usuário e fidelidade nas explicações geradas pt_BR
dc.description.sponsorship Capes pt_BR
dc.relation FAPESQ pt_BR
dc.identifier.citation SILVA, Ítallo de Sousa. Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations. 2025. 85 f. Dissertação (Mestrando em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2025. pt_BR


Arquivos deste item

Este item aparece na(s) seguinte(s) coleção(s)

Mostrar registro simples

Buscar DSpace


Busca avançada

Navegar

Minha conta