dc.creator.ID |
SILVA, Í. S. |
pt_BR |
dc.creator.Lattes |
http://lattes.cnpq.br/8800276401663245 |
pt_BR |
dc.contributor.advisor1 |
MARINHO, Leandro Balby. |
|
dc.contributor.advisor1ID |
MARINHO, L. B. |
pt_BR |
dc.contributor.advisor1Lattes |
http://lattes.cnpq.br/3728312501032061 |
pt_BR |
dc.contributor.referee1 |
CAMPELO, Cláudio Elízio Calazans. |
|
dc.contributor.referee2 |
VELOSO, Adriano Alonso. |
|
dc.description.resumo |
Sistemas derecomendação(RSs)tornaram-secomunsnodiaadiadeboapartedapop-
ulação, auxiliandousuáriosnadescobertadeitensrelevantesemdiversosdomínios.No
entanto, acrescentecomplexidadedosRSslevantapreocupaçõessobresuatransparênciae
interpretabilidade, especialmenteemaplicaçõesdealtoimpacto.Estadissertaçãoinvestigao
potencial dosGrandesModelosdeLinguagem(LLMs)paragerarexplicaçõesautomatizadas
e centradasnoserhumanoparaRSseavaliasuafidelidadeemrefletiroraciocíniointerno
dos modelos.Avaliamosrecomendaçõespersonalizadasdefilmeseexplicaçõesgeradas
pelo GPT-3.5Turbopormeiodeumestudocomusuários,medindoeficácia,personaliza-
ção epoderdepersuasão.Umestudocomplementar,abrangendorecomendaçõesdefilmes,
músicas elivrosgeradasporquatroLLMs(asaber,GPT-4o,Llama3,Gemma2eMixtral
8x7B), avaliouafidelidadedessasexplicaçõesusandoumaavaliaçãoaxiomáticabaseada
no AcordodeImportânciadeCaracterísticas.Nossosresultadosrevelaramque,emboraas
recomendações geradaspelosLLMstenhammelhoradoasatisfaçãodousuárioemcom-
paração comseleçõesaleatórias,asexplicaçõesfrequentementenãoatendiamaoscritérios
de fidelidade.Surpreendentemente,explicaçõesbaseadasempreferênciasdousuárionão
foram consistentementepercebidascomomaispersonalizadas,eficazesoupersuasivasdo
que explicaçõesgenéricas.Asprincipaiscontribuiçõesincluíramumaavaliaçãocentrada
no usuáriodaqualidadedasexplicações,ummétodoaxiomáticoparaavaliarafidelidade,
percepções sobrepreferênciasdosusuáriosetiposdeexplicações,alémdeumaanáliseda
interação entreosobjetivosdasexplicações.Desafiosnotáveisidentificadosincluemasca-
pacidades limitadasdepersonalizaçãodosLLMs,avariabilidadenosresultadosdevidoao
comportamento nãodeterminísticoeanaturezainerentementedecaixa-pretadessesmode-
los. EstetrabalhodestacaaspromessaselimitaçõesdosLLMsemRSsExplicáveisefornece
uma baseparafuturaspesquisasquebusquemmelhoraroalinhamentoentreapercepçãodo
usuário eafidelidadedasexplicações. |
pt_BR |
dc.publisher.country |
Brasil |
pt_BR |
dc.publisher.department |
Centro de Engenharia Elétrica e Informática - CEEI |
pt_BR |
dc.publisher.program |
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO |
pt_BR |
dc.publisher.initials |
UFCG |
pt_BR |
dc.subject.cnpq |
Ciência da Computação |
pt_BR |
dc.title |
Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations |
pt_BR |
dc.date.issued |
2025-02-13 |
|
dc.description.abstract |
Recommender systems(RSs)havebecomeubiquitous,assistingusersindiscoveringrele-
vantitemsacrossvariousdomains.However,theincreasingcomplexityofRSsraisescon-
cerns abouttheirtransparencyandinterpretability,particularlyinhigh-stakesapplications.
This thesisinvestigatesthepotentialofLargeLanguageModels(LLMs)togenerateau-
tomated, human-centeredexplanationsforRSsandassessestheirfaithfulnessinreflecting
the models’internalreasoning.Weevaluatedpersonalizedmovierecommendationsand
explanationsgeneratedbyGPT-3.5Turbothroughauserstudy,measuringeffectiveness,
personalization, andpersuasiveness.Afollow-upstudyacrossmovie,song,andbookrec-
ommendations generatedbyfourLLMs(namely,GPT-4o,Llama3,Gemma2,andMixtral
8x7B) assessedthefaithfulnessoftheseexplanationsusinganaxiomaticevaluationbased
on theFeatureImportanceAgreement.OurfindingsrevealedthatwhileLLM-generatedrec-
ommendations improvedusersatisfactioncomparedtorandomselections,theexplanations
often failedtomeetfaithfulnesscriteria.Surprisingly,explanationsbasedonuserpreferences
were notconsistentlyperceivedasmorepersonalized,effective,orpersuasivethangeneric
explanations.Keycontributionsincludedauser-centricevaluationofexplanationquality,
an axiomaticmethodforassessingfaithfulness,insightsintouserpreferencesandexplana-
tion types,andananalysisoftheinterplaybetweenexplanationgoals.Notablechallenges
identified includeLLMs’limitedpersonalizationcapabilities,variabilityinoutputsdueto
non-deterministic behavior,andtheinherentblack-boxnatureofthesemodels.Thiswork
highlights thepromiseandlimitationsofLLMsinExplainableRSsandprovidesafounda-
tion forfutureresearchtoenhancethealignmentbetweenuserperceptionandexplanation
faithfulness. |
pt_BR |
dc.identifier.uri |
http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/41298 |
|
dc.date.accessioned |
2025-03-25T18:54:28Z |
|
dc.date.available |
2025-03-25 |
|
dc.date.available |
2025-03-25T18:54:28Z |
|
dc.type |
Dissertação |
pt_BR |
dc.subject |
Recuperação de Informação |
pt_BR |
dc.subject |
Estudo de Usuário |
pt_BR |
dc.subject |
Sistemas de Recomendação (RSs) |
pt_BR |
dc.subject |
Grandes Modelos de Linguagem (LLMs) |
pt_BR |
dc.subject |
Large Language Models (LLMs) |
pt_BR |
dc.subject |
Recommendation Systems (SRs) |
pt_BR |
dc.subject |
User Study |
pt_BR |
dc.subject |
Information Retrieval |
pt_BR |
dc.rights |
Acesso Aberto |
pt_BR |
dc.creator |
SILVA, Ítallo de Sousa. |
|
dc.publisher |
Universidade Federal de Campina Grande |
pt_BR |
dc.language |
por |
pt_BR |
dc.title.alternative |
Aproveitando LLMs para sistemas de recomendação explicáveis: explorando Percepções do usuário e fidelidade nas explicações geradas |
pt_BR |
dc.description.sponsorship |
Capes |
pt_BR |
dc.relation |
FAPESQ |
pt_BR |
dc.identifier.citation |
SILVA, Ítallo de Sousa. Leveraging LLMs for explainable recommender systems : exploring user perceptions and faithfulness in generated explanations. 2025. 85 f. Dissertação (Mestrando em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2025. |
pt_BR |