Avaliando modelos de linguagem grande na resolução de problemas de lógica da OBI.

DSpace Principal
→
Campus Campina Grande | Centro de Engenharia Elétrica e Informática - CEEI
→
CURSOS DE GRADUAÇÃO DO CEEI
→
Curso de Bacharelado em Ciência da Computação
→
Trabalho de Conclusão de Curso - Artigo - Ciência da Computação
→
Ver ítem

dc.creator.ID	SOUZA, J. V. M. C.	pt_BR
dc.contributor.advisor1	GHEYI, Rohit.
dc.contributor.advisor1ID	GHEYI, R.	pt_BR
dc.contributor.advisor1Lattes	http://lattes.cnpq.br/2931270888717344	pt_BR
dc.contributor.referee1	ALMEIDA, Hyggo Oliveira de.
dc.contributor.referee1ID	ALMEIDA, H. O.	pt_BR
dc.contributor.referee1Lattes	http://lattes.cnpq.br/4993914550234923	pt_BR
dc.contributor.referee2	BRASILEIRO, Francisco Vilar.
dc.contributor.referee2ID	BRASILEIRO, F.	pt_BR
dc.contributor.referee2Lattes	http://lattes.cnpq.br/5957855817378897	pt_BR
dc.description.resumo	Modelos de Linguagem Grande (LLM) se tornaram populares, com modelos de fácil acesso e cada vez mais perspicazes, tais como Chat GPT, Gemini, Claude, Mistral, dentre outros. Com uma grande gama de possíveis utilizações em uma era digital, os LLMs tem uma crescente utilização, sendo possíveis suas atuações em diversos campos, inclusive no de aprendizado humano. Mediante isto, é considerável saber e ponderar sobre tais ferramentas e como podem ajudar na resolução de problemas lógicos encontrados na Olimpíada Brasileira de Informática (OBI) para alunos do ensino fundamental. Neste trabalho avaliamos o Chat GPT 3.5 e o Le Chat Mistral com 100 questões de lógica da OBI. O Chat GPT acertou 23% delas, enquanto que o Mistral Le Chat acertou 36%das questões, ambos na primeira tentativa.	pt_BR
dc.publisher.country	Brasil	pt_BR
dc.publisher.department	Centro de Engenharia Elétrica e Informática - CEEI	pt_BR
dc.publisher.initials	UFCG	pt_BR
dc.subject.cnpq	Ciência da Computação	pt_BR
dc.title	Avaliando modelos de linguagem grande na resolução de problemas de lógica da OBI.	pt_BR
dc.date.issued	2024-05-15
dc.description.abstract	Large Language Models (LLM) have become popular, with easy to access and more and moreinsightful models, such as Chat GPT, Gemini, Claude, Mistral, among others. With a wide range of possible utilizations in a digital era, LLMs have a growing use in the most diverse fields, specially on human learning. For this reason, it’s important to study and consider such tools and how they can help in solving logical problems found in the Brazilian Olympiad in Informatics (OBI). In this study, we evaluated Chat GPT 3.5 and Le Chat Mistral with 100 logic questions from OBI. Chat GPT answered 23% of them correctly, while Mistral Le Chat answered 36% of the questions correctly, both on the first attempt.	pt_BR
dc.identifier.uri	http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/38165
dc.date.accessioned	2024-09-30T22:31:01Z
dc.date.available	2024-09-30
dc.date.available	2024-09-30T22:31:01Z
dc.type	Trabalho de Conclusão de Curso	pt_BR
dc.subject	Modelos de Linguagem Grande (LLM)	pt_BR
dc.subject	Olimpíada Brasileira de Informática (OBI)	pt_BR
dc.subject	Lógica	pt_BR
dc.subject	Chat GPT 3.5	pt_BR
dc.subject	Le Chat Mistral	pt_BR
dc.subject	Problemas de Lógica	pt_BR
dc.subject	Resolução de Problemas	pt_BR
dc.subject	Large Language Models (LLM)	pt_BR
dc.subject	Brazilian Informatics Olympiad (OBI)	pt_BR
dc.subject	Logic	pt_BR
dc.subject	Logic Problems	pt_BR
dc.subject	Problem Solving	pt_BR
dc.rights	Acesso Aberto	pt_BR
dc.creator	SOUZA, João Vitor de Melo Cavalcante e.
dc.publisher	Universidade Federal de Campina Grande	pt_BR
dc.language	por	pt_BR
dc.title.alternative	Evaluating large language models on the solution of logic problems in the brazilian informatics olympiad.	pt_BR
dc.identifier.citation	SOUZA, João Vitor de Melo Cavalcante e. Avaliando modelos de linguagem grande na resolução de problemas de lógica da OBI. 2024. 10 f. Artigo (Bacharelado em Ciência da Computação) - Universidade Federal de Campina Grande, Centro de Engenharia Elétrica e Informática, Campina Grande, Paraíba, Brasil, 2024.	pt_BR