1. Biblioteca Digital de Teses e Dissertações da UFCG
  2. Campus Campina Grande | Centro de Engenharia Elétrica e Informática - CEEI
  3. PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
  4. Mestrado em Ciência da Computação.
Please use this identifier to cite or link to this item: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/36228
Full metadata record
DC FieldValueLanguage
dc.creator.IDCUNHA, M. Q.pt_BR
dc.creator.Latteshttp://lattes.cnpq.br/6398825826705311pt_BR
dc.contributor.advisor1BAPTISTA, Cláudio de Souza.-
dc.contributor.advisor1IDBAPTISTA, C. S.pt_BR
dc.contributor.advisor1IDDE SOUZA BAPTISTA, CLÁUDIO.pt_BR
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/0104124422364023pt_BR
dc.contributor.referee1ARAÚJO, Joseana Macêdo Fechine Régis de.-
dc.contributor.referee1IDFECHINE, J. M.pt_BR
dc.contributor.referee1IDARAÚJO, J.M.F.R.pt_BR
dc.contributor.referee1IDARAÚJO, JOSEANA M. F. R.pt_BR
dc.contributor.referee1Latteshttp://lattes.cnpq.br/7179691582151907pt_BR
dc.contributor.referee2ALMEIDA, João Dallyson Sousa de.-
dc.contributor.referee2IDALMEIDA, J. D. S.pt_BR
dc.contributor.referee2IDSOUSA DE ALMEIDA, JOÃO DALLYSON.pt_BR
dc.contributor.referee2Latteshttp://lattes.cnpq.br/6047330108382641pt_BR
dc.contributor.referee3BARBOSA, Luciano de Andrade.-
dc.contributor.referee3IDBarbosa, L. A.pt_BR
dc.contributor.referee3Latteshttp://lattes.cnpq.br/7113249247656195pt_BR
dc.description.resumoA Ciência Jurídica destaca-se como um campo promissor para o Processamento de Linguagem Natural, contendo informações relevantes em diversos domínios que impactam a sociedade. O presente estudo concentra-se na identificação de publicações tributárias no Diário Oficial da União (DOU) por meio de uma abordagem de classificação de texto. Durante a análise do contexto tributário no DOU, evidenciou-se o desafio de lidar com o contexto desbalanceado, além da necessidade da criação de um conjunto de dados anotado focado no domínio tributário, tendo sido empregada uma estratégia de anotação automática de registros. A utilização de Modelos de Linguagem Grandes (do inglês, Large Language Models, ou LLMs), baseados em transformers, nos experimentos conduzidos destacou a eficácia dessa abordagem na classificação de dados tributários, mesmo diante dos desafios identificados. A partir dos resultados obtidos, observou-se que manter o desbalanceamento no conjunto de dados de treinamento implicou em melhores resultados para o cenário em questão. Além disso, os resultados também indicam que os LLMs com arquitetura encoder continuam sendo uma opção eficiente, proporcionando rapidez e compatibilidade com hardware de uso geral. Esses modelos mantêm sua eficácia, mesmo em meio à tendência de preferência por LLMs com arquitetura decoder com um número cada vez maior de parâmetros, especialmente em cenários com limitações de recurso de hardware.pt_BR
dc.publisher.countryBrasilpt_BR
dc.publisher.departmentCentro de Engenharia Elétrica e Informática - CEEI-
dc.publisher.programPÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃOpt_BR
dc.publisher.initialsUFCGpt_BR
dc.subject.cnpqCiência da Computaçãopt_BR
dc.titleUtilizando modelos de linguagem grandes para classificação de atos do diário oficial da união no domínio tributário.pt_BR
dc.date.issued2024-02-19-
dc.description.abstractThe Legal domain stands as a promising application field for Natural Language Processing. Official Journals contain exceptionally relevant information across various legal subdomains, with significant implications for both public and private sectors. This study used a text classification approach to identify tax-related publications within the Brazilian Official Journal. While analyzing the tax-related context, we addressed the challenge of highly imbalanced data. Our investigation culminated in the creation of an automatically annotated dataset. Using transformer-based Large Language Models (LLMs) in our experiments underscored their suitability for tax-related data classification within the Brazilian Official Journal. Also, our study generated evidence that inserting imbalance into the training set can lead to better results in highly imbalanced contexts. Findings from our study indicate that encoder LLMs remain an efficient choice, offering speed and compatibility with consumer-grade hardware. These models maintain effectiveness even as the prevailing trend leans towards large decoder LLMs.pt_BR
dc.identifier.urihttp://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/36228-
dc.date.accessioned2024-06-20T20:35:42Z-
dc.date.available2024-06-20-
dc.date.available2024-06-20T20:35:42Z-
dc.typeDissertaçãopt_BR
dc.subjectProcessamento de linguagem naturalpt_BR
dc.subjectClassificação de textopt_BR
dc.subjectModelos de linguagem grandespt_BR
dc.subjectDados desbalanceadospt_BR
dc.subjectDomínio jurídicopt_BR
dc.subjectDiários oficiaispt_BR
dc.subjectNatural language processingpt_BR
dc.subjectText classificationpt_BR
dc.subjectModels large languagept_BR
dc.subjectImbalanced datapt_BR
dc.subjectLegal domainpt_BR
dc.subjectOfficial diariespt_BR
dc.rightsAcesso Abertopt_BR
dc.creatorCUNHA, Mateus Queiroz.-
dc.publisherUniversidade Federal de Campina Grandept_BR
dc.languageporpt_BR
dc.title.alternativeUsing large language models for act classification of the official gazette of the union in the tax domain.pt_BR
dc.title.alternativeUso de grandes modelos de lenguaje para la clasificación de actos del boletín oficial de la unión en el ámbito fiscal.pt_BR
dc.identifier.citationCUNHA, Mateus Queiroz. Utilizando modelos de linguagem grandes para classificação de atos do Diário Oficial da União no domínio tributário. 2024. 165 fl. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2024. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/36228pt_BR
dc.description.resumenLas Ciencias Jurídicas destacan como un campo prometedor para el Procesamiento del Lenguaje Natural, que contiene información relevante en diversas áreas que impactan a la sociedad. Este estudio se centra en identificar publicaciones tributarias en el Diário Oficial Federal (DOU) a través de un enfoque de clasificación de textos. Durante el análisis del contexto tributario en el DOU, el desafío de abordar el contexto desequilibrado, además de la necesidad de crear un conjunto de datos anotados centrados en el dominio fiscal, utilizando una estrategia de anotación automática de registros. El uso de modelos de lenguaje grandes (o LLMs), basados ​​en transformadores, en los experimentos realizados resaltaron la efectividad de este enfoque para clasificar los datos tributarios, incluso frente a los desafíos identificados. De los resultados obtenidos se observó que mantener el desequilibrio en el conjunto de los datos de entrenamiento dio como resultado mejores resultados para el escenario en cuestión. Además Además, los resultados también indican que los LLM con arquitectura de codificador continúan siendo una opción eficiente que proporciona velocidad y compatibilidad con hardware de uso general. Estos modelos siguen siendo efectivos incluso en medio de la tendencia hacia la preferencia por los LLM. con arquitectura decodificadora con un número cada vez mayor de parámetros, especialmente en escenarios con limitaciones de recursos de hardware.pt_BR
Appears in Collections:Mestrado em Ciência da Computação.

Files in This Item:
File Description SizeFormat 
MATEUS QUEIROZ CUNHA - DISSERTAÇÃO (PPGCC) 2024.pdfMateus Queiroz Cunha - Dissertação (PPGCC) 20244.01 MBAdobe PDFView/Open
Show simple item record


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.