Please use this identifier to cite or link to this item:
http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/38053| Title: | Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa. |
| Other Titles: | Detecting weaknesses using large language models: a comparative evaluation. |
| ???metadata.dc.creator???: | MAIA SOBRINHO, Kleber Reudo Filgueiras. |
| ???metadata.dc.contributor.advisor1???: | GHEYI, Rohit. |
| ???metadata.dc.contributor.referee1???: | MONGIOVI, Melina. |
| ???metadata.dc.contributor.referee2???: | BRASILEIRO, Francisco Vilar. |
| Keywords: | Modelos de Linguagem;ChatGPT 3.5;Gemini 1.0;Claude 3;Sonnet;Mistral Large;Código-fonte - Fraquezas;Language Models;Weaknesses;Source Code - Weaknesses |
| Issue Date: | 15-May-2024 |
| Publisher: | Universidade Federal de Campina Grande |
| Citation: | MAIA SOBRINHO, Kleber Reudo Filgueiras. Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa. 2024. 14 f. Artigo (Bacharelado em Ciência da Computação) - Universidade Federal de Campina Grande, Centro de Engenharia Elétrica e Informática, Campina Grande, Paraíba, Brasil, 2024. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/38053 |
| ???metadata.dc.description.resumo???: | A era digital exige software seguro. Fraquezas no código-fonte podem ter consequências graves, desde falhas de software até ataques cibernéticos. Modelos de Linguagem de Grande Porte (LLMs) como ChatGPT 3.5, Gemini 1.0, Claude 3 Sonnet e Mistral Large surgem como ferramentas promissoras para auxiliar na detecção de fraquezas em código-fonte. Este projeto avalia o desempenho de LLMs na detecção de 56 exemplos de fraquezas em código-fonte. Os resultados demonstram que as LLMs podem ser ferramentas importantes para programadores. Na nossa avaliação, as LLMs detectaram 75% das fraquezas de diferentes tipos como: SQL Injection, Cross-site Scripting, Out-of-bounds Write e Null Pointer Dereference. O Claude 3 Sonnet foi a LLM com o melhor resultado. |
| Abstract: | The digital age demands secure software. Weaknesses in source code can have serious consequences, ranging from software failures to cyberattacks. Large Language Models (LLMs) such as ChatGPT 3.5, Gemini 1.0, Claude 3 Sonnet, and Mistral Large emerge as promising tools to aid in the detection of weaknesses in source code. This project evaluates the performance of LLMs in detecting 56 examples of weaknesses in source code. The results demonstrate that LLMs can be important tools for programmers. In our evaluation, LLMs detected 75% of the weaknesses of different types such as: SQL Injection, Cross-site Scripting, Out-of-bounds Write, and Null Pointer Dereference. Claude 3 Sonnet was the LLM with the best result. |
| Keywords: | Modelos de Linguagem ChatGPT 3.5 Gemini 1.0 Claude 3 Sonnet Mistral Large Código-fonte - Fraquezas Language Models Weaknesses Source Code - Weaknesses |
| ???metadata.dc.subject.cnpq???: | Ciência da Computação |
| URI: | http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/38053 |
| Appears in Collections: | Trabalho de Conclusão de Curso - Artigo - Ciência da Computação |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| KLEBER REUDO FILGUEIRAS MAIA SOBRINHO-ARTIGO-CEEI-CIÊNCIA DA COMPUTAÇÃO (2024).pdf | 367.87 kB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.