Please use this identifier to cite or link to this item:
https://dspace.sti.ufcg.edu.br/handle/riufcg/45532| Title: | Avaliando os avaliadores: quão eficientes são os sistemas de correção automática de redações? |
| Other Titles: | Evaluating the evaluators: how efficient are automated essay scoring systems? |
| ???metadata.dc.creator???: | MARTINS, Ronaldo Teixeira. SOUSA, Luan Daniel dos Santos. |
| Keywords: | Correção automática de redação;Avaliação automática de redação;Automação - correção de redações;Sistema de correção automática de redações;Correlação de Pearson;Software coRedação;Software CRIA - corretor de redações;Software Glau - corretor de redações;Exame Nacional do Ensino Médio - redação;Automatic essay correction;Automatic essay evaluation;Automation - essay correction;Automatic essay correction system;Pearson correlation;CRIA software - essay corrector;Glau software - essay corrector;National High School Exam - essay |
| Issue Date: | 24-Nov-2025 |
| Publisher: | Universidade Federal de Campina Grande |
| Citation: | MARTINS, Ronaldo Teixeira; SOUSA, Luan Daniel dos Santos. Avaliando os avaliadores: quão eficientes são os sistemas de correção automática de redações? Leia Escola: Revista da Pós-Graduação em Linguagem e Ensino da UFCG.Centro de Humanidades, Campina Grande-PB, v.25, n.2, 2025. ISSN: 2358-5870. Disponível em: https://dspace.sti.ufcg.edu.br/handle/riufcg/45532 |
| ???metadata.dc.description.resumo???: | Este artigo avalia a eficácia dos sistemas de correção automática de redações em português do Brasil, comparando suas avaliações com as de professores experientes. Foram analisados três sistemas disponíveis no mercado brasileiro: coRedação, CRIA e Glau, utilizando um corpus de 40 redações de alunos do ensino médio. Os resultados revelaram divergências significativas entre as avaliações dos sistemas e as dos avaliadores humanos, especialmente na avaliação geral das redações. Embora os sistemas mostrem alguma convergência na avaliação isolada das competências do ENEM, o desempenho global apresentou discrepâncias consideráveis. As análises estatísticas, incluindo correlação de Pearson, erro médio absoluto e diferença média quadrática, confirmaram a variabilidade no desempenho dos sistemas. A pesquisa destaca a necessidade de aprimoramentos nos sistemas de correção automática para que possam ser utilizados de forma mais eficaz como ferramentas de apoio ao ensino. |
| Abstract: | This article evaluates the effectiveness of automated essay scoring systems in Brazilian Portuguese, comparing their assessments with those of experienced teachers. Three systems available in the Brazilian market were analyzed: coRedação, CRIA, and Glau, using a corpus of 40 essays from high school students. The results revealed significant discrepancies between the systems' evaluations and those of human evaluators, especially in the overall assessment of the essays. Although the systems show some convergence in the isolated evaluation of ENEM competencies, the overall performance showed considerable differences. Statistical analyses, including Pearson correlation, mean absolute error, and mean squared error, confirmed the variability in the systems' performance. The research highlights the need for improvements in automated scoring systems to be used more effectively as teaching support tools. |
| Keywords: | Correção automática de redação Avaliação automática de redação Automação - correção de redações Sistema de correção automática de redações Correlação de Pearson Software coRedação Software CRIA - corretor de redações Software Glau - corretor de redações Exame Nacional do Ensino Médio - redação Automatic essay correction Automatic essay evaluation Automation - essay correction Automatic essay correction system Pearson correlation CRIA software - essay corrector Glau software - essay corrector National High School Exam - essay |
| ???metadata.dc.subject.cnpq???: | Linguística. Educação. |
| URI: | https://dspace.sti.ufcg.edu.br/handle/riufcg/45532 |
| ISSN: | 2358-5870 |
| Appears in Collections: | Revista Leia Escola - 2025, v.25 n° 2 |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| AVALIANDO OS AVALIADORES QUÃO EFICIENTES SÃO - REV. LEIA ESCOLA EDUFCG V.25 N.2 2025.pdf | Avaliando os avaliadores: quão eficientes são os sistemas de correção automática de redações? - Rev. Leia Escola EDUFCG V.25 N.2 2025 | 2.3 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.