Please use this identifier to cite or link to this item: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/573
Title: Um estudo do uso de testes de qualificação na plataforma Amazon Mechanical Turk.
???metadata.dc.creator???: SOUSA, Ianna Maria Sodré Ferreira de.
???metadata.dc.contributor.advisor1???: BRASILEIRO, Francisco Vilar.
Keywords: Crowdsourcing;Mercado de Microtarefas;Mturk
Issue Date: 19-Jul-2017
Publisher: Universidade Federal de Campina Grande
Citation: SOUSA, I. M. S. F. de. Um estudo do uso de testes de qualificação na plataforma Amazon Mechanical Turk. 2017. 122 f. Tese (Doutorado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2017. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/573
???metadata.dc.description.resumo???: Muitos sistemas de computação por humanos usam mercados de trabalho crowdsourcing para recrutar trabalhadores. No entanto, devido à natureza aberta desses mercados, garantir que os resultados produzidos pelos trabalhadores possuam uma qualidade suficientemente alta ainda é uma tarefa desafiadora, particularmente em mercados de microtarefas, onde a avaliação precisa ser feita de forma automática. A pré-seleção de trabalhadores adequa- dos é um mecanismo que pode melhorar a qualidade dos resultados obtidos. Isso pode ser feito considerando as informações do cadastro pessoal do trabalhador, o comportamento histórico do trabalhador no sistema ou o uso de testes de qualificação customizados. En- tretanto, pouco se sabe sobre como os solicitantes usam testes de qualificação na prática e se estes tem influência na qualidade dos resultados apresentados pelos trabalhadores. Este estudo visa avançar esse conhecimento. Por meio de análise de distribuições, classificação e agrupamento, as tarefas e os solicitantes foram caracterizados utilizando dados obtidos da plataforma Amazon Mechanical Turk em dois períodos de tempo distintos. Os resultados mostram que a maioria das tarefas (94% e 87%, para a coleta de dados1 e 2,respectivamente) usa algum teste de qualificação para a pré-seleção de trabalhadores e que o tipo e o número de testes de qualificação não são determinados pela classe da tarefa. Os solicitantes, em sua maioria, submetem tarefas com apenas um único teste de qualificação do tipo reputação, no entanto, os solicitantes mais ativos na plataforma usam, exclusivamente, teste de qualificação customizado. Para avaliar o impacto do uso de testes de qualificação customizados na qualidade dos resultados produzidos, foram realiza dos experimentos com três tipos diferentes de tarefas usando tanto trabalhadores qualificados (mestres ou trabalhadores pré-selecionados) como não qualificados. Os resultados mostram que a pontuação média alcançada pelos trabalhadores pré-selecionados foi sempre maior que a alcançada por trabalhadores que não foram pré-selecionados. Além disso, o desempenho de trabalhadores pré-selecionados foi muito próximo dos trabalhadores considerados mestres e, em alguns cenários, melhor, indicando assim, que é possível obter resultados mais acurados em plataformas de trabalho on-line de microtarefas quando se usa testes de qualificação.
Keywords: Crowdsourcing
Mercado de Microtarefas
Mturk
???metadata.dc.subject.cnpq???: Ciências
Ciência da Computação
URI: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/573
Appears in Collections:Doutorado em Ciência da Computação.

Files in This Item:
File Description SizeFormat 
IANNA MARIA SODRÉ FERREIRA DE SOUSA – TESE (PPGCC) 2017.pdfIanna Maria Sodré Ferreira de Sousa - Tese (PPGCC) 2017.2.04 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.