Um estudo do uso de testes de qualiﬁcação na plataforma Amazon Mechanical Turk.

Página inicial
→
Campus Campina Grande | Centro de Engenharia Elétrica e Informática - CEEI
→
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
→
Doutorado em Ciência da Computação.
→
Ver item

dc.creator.ID	SOUSA, Ianna M. S. F.	pt_BR
dc.creator.Lattes	http://lattes.cnpq.br/8545006395210271	pt_BR
dc.contributor.advisor1	BRASILEIRO, Francisco Vilar.
dc.contributor.advisor1ID	BRASILEIRO, F.	pt_BR
dc.contributor.advisor1Lattes	http://lattes.cnpq.br/5957855817378897	pt_BR
dc.description.resumo	Muitos sistemas de computação por humanos usam mercados de trabalho crowdsourcing para recrutar trabalhadores. No entanto, devido à natureza aberta desses mercados, garantir que os resultados produzidos pelos trabalhadores possuam uma qualidade suﬁcientemente alta ainda é uma tarefa desaﬁadora, particularmente em mercados de microtarefas, onde a avaliação precisa ser feita de forma automática. A pré-seleção de trabalhadores adequa- dos é um mecanismo que pode melhorar a qualidade dos resultados obtidos. Isso pode ser feito considerando as informações do cadastro pessoal do trabalhador, o comportamento histórico do trabalhador no sistema ou o uso de testes de qualiﬁcação customizados. En- tretanto, pouco se sabe sobre como os solicitantes usam testes de qualiﬁcação na prática e se estes tem inﬂuência na qualidade dos resultados apresentados pelos trabalhadores. Este estudo visa avançar esse conhecimento. Por meio de análise de distribuições, classiﬁcação e agrupamento, as tarefas e os solicitantes foram caracterizados utilizando dados obtidos da plataforma Amazon Mechanical Turk em dois períodos de tempo distintos. Os resultados mostram que a maioria das tarefas (94% e 87%, para a coleta de dados1 e 2,respectivamente) usa algum teste de qualiﬁcação para a pré-seleção de trabalhadores e que o tipo e o número de testes de qualiﬁcação não são determinados pela classe da tarefa. Os solicitantes, em sua maioria, submetem tarefas com apenas um único teste de qualiﬁcação do tipo reputação, no entanto, os solicitantes mais ativos na plataforma usam, exclusivamente, teste de qualiﬁcação customizado. Para avaliar o impacto do uso de testes de qualiﬁcação customizados na qualidade dos resultados produzidos, foram realiza dos experimentos com três tipos diferentes de tarefas usando tanto trabalhadores qualiﬁcados (mestres ou trabalhadores pré-selecionados) como não qualiﬁcados. Os resultados mostram que a pontuação média alcançada pelos trabalhadores pré-selecionados foi sempre maior que a alcançada por trabalhadores que não foram pré-selecionados. Além disso, o desempenho de trabalhadores pré-selecionados foi muito próximo dos trabalhadores considerados mestres e, em alguns cenários, melhor, indicando assim, que é possível obter resultados mais acurados em plataformas de trabalho on-line de microtarefas quando se usa testes de qualiﬁcação.	pt_BR
dc.publisher.country	Brasil	pt_BR
dc.publisher.department	Centro de Engenharia Elétrica e Informática - CEEI	pt_BR
dc.publisher.program	PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO	pt_BR
dc.publisher.initials	UFCG	pt_BR
dc.subject.cnpq	Ciências	pt_BR
dc.subject.cnpq	Ciência da Computação	pt_BR
dc.title	Um estudo do uso de testes de qualiﬁcação na plataforma Amazon Mechanical Turk.	pt_BR
dc.date.issued	2017-07-19
dc.identifier.uri	http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/573
dc.date.accessioned	2018-05-03T21:05:40Z
dc.date.available	2018-05-03
dc.date.available	2018-05-03T21:05:40Z
dc.type	Tese	pt_BR
dc.subject	Crowdsourcing	pt_BR
dc.subject	Mercado de Microtarefas	pt_BR
dc.subject	Mturk	pt_BR
dc.rights	Acesso Aberto	pt_BR
dc.creator	SOUSA, Ianna Maria Sodré Ferreira de.
dc.publisher	Universidade Federal de Campina Grande	pt_BR
dc.language	por	pt_BR
dc.identifier.citation	SOUSA, I. M. S. F. de. Um estudo do uso de testes de qualiﬁcação na plataforma Amazon Mechanical Turk. 2017. 122 f. Tese (Doutorado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2017. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/573	pt_BR