Please use this identifier to cite or link to this item: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/629
Title: Melhorando o processamento de dados com Hadoop na nuvem através do uso transparente de instâncias oportunistas com qualidade de serviço.
???metadata.dc.creator???: NÓBREGA, Telles Mota Vidal.
???metadata.dc.contributor.advisor1???: BRITO, Andrey Elísio Monteiro.
Keywords: Computação na Nuvem;Processamento de Dados;Hadoop;Instâncias Oportunistas;Cloud Computing;Data Processing;Opportunistic Instances
Issue Date: 12-Aug-2016
Publisher: Universidade Federal de Campina Grande
Citation: NÓBREGA, T. M. V. Melhorando o processamento de dados com Hadoop na nuvem através do uso transparente de instâncias oportunistas com qualidade de serviço. 70 f. Dissertação (Mestrado em Ciência da computação) – Programa de Pós-Graduação em Ciência da computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2016.
???metadata.dc.description.resumo???: Nuvens computacionais oferecem para usuários a facilidade de aquisição de recursos por meio da internet de forma rápida, barata e segura. Entretanto, grande parte das nuvens se mantém ociosa devido à reserva de recursos. Visando a aumentar a utilização da nuvem, provedores de nuvem criaram um modelo de instâncias que reusam recursos ociosos, conhecidas como instâncias oportunistas. Essas instâncias são mais baratas que as instâncias de recursos dedicados, porém voláteis, podendo ser preemptadas do usuário a qualquer momento, o que as torna inadequadas para alguns tipos de aplicação. Processamento de dados, seguindo a tendência de outras aplicações, tem sido migrado para nuvem e pode ser beneficiado por instâncias oportunistas, devido à sua natureza tolerante à falha, resultando na criação de clusters a um custo menor comparado à instâncias com recursos dedicados.Este trabalho propõe a utilização dos recursos ociosos para a criação de um outro modelo de instâncias oportunistas. Esse modelo visa a criação de instâncias oportunistas com qualidade de serviço, que são instâncias criadas baseadas em uma predição do estado da nuvem. A predição é realizada a partir de dados históricos de utilização de recursos como CPU e memória RAM e assim diminuindo o risco de perder instâncias antes do fim do processamento. Ainda com a existência do preditor, o risco de perda de uma máquina existe e para esse caso propomos a utilização de migração viva, movendo a máquina virtual de servidor, evitando assim a destruição da mesma. Com nossa abordagem, utilizando apenas duas instâncias oportunistas durante os experimentos, obtivemos uma diminuição no tempo de processamento de dados de 10% em um cluster com 2 workers e 1 master. Além disso, ao utilizar a migração, temos uma melhora de aproximadamente 70% no tempo de processamento em comparação com os casos onde uma instância é perdida.
Abstract: Cloud computing offers the users the ease of resources acquisition through the Internet in a fast, cheap and safe manner. However, these clouds have a lot of idle resources due to resource reservation. Aiming to increase resources usage, cloud providers have created an instance model that uses these idle resources, known as opportunistic instances. These instances are cheaper than the dedicated resources instances, but are volatile and can be destroyed at any time, which makes them unsuitable for some types of application. Data processing, following the trend of other applications, have been migrated to the cloud and can be benefited by the use opportunistic instances, due to its fault tolerant nature, resulting in the creation of clusters at a lower cost compared to instances with dedicated resources. In this work, we propose the use of idle resources to create another model of opportunistic instances. This model aims to create opportunistic instances with quality of service, which are created instances based on a prediction of the state of the cloud. The prediction is made from historical data of resource usage such as CPU and RAM, thus reducing the risk of losing instances before the end of the processing. Even with the existence of a predictor, the risk of losing a machine still exists, and for this case we propose the use of live migration, moving the virtual machine to a different server, thus avoiding the its destruction. With our approach, using only two opportunistic instances during the experiments, we found a decrease in 10% in the data processing time in a cluster with 2 workers and 1 master. Furthermore, when using the migration, we have an improvement of approximately 70% in processing time compared with the case where one instance is lost.
Keywords: Computação na Nuvem
Processamento de Dados
Hadoop
Instâncias Oportunistas
Cloud Computing
Data Processing
Opportunistic Instances
???metadata.dc.subject.cnpq???: Ciência da computação
Ciências
URI: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/629
Appears in Collections:Mestrado em Ciência da Computação.

Files in This Item:
File Description SizeFormat 
TELLES MOTA VIDAL NÓBREGA – DISSERTAÇÃO (PPGEEI) 2016.pdf2.67 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.