Please use this identifier to cite or link to this item:
http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/25035
Title: | Poda estruturada de redes neurais convolucionais e a hipótese do bilhete de loteria. |
???metadata.dc.creator???: | MAGALHÃES, Whendell Feijó. |
???metadata.dc.contributor.advisor1???: | GOMES, Herman Martins. |
???metadata.dc.contributor.advisor2???: | MARINHO, Leandro Balby. |
???metadata.dc.contributor.referee1???: | PEREIRA, Eanes Torres. |
???metadata.dc.contributor.referee2???: | VELOSO, Adriano Alonso. |
Keywords: | Aprendizagem profunda;Compressão de redes neurais convolucionais;Poda estruturada;Explicabilidade de redes neurais;Ciência da computação;Deep learning;Compression of convolutional neural networks;Structured pruning;Explainability of neural networks;Computer science |
Issue Date: | 16-Dec-2021 |
Publisher: | Universidade Federal de Campina Grande |
Citation: | MAGALHÃES, Whendell Feijó. Poda estruturada de redes neurais convolucionais e a hipótese do bilhete de loteria. 77 f. Dissertação (Mestrado em Ciência da Computação) – Programa Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2021. |
???metadata.dc.description.resumo???: | A Hipótese do Bilhete de Loteria formula que é possível encontrar sub-redes(bilhetes vencedores) que apresentam acurácia igual ou superior à rede não podada e alta capacidade de generalização, quando obtida a partir de uma rede neural super-parametrizada. Uma etapa do algoritmo que implementa a hipótese requer o rebobinamento dos pesos da rede podada para seus valores iniciais,normalmente valores aleatórios.Variações mais recentes dessa etapa podem envolver (i) redefinir os pesos para os valores que eles tinham em uma época inicial do treinamento da rede não podada (rebobinamento dos pesos), ou (ii) manter os pesos finais do treinamento e redefinir apenas a taxa de aprendizado (rebobinamento da taxa de aprendizagem). Apesar de algumas pesquisas terem investigado as variações acima,a maioria em poda não estruturada (poda de pesos), não há,com base na revisão bibliográfica desta pesquisa, avaliações existentes focadas em poda estruturada (poda de neurônios ou filtros) para as variantes de poda local e global. Além disso, as pesquisas relacionadas à hipótese do bilhete de loteria utilizam somente a magnitude dos pesos como critério de seleção dos elementos a serem podados. Neste contexto, esta pesquisa apresenta novas evidências empíricas de que é possível obter bilhetes vencedores ao realizar a poda estruturada de redes neurais convolucionais e propõe a utilização de um critério de poda baseado na técnica de explicabilidade DeepLIFT como alternativa à magnitude dos pesos. Para isso,configurou-se um experimento utilizando a rede VGG16 treinada nos conjuntos de dados CIFAR-10 e CIFAR-100 e comparou-se com redes(podadas em diferentes níveis de compressão) obtidas pelos métodos de rebobinamento dos pesos e rebobinamento da taxa de aprendizagem, nos contextos de poda local (orientada à camada) e poda global (independente da camada). Usou-se a rede não podada como base para as comparações e também comparou-se as redes podadas resultantes com suas versões treinadas com pesos inicializados aleatoriamente. Além disso,ainda avaliou-se o impacto da substituição da magnitude dos pesos pelo método DeepLIFT em redes podadas de forma global com a abordagem de rebobinamento da taxa de aprendizagem. De modo geral, ao utilizar a poda global, o rebobinamento dos pesos produziu alguns bilhetes vencedores (limitados a baixos níveis de poda) e com desempenho igual ou pior em comparação com a inicialização aleatória. O rebobinamento da taxa de aprendizagem, ao utilizar a poda global,produziu os melhores resultados dentre as abordagens de rebobinamento, uma vez que encontrou bilhetes vencedores em diferentes níveis de poda, inclusive para níveis mais agressivos. Além disso, as redes podadas usando o método DeepLIFT como critério de poda, ao final das iterações de poda, apresentaram acurácia média maior que as redes podadas usando a magnitude dos pesos,além de maior estabilidade e tolerância a níveis de poda mais agressivos. Por fim, foi possível verificar uma redução significativa no tempo de inferência (speedup de 5 em batches de tamanho 1 e de 4 em batches de tamanho 128) das redes podadas quando executadas em CPU, produzindo assim redes mais adequadas à execução em dispositivos com poucos recursos computacionais. |
Abstract: | The Lottery Ticket Hypothesis formulates that it is possible to find subnetworks (winning tickets) that present accuracy equal to or greater than the unpruned network and high generalization capacity, when obtained from a super-parameterized neural network. An algorithm step that implements the hypothesis requires rewinding the weights of the pruned network to their initial values, usually random values. More recent variations of this step may involve (i) resetting the weights to the values they had at an earlier time of training. of the unpruned network (weight rewind), or (ii) keep the final training weights and reset only the learning rate (rewind the training rate). Although some researches have investigated the above variations, mostly in unstructured pruning (weight pruning), there are not, based on the literature review of this research, existing evaluations focused on structured pruning (neuron pruning or filters) for the variants of local and global pruning. Furthermore, research related to the lottery ticket hypothesis uses only the magnitude of the weights as a criterion for selecting the elements to be pruned. In this context, this research presents new empirical evidence that it is possible to obtain winning tickets when performing structured pruning of networks. convolutional neural networks and proposes the use of a pruning criterion based on the DeepLIFT explainability as an alternative to the magnitude of weights. For this, an experiment was set up using the VGG16 network trained on the CIFAR-10 and CIFAR-100 and compared with networks (pruned at different compression levels) obtained by weight rewinding and learning rate rewinding methods, in the contexts of local pruning (layer-oriented) and global pruning (layer-independent). The unpruned net was used as a basis for the comparisons and the resulting pruned nets were also compared with their trained versions with randomly initialized weights. In addition, the impact of replacing the magnitude of the weights by the DeepLIFT method on globally pruned networks with the learning rate rewind approach was also evaluated. In general, when using global pruning, rewinding the weights produced some winning tickets (limited to low pruning levels) and with equal or worse performance compared to random initialization. Learning rate rewinding, using global pruning, produced the best results among rewinding approaches, as it found winning tickets at different pruning levels, including more aggressive levels. In addition, the nets pruned using the DeepLIFT method as pruning criterion, at the end of the pruning iterations, showed a higher average accuracy than the nets pruned using the magnitude of the weights, in addition to greater stability and tolerance to more aggressive pruning levels. Finally, it was possible to verify a significant reduction in the inference time (speedup of 5 in batches of size 1 and of 4 in batches of size 128) of the pruned networks when executed in CPU, thus producing networks more suitable for execution. on devices with few computing resources. |
Keywords: | Aprendizagem profunda Compressão de redes neurais convolucionais Poda estruturada Explicabilidade de redes neurais Ciência da computação Deep learning Compression of convolutional neural networks Structured pruning Explainability of neural networks Computer science |
???metadata.dc.subject.cnpq???: | Ciência da computação |
URI: | http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/25035 |
Appears in Collections: | Mestrado em Ciência da Computação. |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
WHENDELL FEIJÓ MAGALHÃES – DISSERTAÇÃO (PPGCC) 2021.pdf | 1.33 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.