Banca de QUALIFICAÇÃO: RAMON AUGUSTO SOUSA LINS

Uma banca de QUALIFICAÇÃO de DOUTORADO foi cadastrada pelo programa.
DISCENTE : RAMON AUGUSTO SOUSA LINS
DATA : 12/12/2017
HORA: 09:00
LOCAL: Núcleo de Pesquisa e Inovação em Tecnologia da Informação - NPITI
TÍTULO:

Q-learning com aproximador Deep Learning Aplicado ao Problema dos k-Servos

PALAVRAS-CHAVES:

Problema dos k-Servos, Aprendizagem por Reforço, Q-Learning, Deep Learnig

PÁGINAS: 67
RESUMO:

O problema dos k-servos é talvez o problema mais influente da computação online cuja solução continua em aberto. Sua simplicidade conceitual contrasta com sua complexidade que cresce rapidamente com o aumento do número de nós e servos. Na tentativa de contornar este problema, propomos neste trabalho utilizar o algoritmo Q-learning em conjunto com Deep Learning. Precedente a este trabalho, o Q-learning foi utilizado na solução de pequenas instâncias e comparado com os principais algoritmos (Work function e Harmonic) na resolução de problemas onlines. Para grandes instâncias foi utilizada abordagem hierárquica, onde um número de nós e servos (constante) foram separados em clusters. A política local obtida em cada cluster foi utilizada na formação de uma política global, conseguindo abordar o problema para maiores instâncias. Ambos os métodos recaem no problema da maldição de dimensionalidade e um novo problema surge na abordagem hierárquica quando requisições acontecem em clusters distintos, gerando estados não visitados durante o treinamento. Este problema foi contornado usando a estratégia gulosa, deslocando-se o servo de menor distância à requisição. O objetivo do nosso trabalho é utilizar o Q-learning em conjunto com uma Deep Convolutional Neural Network para calcular a função de valor estado-ação Q em termos dos pesos sinápticos da rede. Essa abordagem elimina a necessidade de calcular a tabela Q que remete a todas as possibilidades. Com isso, esperamos que o problema da maldição da dimensionalidade seja reduzido viabilizando dimensionalidades até então intratáveis. Outro objetivo é utilizar esta capacidade de generalização no lugar do método guloso para solução hierárquica, na tentativa de inferir melhores deslocamentos dos servos em clusters distintos.

 

MEMBROS DA BANCA:
Presidente - 347628 - ADRIAO DUARTE DORIA NETO
Interno - 1837240 - MARCELO AUGUSTO COSTA FERNANDES
Interno - 1673543 - SAMUEL XAVIER DE SOUZA
Externo ao Programa - 350241 - JORGE DANTAS DE MELO
Externo à Instituição - FRANCISCO CHAGAS DE LIMA JUNIOR - UERN