PhD Thesis

Raising the abstraction level of a deep learning design on Field Programmable Gate Arrays

Fábio Dario Vieira Baptista — 2021

Key information

Authors:

Fábio Dario Vieira Baptista (Fábio Dario Vieira Baptista)

Supervisors:

Fernando Manuel rosmaninho Morgado Ferrão Dias; Leonel Augusto Pires Seabra de Sousa (Leonel Augusto Pires Seabra de Sousa)

Published in

February 10, 2021

Abstract

Os sistemas autónomos e inteligentes cativam continuamente a atenção de investigadores e de empresas relacionados com áreas e tecnologias de inteligência artificial, de aprendizagem automática e de aprendizagem profunda. O rápido avanço das aplicações baseadas em aprendizagem profunda apresenta novos desafios, tais como a precisão e a resposta em tempo real. Por outro lado, os avanços da tecnologia das Field Programmable Gate Arrays (FPGAs) e no design baseado em High-Level Synthesis (HLS) permitem desenvolvimentos em hardware mais rápidos e simples para sistemas complexos. Embora o HLS melhore a produtividade, automatizando o refinamento do nível de algorítmico para o nível de transferência de registo, uma significativa quantidade de tempo e ainda algum nível experiência na implementação de sistemas em hardware são requisitos necessários para implementar um sistema de aprendizagem profunda numa FPGA. Nesta Tese é proposto o aumento do nível de abstração no design de uma aprendizagem profunda parametrizável numa FPGA. A proposta desta Tese é o desenvolvimento de uma plataforma para emular uma aprendizagem profunda que permite especificar a topologia e ajustar a rede através de parametrização. Esta plataforma, desenvolvida em linguagem de programação C e sintetizada através da ferramentas de síntese de alto nível, permite configurar um sistema de aprendizagem profunda como um “lego” de camadas de convolução, max-pooling, normalização e completamente conectadas. Esta plataforma permite ao designer focar a sua atenção apenas na estrutura e topologia da rede, sem necessidade de ter conhecimento profundo do hardware subjacente. Resultados experimentais mostram que a plataforma desenvolvida apresenta bons níveis de desempenho e de eficiência. Autonomous and intelligent systems continuously attract researchers and companies' attention to areas and technologies related to artificial intelligence, machine learning, and deep learning. The fast progress in modern applications based on deep learning poses new challenges, such as accuracy and real-time response. On the other hand, advances in Field Programmable Gate Arrays (FPGAs) technology and design based on High-Level Synthesis (HLS) allow faster and easier implementations of complex systems on hardware. Although HLS improves the design productivity by automating the refinement from the algorithmic level to the register transfer level, a significant amount of time and still some level of hardware design expertise are required to implement deep learning on FPGAs. This Thesis proposes to increase the abstraction level to design parameterizable-based deep learning on FPGAs. It proposes a platform for emulating generic deep learning approaches, which allows to specify the topology and to tune the network through parameterization. Developed in C programming language and synthesized through HLS, this platform allows configuring a deep learning system as a “lego”, considering convolution, max-pooling, batch-normalization, and fully-connected layers. This approach allows the designer to focus on the deep learning approach without an in-depth understanding of the underlying hardware. Experimental results show that adequate levels of performance and efficiency are achieved with the proposed platform.

Publication details

Authors in the community:

Supervisors of this institution:

RENATES TID

101503954

Degree Name

Dotoramento em Engenharia Electrotécnica e de Computadores

Fields of Science and Technology (FOS)

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

  • Machine learning
  • Deep learning
  • Convolutional neural networks
  • Artificial neural networks
  • Hardware
  • Field-programmable gate arrays
  • Aprendizagem Automática
  • Aprendizagem Profunda
  • Redes Neuronais de Convolução
  • Redes Neuronais Artificiais
  • Circuitos
  • Field-Programmable Gate Array

Publication language (ISO code)

eng - English

Rights type:

Only metadata available

Institution name

Instituto Superior Técnico