Por favor, use este identificador para citar o enlazar este ítem: https://repositorio.unipampa.edu.br/jspui/handle/riu/9441
Tipo: Trabalho de Conclusão de Curso
Título : Arquitetura serverless: Economia e Automatização no Armazenamento e Processamento de Dados
Autor(es): Silva, George Bezerra da Rocha
Primeiro Orientador: Nunes, Gerson Alberto Leiria
1° Membro da banca: Nunes, Gerson Alberto Leiria
2° Membro da banca: Piovesan, Sandra Dutra
3° Membro da banca: Heinen, Milton Roberto
Resumo: O crescimento exponencial na geração de dados impulsionou a necessidade de arquiteturas eficientes de Datalake para armazenamento, processamento e análise de dados. Este trabalho de conclusão de curso, tem como objetivo, a criação de uma arquitetura de lakehouse estilo medallion baseada em eventos utilizando a Amazon Web Services (AWS) como provedor de nuvem pública. Uma arquitetura de Data Lake house com medallion foca principalmente em 3 divisões, que podem ser chamadas de gold, silver e bronze, onde cada etapa possui caractísticas que vão de fidelidade ao dado original até alta qualidade analítica de dados agregados. O objetivo principal deste trabalho foi criar uma arquitetura medallion baseada em eventos, de baixo custo. Com isso, ter melhor gerenciamento dos dados que serão utilizados para treinamento de modelos de inteligência artificial, criação de percepções para o negócio e auxiliar a tomada de decisões, assim guiando diretores onde se deve focar os recursos disponíveis, além de economizar no processamento e armazenamento dos dados. Esta pesquisa aplicada, realiza a comparação entre serviços e a análise dos custos dos serviços associados à uma arquitetura para processamento de pequenos conjuntos de dados de forma serverless. Conclui-se que a utilização de serviços serverless traz grandes benefícios em relação a automação e custo.
Resumen : The exponential growth in data generation has driven the need for efficient Datalake architectures for data storage, processing, and analysis. This final project aims to create a medallion-style lakehouse architecture based on events using Amazon Web Services (AWS) as the public cloud provider. A Data Lakehouse architecture with medallion focuses primarily on three divisions, which can be called gold, silver, and bronze, where each stage has characteristics ranging from fidelity to the original data to high analytical quality of aggregated data. The main objective of this work was to create a low-cost, event-based medallion architecture. With this, better management of the data to be used for training artificial intelligence models, generating business insights, and assisting decision-making, thus guiding directors on where to focus available resources, besides saving on data processing and storage. This applied research compares services and analyzes the costs associated with a serverless architecture for processing small data sets. It concludes that the use of serverless services brings significant benefits in terms of automation and cost.
Palabras clave : DataOps
Event based
Data Lake house
Medallion
AWS
Low cost
CNPQ: CNPQ::ENGENHARIAS
Idioma: por
metadata.dc.publisher.country: Brasil
Editorial : Universidade Federal do Pampa
Sigla da Instituição: UNIPAMPA
Campus: Campus Bagé
Citación : SILVA, George Bezerra da Rocha. Arquitetura serverless: Economia e Automatização no Armazenamento e Processamento de Dados.2024. 81f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Computação) – Universidade Federal do Pampa, Campus Bagé, Bagé, 2024.
Tipo de acesso: Acesso Aberto
URI : https://repositorio.unipampa.edu.br/jspui/handle/riu/9441
Fecha de publicación : 2-jul-2024
Aparece en las colecciones: Engenharia de Computação

Ficheros en este ítem:
Fichero Descripción Tamaño Formato  
GeorgeSilva_DataOps_TCCII_Aprovado.pdf1.93 MBAdobe PDFVisualizar/Abrir


Los ítems de DSpace están protegidos por copyright, con todos los derechos reservados, a menos que se indique lo contrario.