Data Engineering on AWS

PDF

Prix : 2 390 €HT

Durée : 3 jours

Code de Référence : AWSDATA

Catalogue Amazon Web Services, Architecture AWS, SysOps, Développement

This comprehensive course provides a deep dive into data engineering practices and solutions on Amazon Web Services (AWS). Participants will learn how to design, build, optimize, and secure data engineering solutions by using AWS services. Topics range from foundational concepts to hands-on implementation of data lakes, data warehouses, and both batch and streaming data pipelines.

Objectifs de la formation

A l’issue de cette formation AWS, vous serez capable de :

  • Design and implement scalable data lakes and data warehouses on AWS
  • Build, optimize, and secure batch data processing pipelines
  • Develop and manage streaming data solutions
  • Apply best practices for data governance and security
  • Automate data engineering workflows by using AWS services
  • Implement access control and security measures for data solutions

Public

Cette formation s’adresse aux Data engineers, Solutions architects, DevOps engineers, IT professionals et Data analysts.

Prérequis

We recommend that attendees of this course have the following experience:

  • Basic understanding of AWS services
  • Familiarity with database concepts
  • Basic programming or scripting knowledge
  • Understanding of data processing fundamentals

Programme de la formation

Data Engineering Roles and Key Concepts

  • The role of a data engineer
  • Data discovery for a data analytics system
  • AWS services for data workflows
  • Continuous integration and continuous delivery
  • Networking considerations

Designing and Implementing Data Lakes

  • Data lake introduction
  • Data lake storage
  • Ingest data
  • Catalog data
  • Transform data
  • Serve data for consumption

Optimizing and Securing Data Lake Solutions

  • Optimizing performance
  • Security using Lake Formation
  • Setting permissions with Lake Formation
  • Security and governance
  • Troubleshooting

Data Warehouse Architecture and Design Principles

  • Introduction to data warehouses
  • Amazon Redshift overview
  • Ingesting data into Amazon Redshift
  • Processing data
  • Serving data for consumption

Performance Optimization Techniques for Data Warehouses

  • Monitoring and optimization options
  • Data optimization in Amazon Redshift
  • Query optimization in Amazon Redshift
  • Data orchestration

Security and Access Control for Data Warehouses

  • Authentication and access control in Amazon Redshift
  • Data security in Amazon Redshift

Designing Batch Data Pipelines

  • Introduction to batch data pipelines
    Designing a batch data pipeline
  • Ingesting batch data

Implementing Strategies for Batch Data Pipelines

  • Processing and transforming data
  • Transforming data formats
  • Integrating your data
  • Cataloging data
  • Serving data for consumption

Optimizing, Orchestrating, and Securing Batch Data Pipelines

  • Optimizing the batch data pipeline
  • Orchestrating the batch data pipeline
  • Securing the batch data pipeline

Streaming Data Architecture Patterns

  • Introduction to streaming data pipelines
  • Ingesting data from stream sources
  • Storing streaming data
  • Processing streaming data
  • Analyzing streaming data

Optimizing and Securing Streaming Solutions

  • Optimizing a streaming data solution
  • Securing a streaming data pipeline

Compliance and Cost Optimization

  • Compliance considerations
  • Cost optimization tools

Méthodes pédagogiques

Des exercices pratiques et des démonstrations vous permettront de mettre en pratique les notions théoriques présentées.

La dernière version du support de cours, en anglais, vous est transmise par voie dématérialisée. Les cours seront disponibles en ligne pendant 730 jours après leur activation et téléchargeables avec Bookshelf application. Pour y accéder, il est nécessaire de créer un compte eVantage sur evantage.gilmoreglobal.com.

Méthodes d’évaluation des acquis

Afin d’évaluer l’acquisition de vos connaissances et compétences, il vous sera envoyé un formulaire d’auto-évaluation, qui sera à compléter en amont et à l’issue de la formation.
Un certificat de réalisation de fin de formation est remis au stagiaire lui permettant de faire valoir le suivi de la formation.

Accompagnement

Vous avez un projet de migration dans le cloud AWS ? Vous souhaitez être accompagné ? KANOPEE peut vous aider et vous répondre à toutes vos questions sur toutes les différentes étapes. Contactez-nous !

Commandez une session de formation