Chaos gears client logotype

Data engineering - Webinar

Już 27 czerwca 2023 r. (wtorek) zapraszamy na webinar poświęcony data engineeringowi prowadzony przez naszego Solutions Architecta

Twoje zgłoszenie zostało przyjęte - szczegóły otrzymasz na maila.
Oops! Coś poszło nie tak...

Najlepsze praktyki wdrożeniowe dla projektów Data Engineering w AWS

Jak Infrastructure as Code, Semantic Versioning i CI/CD wspierają projekty inżynierii danych

kiedy? 27 czerwca 2023
Czas trwania: 11:00 - 12:15
Dla kogo? Data engineerów, data architektów, devopsów i wszystkich, którzy na co dzień zajmują się inżynierą danych

Środowiska chmurowe złożone głównie z aplikacji, baz danych oraz sieci już od wielu lat są wspierane przez rozwiązania Infrastructure as Code (IaC) i CI/CD. Zarządzanie zmianą, wdrażanie aplikacji lub infrastruktury, wykonywanie testów, budowa nowych wersji kontenerów - wszystkie te czynności można z łatwością wykonywać narzędziami IaC i CI/CD, tworząc przy tym doskonale zautomatyzowany i łatwo rozwijalny system.

Czy podobne praktyki możemy przenieść w ryzy inżynierii danych? Podczas webinaru zaprezentujemy szkic jednego z wdrażanych przez nas projektów data warehouse składającego się z technologii AWS Analytics takich jak Redshift, DMS czy MWAA oraz open sourcowego dbt.

Webinar - Najlepsze praktyki wdrożeniowe dla projektów Data Engineering w AWS

Jak IaC, Semantic Versioning i CI/CD wspierają projekty inżynierii danych

Agenda
  • IaC, CaC, semantic versioning, CI/CD - wprowadzenie
  • Przykład projektu data warehouse w AWS
  • Omówienie kluczowych komponentów projektu z naciskiem na wersjonowanie i wdrażanie z użyciem CI/CD
  • Sesja Q&A
Z webinaru dowiesz się...
  • Dlaczego IaC i CaC to fundament każdego chmurowego systemu?
  • Jakie korzyści niesie stosowanie semantic versioningu?
  • Jak wdrażać i zarządzać infrastrukturą AWS w projektach z inżynierii danych?
  • Skąd tak nagła popularność dbt w świecie data engineeringu?
  • Jak wersjonować i zarządzać DAG w Apache Airflow?
  • Które narzędzia wspierają zarządzanie schematami w Amazon Redshift?
Zapisz się na webinar i wygraj książkę 📚

Na uczestników webinaru poza solidną dawką wiedzy, czeka konkurs, w którym będzie można wygrać książkę Fundamentals of Data Engineering: Plan and Build Robust Data Systems z renomowanego wydawnictwa O’Reilly. Autorzy tej praktycznej książki skupiają się na fundamentach planowania i budowy projektów z zakresu inżynierii danych, a nie konkretnych technologiach. To obowiązkowa pozycja dla każdego inżyniera danych.

Schemat projektu opartego o data warehouse Redshift w AWSKsiążka Fundamentals of Data Engineering
Polegaj na wiedzy doświadczonych ekspertów

Prelegent webinaru

Chaos Gears - Solutions Architect
Linkedin icon

Tomasz Dudek

Absolwent Matematyki i Statystyki Politechniki Wrocławskiej. Architekt rozwiązań AWS. Certyfikowany specjalista w dziedzinie MLOps i Amazon SageMaker. AWS Machine Learning Hero oraz współorganizator AWS User Group Wrocław i AWS Community Day Warsaw.

Lata temu zaczynał karierę jako programista Java, ale zakochał się w chmurowym świecie inżynierii danych i uczenia maszynowego i pozostaje w nim do dziś. Uwielbia dostarczać proste rozwiązania trudnych problemów.

Schemat projektu data engineering w AWS
AWS Lake House Architecture
Poznaj usługi AWS, które sprawią, że Twoje projekty Data Engineering będą bardziej wydajne

Projekty inżynierii danych w AWS

Dzięki odpowiednim usługom i narzędziom AWS do inżynierii danych, stworzysz bezpieczne, skalowalne i efektywne kosztowo środowisko do przechowywania i analizowania danych.

Zespół naszych doświadczonych inżynierów pomoże Ci nie tylko błyskawicznie wdrożyć hurtownie danych czy data lake, zmigrować do nich Twoje dane, ale również odpowiednio je zabezpieczyć, skatalogować i wdrożyć monitoring ich jakości. W ten sposób zminimalizujesz ryzyko związane z wyciekami danych i wyeliminujesz potencjalne problemy wynikające z błędnie przetworzonych rekordów.

Odkryj nowe możliwości przetwarzania danych, bez nadwyrężania budżetu na infrastrukturę i czekania latami na jej wdrożenie.

Z rozwiązań AWS korzystają

KLER - logoPhysitrack - logoSamsung - logoNetflix - logoBrainly - logoAllianz - logo

Case studies

Te treści publikujemy w języku angielskim

Zobacz, jak inne firmy wykorzystują rozwiązania AWS do analizy danych.

BMW - Data Lake w AWS
Zobacz, jak migracja lokalnego data lake do chmury AWS pozwoliła BMW wykorzystać dane na dużą skalę

Grupa BMW od 2021 r. wprowadza innowacje oparte na danych wykorzystując AWS dla swojego Cloud Data Hub. BMW korzysta również z rozwiązań Amazon EMR, Amazon S3 i Amazon SageMaker Ground Truth w celu opracowania zautomatyzowanego systemu jazdy. Do stworzenia takiego systemu BMW wykorzystuje Autonomous Vehicle Data Lake w AWS, które umożliwia analizę, etykietowanie, katalogowanie i przekształcanie gigantycznej ilości danych.

Czytaj więcej →
Coca-Cola - AWS case study
Jak Coca-Cola utrzymuje przewagę konkurencyjną i zwiększa przychody, dzięki zbudowaniu Data Lake na AWS

Coca-Cola postanowiła zmigrować do chmury już w 2013 r., w 2021 r. firma zbudowała Data Lake na AWS, które miało przetwarzać gigantyczne ilości danych, tak aby firma mogła podejmować decyzje na podstawie rzetelnych danych. Dzięki rozwiązaniom AWS udało się zunifikować 95% danych z różnych obszarów biznesowych w jednym data lake i zwiększyć produktywność analityki danych aż o 80%. Teraz Coca-Cola bez obaw o wiarygodność danych może korzystać z dobrodziejstw uczenia maszynowego i AI.

Czytaj więcej →
Warner Bros. Games - AWS case study
Dowiedz się, jak Warner Bros. Games poprawia wrażenia graczy, dzięki rozwiązaniom AWS

Warner Bros. Games wykorzystuje dane do obsługi niemal każdego aspektu swojej działalności. Dzięki temu, że firma korzysta z rozwiązań AWS, jest w stanie szybko się skalować, więc nie musi się obawiać przestojów związanych z dużym ruchem np. w dniu premiery gier. Ponadto za pomocą Amazon Redshift firma z łatwością może wyszukiwać i analizować dane graczy. Modele uczenia maszynowego wdrożone na Amazon SageMaker pozwalają firmie stale ulepszać swoje produkty i jednocześnie zaoszczędzić czas na zarządzanie i analizowanie swoich danych.

Czytaj więcej →