I framework di elaborazione streaming sono in grado di processare grandi volumi di dati in ingresso ed estrarre informazioni preziose quasi istantaneamente. element
A chi è rivolto questo corso
I destinatari principali di questo corso sono professionisti IT, tecnici applicativi, architetti, sviluppatori, amministratori e capi progetto che vogliono acquisire know how teorico e pratico sulla realizzazione di sistemi streaming.
Modalità d'insegnamento
Lezione interattiva in presenza, che alterna momenti di presentazione frontale (teoria) e sessioni di sviluppo individuale (pratica).
Programma del corso
Modulo 1: concetti generali su Apache Kafka
- Apache Kafka: introduzione e motivazioni
- Kafka, concetti base: commit logs, brokers, topics, partitions, etc.
- Producer e Consumer: concetti ed API di base
- Kafka architecture: internals, log files, replicas, durability, scalability, etc.
- Hands-on: esercizi e sviluppo (Java)
Modulo 2: specificità di Apache Kafka
- Kafka Brokers: installazione ed amministrazione del cluster, data retention, log compaction, performance tuning, etc.
- Producer e Consumer, concetti avanzati: retries, groups, acks, performance tuning, etc.
- Schema management: Apache Avro, Schema Registry, data evolution, etc.
- Exactly Once Semantics, teoria e pratica: delivery guarantees, idempotent writes, transactions, etc.
- Hands-on: esercizi e sviluppo (Java)
Stream Processing si riferisce all’elaborazione in tempo reale di “dati in movimento”: tramite questo insieme di tecnologie si realizzano pipeline di calcolo che eseguono computazione sui dati mentre essi vengono trasmessi e distribuiti ai sistemi che da questi dipendono. Tali dati vengono rappresentati come flussi continui provenienti da fonti eterogenee come ad esempio sensori elettronici, sensori virtuali, attività dell’utente su siti web, attività su social networks, movimentazioni finanziarie. I framework di elaborazione streaming sono in grado di processare grandi volumi di dati in ingresso ed estrarre informazioni preziose quasi istantaneamente.
