Stagione 42: Apache Kafka

Apache Kafka, la piattaforma di flussi di eventi costruita su un'unica idea potente: il registro (log) ordinato, immutabile, su cui si scrive solo aggiungendo in fondo. Non una coda che si svuota, ma un diario di eventi che si legge senza consumare e si puo' rileggere. Da quel seme nasce tutto: produttori che scrivono e consumatori che leggono, ognuno col proprio segnalibro (offset) per essere indipendente e riavvolgere la storia; argomenti e partizioni per crescere oltre una singola macchina; un gruppo di macchine con copie replicate per essere durevole e affidabile. E soprattutto un modo diverso di pensare, dallo stato alla storia, che fa di Kafka il sistema nervoso dei dati di un'organizzazione, un hub centrale che sostituisce il groviglio dei collegamenti diretti. Con l'onestà sul suo peso: magnifico per i problemi grandi, sproporzionato per quelli piccoli. Nato in LinkedIn, oggi progetto aperto della fondazione Apache. Accanto a Redis, forma una coppia complementare: la memoria fugace e il registro durevole.

Episodi

10 episodi
EP 0010
Kafka in sintesi, e il potere del registro

Kafka in sintesi, e il potere del registro

Il ritratto unitario: una piattaforma di flussi di eventi costruita su un'unica idea, il registro ordinato e immutabile, da cui discende tutto: produttori e consumatori che leggono senza consumare, il segnalibro, le partizioni per crescere, le copie per non perdere niente, e il pensare per eventi che lo fa diventare il sistema nervoso dei dati...

5 min
EP 009
Un motore grande per problemi grandi: quando (non) serve Kafka

Un motore grande per problemi grandi: quando (non) serve Kafka

Il rovescio onesto di Kafka non è uno scandalo, ma il suo peso: tutto ciò che lo rende potente lo rende anche complesso e impegnativo...

4 min
EP 008
Il sistema nervoso dei dati: Kafka come hub centrale

Il sistema nervoso dei dati: Kafka come hub centrale

Cosa diventa Kafka in grande: il sistema nervoso dei dati...

5 min
EP 007
Pensare per eventi: dallo stato alla storia

Pensare per eventi: dallo stato alla storia

L'idea più profonda della stagione: pensare per eventi, invece che solo per stato...

5 min
EP 006
Non perdere niente: il gruppo di macchine, le copie, la durabilità

Non perdere niente: il gruppo di macchine, le copie, la durabilità

Al contrario di Redis, fugace per natura, Kafka nasce per essere durevole, un resoconto di cui fidarsi che sopravvive ai guasti...

5 min
EP 005
Dividere per crescere: argomenti e partizioni

Dividere per crescere: argomenti e partizioni

Come cresce un registro fino a reggere miliardi di eventi? Con due idee...

5 min
EP 004
Il segnalibro: l'offset, e la libertà di rileggere la storia

Il segnalibro: l'offset, e la libertà di rileggere la storia

Come fanno tanti lettori a condividere lo stesso registro intatto? Con il segnalibro: ogni consumatore tiene il segno di fino a dove è arrivato...

5 min
EP 003
Chi scrive e chi legge: produttori, consumatori, e la rivoluzione silenziosa

Chi scrive e chi legge: produttori, consumatori, e la rivoluzione silenziosa

Attorno al registro ci sono produttori (che scrivono eventi) e consumatori (che li leggono)...

4 min
EP 002
Il diario che non si cancella: il registro immutabile

Il diario che non si cancella: il registro immutabile

Il cuore di Kafka: il registro...

5 min
EP 001
Cos'è Kafka, e l'idea del registro degli eventi

Cos'è Kafka, e l'idea del registro degli eventi

Apache Kafka a prima vista somiglia alla coda di Redis, ma è costruito su un'idea diversa: non una cassetta della posta che si svuota, ma un registro, un diario, su cui si scrive solo aggiungendo in fondo e da cui non si cancella mai...

4 min