Stagione 42: Apache Kafka
Apache Kafka, la piattaforma di flussi di eventi costruita su un'unica idea potente: il registro (log) ordinato, immutabile, su cui si scrive solo aggiungendo in fondo. Non una coda che si svuota, ma un diario di eventi che si legge senza consumare e si puo' rileggere. Da quel seme nasce tutto: produttori che scrivono e consumatori che leggono, ognuno col proprio segnalibro (offset) per essere indipendente e riavvolgere la storia; argomenti e partizioni per crescere oltre una singola macchina; un gruppo di macchine con copie replicate per essere durevole e affidabile. E soprattutto un modo diverso di pensare, dallo stato alla storia, che fa di Kafka il sistema nervoso dei dati di un'organizzazione, un hub centrale che sostituisce il groviglio dei collegamenti diretti. Con l'onestà sul suo peso: magnifico per i problemi grandi, sproporzionato per quelli piccoli. Nato in LinkedIn, oggi progetto aperto della fondazione Apache. Accanto a Redis, forma una coppia complementare: la memoria fugace e il registro durevole.
Episodi
10 episodi
Kafka in sintesi, e il potere del registro
Il ritratto unitario: una piattaforma di flussi di eventi costruita su un'unica idea, il registro ordinato e immutabile, da cui discende tutto: produttori e consumatori che leggono senza consumare, il segnalibro, le partizioni per crescere, le copie per non perdere niente, e il pensare per eventi che lo fa diventare il sistema nervoso dei dati...
Un motore grande per problemi grandi: quando (non) serve Kafka
Il rovescio onesto di Kafka non è uno scandalo, ma il suo peso: tutto ciò che lo rende potente lo rende anche complesso e impegnativo...
Il sistema nervoso dei dati: Kafka come hub centrale
Cosa diventa Kafka in grande: il sistema nervoso dei dati...
Pensare per eventi: dallo stato alla storia
L'idea più profonda della stagione: pensare per eventi, invece che solo per stato...
Non perdere niente: il gruppo di macchine, le copie, la durabilità
Al contrario di Redis, fugace per natura, Kafka nasce per essere durevole, un resoconto di cui fidarsi che sopravvive ai guasti...
Dividere per crescere: argomenti e partizioni
Come cresce un registro fino a reggere miliardi di eventi? Con due idee...
Il segnalibro: l'offset, e la libertà di rileggere la storia
Come fanno tanti lettori a condividere lo stesso registro intatto? Con il segnalibro: ogni consumatore tiene il segno di fino a dove è arrivato...
Chi scrive e chi legge: produttori, consumatori, e la rivoluzione silenziosa
Attorno al registro ci sono produttori (che scrivono eventi) e consumatori (che li leggono)...
Il diario che non si cancella: il registro immutabile
Il cuore di Kafka: il registro...
Cos'è Kafka, e l'idea del registro degli eventi
Apache Kafka a prima vista somiglia alla coda di Redis, ma è costruito su un'idea diversa: non una cassetta della posta che si svuota, ma un registro, un diario, su cui si scrive solo aggiungendo in fondo e da cui non si cancella mai...