Ciao, e benvenuto nella prima puntata della quarantaduesima stagione di questo podcast. La scorsa stagione, parlando di Redis, abbiamo incontrato la coda di lavori: depositi un compito, un operaio lo prende, lo svolge, e il compito sparisce. Oggi conosciamo uno strumento che, a prima vista, sembra un cugino di quella coda, ma che è costruito su un'idea radicalmente diversa, un'idea che cambia tutto: Apache Kafka. Vale la pena conoscerlo bene, perché dietro le quinte fa funzionare una parte enorme del mondo dei dati moderno. E il suo segreto sta in una parola semplice: il registro.
Partiamo dal collocarlo, perché il paragone con la coda ci aiuta. Come la coda di Redis, anche Kafka serve a far viaggiare informazioni tra le parti di un sistema: qualcuno scrive qualcosa, qualcun altro lo legge. Fin qui, un cugino. Ma mentre la coda è come una cassetta della posta, dove ogni lettera viene presa una volta e poi sparisce, Kafka è costruito attorno a un'idea completamente diversa: un registro, un diario, su cui si scrive solo aggiungendo in fondo, e da cui non si cancella mai nulla. Non una cassetta che si svuota, ma un libro che si riempie e resta. Questa differenza, vedremo, apre un mondo intero.
Voglio spiegarti cos'è questo registro, perché è il cuore di tutto. Immagina il giornale di bordo di una nave, o il diario di un contabile: una sequenza di voci, in ordine di tempo, in cui puoi solo aggiungere una nuova riga in fondo. Non torni indietro a cancellare o correggere il passato: aggiungi, e basta. Kafka è, nella sua essenza, esattamente questo: un registro su cui si scrive solo in coda, ordinato, che conserva tutto ciò che è stato scritto. Tutta la sua potenza, tutte le sue capacità sorprendenti, nascono da questa struttura semplicissima: un elenco a cui si aggiunge in fondo, e che non dimentica.
Voglio dirti cosa si scrive, in questo registro, perché è la seconda idea chiave. Nel registro di Kafka non si scrivono messaggi qualsiasi: si scrivono eventi. Un evento è la registrazione di qualcosa che è accaduto: è stato piazzato un ordine, un utente ha cliccato un pulsante, un pagamento è andato a buon fine, un sensore ha misurato una temperatura. Ogni evento è un fatto, avvenuto in un certo momento, annotato nel registro nell'ordine in cui è successo. Kafka, quindi, non è tanto un trasportatore di messaggi, quanto un custode ordinato di ciò che accade: un registro degli eventi. E far scorrere flussi di eventi è, letteralmente, il suo mestiere.
Voglio darti fin d'ora la lente della stagione, perché tiene insieme tutto. La lente è questa: Kafka è il registro immutabile degli eventi. Immutabile, perché il passato non si cancella. Degli eventi, perché ciò che conserva sono fatti accaduti. E questo registro, vedremo, diventa qualcosa di sorprendente: il sistema nervoso dei dati di un'intera organizzazione, il luogo attraverso cui passa tutto ciò che accade, e da cui ogni parte del sistema attinge ciò che le serve. Da un'idea umile, un diario a cui si aggiunge in fondo, nasce un'infrastruttura che regge il flusso di dati di mezzo mondo.
Voglio anticiparti dove andremo, perché il viaggio segue il registro. Capiremo perché un registro immutabile sia così potente. Vedremo la differenza rivoluzionaria rispetto alla coda: che leggere non cancella, e quindi tanti possono leggere lo stesso registro, e si può persino rileggere il passato. Scopriremo il segnalibro che rende tutto questo possibile. Vedremo come Kafka si divide per crescere, e come si protegge per non perdere niente. E arriveremo all'idea più profonda: pensare per eventi, per storia, invece che solo per stato. Un passo alla volta, tenendo sempre al centro il registro.
Voglio chiudere con due note sull'origine, perché danno colore. Kafka è nato dentro una grande azienda tecnologica, una nota rete professionale, per gestire i suoi enormi flussi di dati, ed è poi stato reso aperto, affidato a una fondazione indipendente, dove vive ancora oggi come progetto libero. E il nome? È un omaggio a uno scrittore, scelto da uno dei suoi creatori: un sistema pensato per scrivere, che porta il nome di un grande della scrittura. Un dettaglio simpatico per uno strumento la cui essenza, come abbiamo visto, è proprio scrivere, in un registro che non si cancella.
Per oggi ci fermiamo qui. Abbiamo aperto la stagione su Apache Kafka, che a prima vista somiglia alla coda di Redis, ma è costruito su un'idea diversa: non una cassetta della posta che si svuota, ma un registro, un diario, su cui si scrive solo aggiungendo in fondo e da cui non si cancella mai. E ciò che si scrive sono eventi: fatti accaduti, annotati in ordine. La lente della stagione è il registro immutabile degli eventi, che diventerà il sistema nervoso dei dati di un'intera organizzazione. È nato in una grande azienda, poi reso aperto, e porta il nome di uno scrittore. Nella prossima puntata entriamo nel cuore dell'idea: il registro immutabile. Nelle note trovi qualche spunto. Se ti è utile, condividila. Grazie per l'ascolto, e ci sentiamo alla prossima.