
#62: Kafka und Datenströme erklärt – und wie das jetzt auch in R läuft
Data Science Deep Dive
19.12.2024
21 min
Beschreibung
Kafka, aber in R? Das geht jetzt! In dieser Folge klären wir, warum Kafka für schnelle Datenströme unverzichtbar ist und warum unser neuer R-Kafka-Client ein Gamechanger ist. Was ist Kafka, wofür braucht man es (oder auch nicht), und wie funktioniert unser Paket? Hört rein und probiert es aus!
Zusammenfassung
- Apache Kafka als schnelles, ausfallsicheres System für Event-Streaming und Datenströme
- Einsatzbereiche: Überall wo Daten fortlaufend und in Echtzeit verarbeitet werden
- Unser R Kafka Client ermöglicht nun die direkte Nutzung von Kafka in R, ohne Umweg über Python
- Features: Consumer/Producer-Modelle, asynchrone Datenverarbeitung, hohe Performance und Ausfallsicherheit
- Ausblick: Veröffentlichung auf CRAN, Admin-Client für Cluster-Management, Blogartikel mit Beispiel (siehe unten in den Links)
Links
- Apache Kafka https://kafka.apache.org/
- Confluent https://www.confluent.io/
- Rcpp (CRAN) https://cran.r-project.org/web/packages/Rcpp/index.html
- reticulate (CRAN) https://cran.r-project.org/web/packages/reticulate/index.html
- R Paket kafka auf GitHub https://github.com/INWTlab/r-kafka
- Blogartikel zum R Paket kafka https://www.inwt-statistics.de/blog/r-paket-kafka
- nats https://nats.io/
- Azure EventHub https://azure.microsoft.com/de-de/products/event-hubs
- Redpanda https://www.redpanda.com/
- Fragen, Feedback und Themenwünsche gern an podcast@inwt-statistics.de