Kafka Streams On k8s: The Difficulties

The abstract (in French 🇫🇷):

L’ Auto Scaling c’est l’argument phare d’un bon nombre de technologies en Data Engineering. Parmi les outils du moment, on retrouve Kafka-Streams. Avec sa forte intégration au bus de message Apache Kafka, il est pensé pour être un framework distribué capable de passer à l’échelle. Pourtant, dans la pratique, sa seule utilisation est limitée. L’orchestration de ces applications est généralement nécessaire. Kafka-Streams est un framework pensé pour scaler, alors que va-t-il manquer exactement ? Ce talk présente la conteneurisation, l’orchestration, et monitoring comme des éléments clefs qui permettront de profiter pleinement de la scalabilité de notre application de Steam Processing en automatisant son passage à l’échelle.

The slides:

The video (in French 🇫🇷):