En el marco del Kafka Summit que Confluent está celebrando en Londres, la compañía de data streaming ha anunciado su nuevo lanzamiento, Confluent Cloud, un servicio gestionado para Apache Flink que permite procesar datos en tiempo real y crear flujos de datos reutilizables. La solución está disponible en Amazon Web Services (AWS) Google Cloud y Microsoft Azure.
El stream processing se ha convertido en un elemento fundamental para proporcionar información en tiempo real, ya que permite a las empresas actuar sobre los datos a medida que llegan, en lugar de esperar a procesarlos por lotes cuando los datos ya suelen estar obsoletos y desactualizados. Confluent Cloud para Apache Flink puede gestionar y procesar miles de millones de data points para obtener recomendaciones puntuales de películas, espectáculos y música; y proporcionar información actualizada sobre volúmenes de pedidos, menús populares y plazos de entrega de comida a domicilio. Por este motivo, compañías como Airbnb, Uber, Netflix y Stripe lo utilizan. En 2023 Flink se descargó casi un millón de veces.
Jay Kreps, CEO de Confluent, ha afirmado que “al utilizar Kafka y Flink juntos en una plataforma unificada, nuestros equipos podrán construir fácilmente data pipelines inteligentes que puedan extraer datos de varias fuentes, procesarlos en tiempo real y transmitirlos a nuestros consumidores finales para un análisis oportuno sin ningún problema operativo”.
Con Kafka y Flink juntos en una plataforma unificada, nuestros equipos podrán construir fácilmente data pipelines inteligentes que puedan extraer datos de varias fuentes, procesarlos en tiempo real y transmitirlos a nuestros consumidores
Jay Kreps, CEO de Confluent
Confluent Cloud para Apache Flink puede gestionar y procesar miles de millones de data points para obtener recomendaciones puntuales de películas, espectáculos y música
Sin embargo, aunque Flink y Apache Kafka se utilicen habitualmente juntos para el data processing en tiempo real, los formatos de datos diferentes y los esquemas incoherentes pueden causar problemas de integración y obstaculizar la calidad del data streaming para los sistemas y consumidores finales. Por eso, Stewart Bond, Vicepresidente de Investigación de Software de Integración e Inteligencia de Datos de IDC, ha resaltado la importancia de contar con “una plataforma gestionada y unificada con capacidades integradas de monitorización, seguridad y gobernanza”.
Desarrollo de IA más sencillo con Confluent Cloud
Confluent Cloud para Apache Flink permite a los usuarios crear streaming data pipelines para bases de datos vectoriales garantizando que las aplicaciones de IA Generativa tengan acceso a los datos en tiempo real. Para ello, Confluent se integra con los principales proveedores de bases de datos vectoriales, como Elastic, Pinecone, Rockset, SingleStore y Zilliz.
