IBM Research publica información sobre detección de anomalías en tiempo real en Confluent Flink SQL; Sin puntos de referencia de precisión

Los equipos de datos que ejecutan Apache Flink ahora pueden llamar a los modelos de series temporales Granite de IBM desde SQL para predecir la transmisión de datos y señalar anomalías sin entrenar un modelo ni aprovisionar GPU, pero ninguna de las versiones está lista para producción. Una publicación de IBM Research en Hugging Face con fecha del 18 de noviembre describe los modelos que se ejecutan como funciones integradas tanto en Confluent Cloud para Apache Flink como en Confluent Platform para Apache Flink, la versión que los clientes ejecutan en su propia infraestructura.

La advertencia se encuentra en la propia documentación de Confluent. Confluent Cloud etiqueta AI_FORECAST como una función del programa de acceso temprano destinada a evaluación y pruebas que no son de producción sin soporte ni compromiso de nivel de servicio, y AI_DETECT_ANOMALIES lleva la misma etiqueta de acceso temprano. La versión local aparece como Open Preview en las notas de la versión de Confluent del 4 de noviembre y la documentación de configuración advierte que sus interfaces pueden cambiar. Los ingenieros que necesitan respuestas ahora deben tratar las funciones como algo que debe probarse con sus propios datos, no algo que debe conectarse a alertas que desencadenan acciones.

Los indicadores de anomalía provienen de bandas de pronóstico con un 99 % de confianza de forma predeterminada

AI_DETECT_ANOMALIES no es un detector independiente. Según la documentación de Confluent Cloud, un modelo fundamental predice cada serie a partir de su historia reciente y produce rangos de predicción, y la característica marca una lectura que cae por debajo del límite inferior o por encima del límite superior. La configuración de confianza está predeterminada en 99%; configúrelo en 80% para marcar valores fuera del rango del percentil 10 al 90. Las configuraciones separadas le permiten establecer diferentes límites superior e inferior.

Otras dos configuraciones predeterminadas dan forma al comportamiento. La función deja sus resultados en blanco hasta que haya visto 20 puntos, luego retiene hasta 512 valores recientes, un límite que varía según el modelo. Confluent también recomienda marcas de tiempo espaciadas para obtener mejores resultados. Para cada lectura, el resultado incluye el pronóstico del modelo, ambos límites, un indicador de anomalía y un número de error cuadrático medio.

El diseño está al lado de un enfoque más antiguo. La función incorporada anterior de Confluent, ML_DETECT_ANOMALIES, se basa en ARIMA, el método estadístico de promedio móvil integrado autorregresivo, que ajusta un modelo a cada serie. En cambio, las funciones de Granit utilizan modelos de «disparo cero» previamente entrenados que predicen series que nunca han visto durante el entrenamiento. La compensación es la pregunta abierta más importante de la comunicación: no hay necesidad de adaptación por serie, pero la calidad de las alertas ahora depende de qué tan bien las bandas de un modelo previamente entrenado coinciden con los datos de un cliente. En las páginas revisadas, la documentación los llama intervalos de predicción de límites, pero no explica su cálculo.

Tres modelos de granito ofrecen horizontes de pronóstico y límites contextuales muy diferentes

Los materiales de Confluent enumeran tres modelos de granito seleccionables: TTM, FlowState y PatchTST-FM. TTM, abreviatura de Tiny Time Mixers, es el valor predeterminado. El artículo NeurIPS 2024 de IBM Research describe TTM como un modelo compacto a partir de 1 millón de parámetros que puede ejecutarse en máquinas que solo utilizan CPU. En AI_FORECAST, los pronósticos TTM admiten hasta 96 pasos adelante de 52 a 512 valores históricos. PatchTST-FM admite hasta 8176 pasos hacia adelante de 16 a 8064 valores, y FlowState necesita un horizonte superior a seis, según la documentación AI_FORECAST de Confluent.

FlowState toma una ruta diferente. La documentación de series de tiempo Granite de IBM lo describe como combinar un codificador de espacio de estado con un decodificador de base funcional, lo que le permite entrenar en una escala de tiempo y pronosticar en otra.

PatchTST-FM tiene la afirmación de referencia más sólida, con una salvedad. IBM lanzó PatchTST-FM-r2 el 9 de septiembre con alrededor de 385 millones de parámetros e informó que ocupó el segundo lugar entre los modelos replicables de disparo cero en el punto de referencia GIFT-Eval del 8 de septiembre, justo detrás del TimesFM-3 de Google Research. Estos son los propios resultados de IBM, y los creadores del punto de referencia reconocen una filtración parcial de datos en los datos previos al entrenamiento de TimesFM, Chronos y Moirai, un recordatorio de que las clasificaciones de las tablas de clasificación no garantizan resultados en los datos de un cliente. Las páginas de Confluent han revisado el nombre PatchTST-FM sin un número de revisión, por lo que los lectores no deben asumir que la clasificación r2 describe el modelo que sirve Confluent.

IBM Post no informa puntos de referencia de precisión ni resultados de clientes

La publicación de IBM revisa seis escenarios, incluida la detección de fraude en pagos con tarjeta, y los presenta como ejemplos de lo que las organizaciones pueden construir. No informa puntos de referencia de precisión o latencia, no nombra implementaciones de clientes y etiqueta dos números como datos simulados. IBM también advierte que la búsqueda de similitudes por sí sola «no establece una causa raíz».

Una investigación independiente aboga por comprobar antes de confiar. Un documento del taller ICLR de 2025 realizado por William Toner y sus colegas probó modelos básicos de series temporales de disparo cero bien conocidos en datos de la nube y descubrió que muchos producían pronósticos deficientes y superaban consistentemente las líneas de base lineales simples. Una preimpresión de 2025 dirigida por Nouha Karaouli de la Univ. Rennes, CNRS e Inria descubrieron que la capacidad de disparo cero de un modelo básico de series temporales está vinculada a los dominios en los que fue entrenado previamente. En el lado de las anomalías, Qinghua Liu y John Paparrizos del estado de Ohio argumentaron en NeurIPS 2024 que el campo ha estado plagado durante mucho tiempo de conjuntos de datos de referencia defectuosos y medidas de evaluación sesgadas.

La detección de fraude muestra por qué es importante el esfuerzo. La presentación de IBM dice que los pagos con tarjeta marcados se introducen en los sistemas de fraude existentes como una entrada adicional. Para los bancos, los reguladores estadounidenses emitieron la SR 26-2 el 17 de abril de 2026, reemplazando la guía de riesgo del modelo SR 11-7 de larga data. Consultancy Elevate informa que los modelos de detección de fraude estadísticos y de aprendizaje automático generalmente permanecen dentro del rango y que la guía de riesgos de terceros entre agencias todavía se aplica a la IA proporcionada por los proveedores. El escritor de Cloudnews.tech, David Carrero, escribió el 3 de septiembre que una alerta falsa es una molestia, pero las acciones automatizadas como el bloqueo de pagos requieren controles significativamente más estrictos.

Los servidores modelo locales utilizan HTTP simple y no utilizan autenticación

En la configuración local, cada modelo se ejecuta en su propio servidor de modelo basado en Kubernetes y un administrador establece la URL de cada servidor en los valores predeterminados del entorno de Confluent Manager para Apache Flink. La documentación de Confluent dice que los servidores no tienen autenticación y usan HTTP simple, y recomienda restringir el acceso con una política de red de Kubernetes. De forma predeterminada, las funciones envían hasta los últimos 512 valores de una serie al servidor sin marcas de tiempo, y la documentación dice que nada va a Confluent. Confluent dice que se deben establecer URL modelo en todos los entornos porque, de lo contrario, los redactores de declaraciones podrían dirigir llamadas a otros puntos finales.

La implementación tiene otros requisitos. De forma predeterminada, los servidores descargan los pesos de los modelos desde Hugging Face al iniciarse, por lo que los clústeres aislados deben montar los archivos manualmente. Las declaraciones deben ejecutarse en Flink 2.3, los nodos x86 necesitan compatibilidad con AVX2 y Confluent recomienda un límite de CPU en cada servidor porque ejecuta un subproceso por CPU dentro de este límite. La descarga de PatchTST-FM es de aproximadamente 1 gigabyte. La Cloud Security Alliance advirtió en mayo que las organizaciones pueden escanear rigurosamente paquetes de software mientras tratan los pesos de los modelos como datos inactivos.

¿Por qué Confluent, propiedad de IBM, también ofrece TimesFM de Google?

Confluent Cloud también ofrece TimesFM 2.5 de Google Research a través de la misma función, por lo que Granite es una opción y no la única. IBM completó la adquisición de Confluent el 17 de marzo de 2026, pagando 31 dólares por acción en efectivo por un valor empresarial de alrededor de 11 mil millones de dólares, como también informó Techzine. La actualización de Confluent del 18 de agosto, cinco meses después de su finalización, anunció tanto Granite como TimesFM en Early Access en AWS y dijo que los usuarios pueden cambiar de modelo con un solo parámetro. Ese cambio es la prueba práctica: ejecutar Granite, TimesFM y la antigua función ARIMA uno al lado del otro en la misma serie es la validación que el material publicado no proporciona.

Ninguna implementación tiene una fecha de disponibilidad general publicada.

Las notas de la versión del cuarto trimestre de Confluent no cubren precios ni un cronograma de disponibilidad general para las funciones locales, y dicen que las versiones futuras ampliarán el catálogo de modelos. En Confluent Cloud, el uso de las unidades informáticas de Confluent se factura como parte del uso del grupo informático.

El marco de decisión para los ingenieros es corto. Granit convierte la previsión y la detección de anomalías en una llamada SQL que puede ejecutarse en CPU básicas. La versión en la nube no es explícitamente de producción, la versión local es una vista previa con servidores no autenticados y, en el material revisado, ninguna cifra publicada muestra qué tan precisa o rápida es cualquiera de ellas en transmisiones reales. Los equipos deben probar varios modelos en sus propias series estacionales, escasas y ruidosas, controlar las tasas de falsas alarmas en la configuración de confianza elegida y mantener las acciones automatizadas detrás de la revisión humana hasta que las funciones salgan de la vista previa.


Preguntas frecuentes

¿Qué es un modelo fundamental de series temporales?

Es un modelo preentrenado en muchas series diferentes para que pueda predecir una nueva sin entrenamiento por serie, que es lo que aquí significa «disparo cero». El documento TTM de IBM describe versiones compactas que se ejecutan en máquinas que solo utilizan CPU.

¿Cómo decide Flink SQL que una lectura es una anomalía?

El modelo predice una banda para la siguiente lectura y la función marca valores fuera de ella en el nivel de confianza elegido. Por lo tanto, la frecuencia con la que se activan las alarmas depende de qué tan bien se ajuste esa banda a sus datos, que el material publicado no mide.

¿Las funciones realmente se ejecutan sin GPU?

La publicación de IBM dice que los modelos se ejecutan en CPU, y la documentación local de Confluent detalla los requisitos de aceleración de CPU y AVX2 para sus servidores. En Confluent Cloud, Confluent aloja los modelos, y su publicación del 18 de agosto menciona los recursos compartidos de GPU como un costo-beneficio, por lo que las páginas revisadas no dicen qué hardware utiliza la versión alojada.

¿Las alertas de anomalías deberían desencadenar acciones automáticas?

No sin control. El propio escenario de fraude de IBM enruta los pagos marcados a los sistemas de fraude existentes como una entrada adicional, y la cantidad de falsas alarmas en una configuración de confianza determinada debe medirse primero en su propia serie. La columna de David Carrero del 3 de septiembre pide controles más estrictos para las acciones automatizadas.

Acerca de Andry Rojas

Soy Andry Rojas consultor boliviano con experiencia en temas politicas, geopoliticos y nacionales para poder llevar un grano de arena a las personas que no pueden encontrar información veraz en internet.

Ver todas las entradas de Andry Rojas →

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *