Presentacion para el workshop de Mejoras practicas con GCP Pubsub. Eventos Batch, Filtros, Deadletter y reintentos, Monitoreo.

1. Oliver Fierro - Organizador
GDG Cloud Santiago de Chile
https://www.linkedin.com/in/oliverfierro/
PUBSUB
Buenas prácticas
Pubsub por defecto o full equipo?

2. PubSub
Descripción

3. “Producto serverless de GCP para el procesamiento de
eventos en forma asíncrona. Separa los conceptos de quien
produce el evento respecto de quien lo procesa, bajo el patrón
Publisher-Subscriber”
GCP PUBSUB

4. Descripción
https://cloud.google.com/pubsub/docs/overview

5. DeadletterFiltros
Roadmap
MonitoreoProcess

6. Patrones de suscripcion
Publisher
Subscription A
Subscription B
Subscriber A
Subscriber B
Subscription C Subscriber C

7. Patrones de suscripcion
Publisher
Subscription A
Subscription B
Subscriber C

8. Integración de PubSub
Publisher Subscriber DataFlow
Microservicio
[GKE]

9. Pubsub y Dataflow
Streaming
Batch

10. Configuraciones
Filtros
DeadLetter

11. Filtros
HEADER
● attributes.country=”CL”
● attributes.category=”Electronics”

12. Deadletter

13. Deadletter

14. Monitoreo
Subscription/num_undelivered_messages: Unacked message
Numero de eventos los cuales el suscriptor extrajo de la suscripción y no le dió
el ACK dentro del tiempo máximo establecido (ack deadline)
Subscription/oldest_unacked_message_age:
Tiempo del evento más antiguo que aun no ha sido procesado.

15. Monitoreo

16. Workshop
1.- Dataflow (modo streaming) que está escuchando un bucket de Cloud Storage,
procesa un archivo (json) y separa el json en varios eventos (un evento por cada línea del
json).
● El archivo json contiene varios productos, su categoria y stock, entre otros.
2.- Un Topico de PubSub que tiene varias suscripciones, 2 suscripciones con filtros (país
y categoria a la cual corresponde el producto) y 1 suscripcion sin filtro.
● Vamos a publicar varios eventos (un producto por cada evento) y revisar las
suscripciones.

17. Workshop
3.- Un tópico en una de sus suscripciones tiene configurado un tópico de deadletter, con
lo cual cuando el suscriptor falla en su procesamiento (no entrega el ACK en el deadline
definido (ack deadline) o explícitamente damos un NACK por alguna excepción en el
procesamiento del evento), se realiza el proceso de reintento automático (maximum
delivery attemps).
Una vez agotada la cantidad de reintentos máximo, el evento se publica automáticamente
en el tópico de deadletter (para un análisis y gestión posterior)
4.- Monitoreo de pubsub
Revisaremos las metricas del Dashboard

18. Recomendaciones
1.- Pubsub es un producto
potente y versátil al incluir
las configuraciones
avanzadas.
2.- Debes definir los
patrones a utilizar ante los
cambios evolutivos.
3.- Mide la performance

19. Oliver Fierro - Organizador
GDG Cloud Santiago de Chile
https://www.linkedin.com/in/oliverfierro/
PUBSUB
Buenas prácticas
Gracias!