ABSTRACT: In questo talk parleremo di Cloud e di soluzioni open source all'avanguardia per gestire la scalabilità. Vi verranno svelati i segreti della gestione di containers su larga scala e di cosa c’è dietro le quinte dei principali servizi serverless come AWS Lambda e AWS Fargate usati da più di 1 milione di clienti in tutto il mondo. BIO: Andrea Catalano è laureato presso l'Università di Bologna in Informatica ed ha maturato un’esperienza di più di 15 anni in ambito accademico, ha collaborato con le principali università italiane come Team Leader nel più grande centro di calcolo italiano CINECA, e da 4 anni ricopre il ruolo di Solution Architect in AWS.

1. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Andrea Catalano
Solution Architect
Amazon Web Services
Gestire la scalabilità su larga scala
26-02-2024

3. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Cos’è la concorrenza ?
Perché dovrei preoccuparmi della concorrenza?

4. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Commodore 64
Nessuna concorrenza! Se volevi eseguire
un programma diverso dovevi spegnere il
computer, inserire un nuovo disco e
riaccenderlo.

5. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Cooperative multitasking
Il programma in primo piano è
responsabile del controllo periodico
per vedere se un altro programma
richiede CPU. Facoltativamente può
cedere ai programmi in background

6. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Preemptive multitasking
Il sistema operativo può sospendere in
modo proattivo un programma e pianificare
quale programma dovrà ottenere
successivamente un intervallo di tempo
della CPU.

7. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Multicore processors
Più programmi vengono effettivamente eseguiti
contemporaneamente su core diversi dello stesso
processore.

8. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Client/server architecture
I programmi comunicano tramite Internet con
cluster di server in cui il lavoro viene svolto su
molti computer multicore

9. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
La concorrenza continua ad aumentare
in modo esponenziale man mano che la
tecnologia migliora

10. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
La storiaa delle tecnologie infrastrutturali di base
Hardware Hardware
Hardware
Operating System Operating System
Operating System
Hypervisor Container Runtime
App App App
Virtual Machine
Operating System
bin / Library
App App
Virtual Machine
Operating System
bin / Library
App App
App
bin /
Library
Container
App
bin /
Library
Container
App
bin /
Library
Container
App

11. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Come posso creare
un'applicazione in grado di
gestire la concorrenza?
Da zero utenti a milioni

12. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Un solo container è semplice….
Container Runtime
Host OS

13. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Ho un limite al numero massimo di containers in un Host…
Container Runtime
Host OS
?

14. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Complessità nella gestione della scalabilità
Container Runtime
Host OS
Container Runtime
Host OS
Container Runtime
Host OS
…

15. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Come Sviluppatore software hai bisogno degli strumenti
giusti al momento giusto
Il nuovo progetto greenfield
necessita di un rapido sviluppo di
nuove funzionalità
Il software maturo necessita di
manutenzione, supporto e affidabilità

16. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Gli sviluppatori necessitano di un'elaborazione ottimizzata
per una bassa concorrenza e di un'elaborazione
ottimizzata per un'elevata concorrenza
Low Concurrency
Applications
Sto ancora cercando il
prodotto adatto al
mercato. Hai bisogno di
uno sviluppo facile, bassi
costi operativi, bassi costi
di base.
High Concurrency
Applications
Adozione virale di
grande successo. Hai
bisogno di grandi
quantità di elaborazione
a tariffe sostenibili.

17. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Le tecnologie containers serverless ti aiutano a
iniziare in piccolo ma poi a espandersi quando
necessario.
AWS Lambda AWS App Runner AWS Fargate

18. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
AWS Lambda
Funzioni as a Service
conteinerizzate nel Cloud

19. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
AWS Lambda esegue la tua funzione nel cloud
exports.handler = (event, context, callback) => {
callback(null, "Hello world!");
}
Handler function

20. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Diversi modi di eseguire il codice: eventi
exports.handler = (event, context, callback) => {
callback(null, "Hello world!");
}
Handler function
AWS Lambda
Esegui tramite le API di
Lambda
Esegui al verificarsi di un
evento
Amazon
EventBridge

21. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Diversi modi per eseguire il codice: richieste web
Handler function
Amazon API Gateway
Application Load Balancer
exports.handler = (event, context, callback) => {
callback(null, "Hello world!");
}
Lambda function URL

22. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
exports.handler = (event, context, callback) => {
callback(null, "Hello world!");
}
Handler function
Firecracker microVM
exports.handler = (event, context, callback) => {
callback(null, "Hello world!");
}
Handler function
Firecracker microVM
Lambda crea più
copie isolate del tuo
codice inserito in
contenitori in
microVM fortemente
isolate l'una dall'altra

23. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Firecracker virtual machine monitor (VMM)
• KVM-BASED VMM
• OPEN SOURCE
• PROGETTATO PER WORKLOADS SERVERLESS

24. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Firecracker obbiettivi
Sicurezza
• Funzionalità del SO limitate
• Accesso al Sistema operative guest
non possibile
• Singolo processo per ogni VM
Efficiencienza
• Boot Veloce
• Basso consume di CPU e Memoria
• Gestione tramite API

25. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Cold Start Invoke
AWS Lambda è estremamente conveniente quando
ci sono tempi morti tra una attività e l’altra da
svolgere
Init
Nessun
Costo
Paghi per ms
Invoke
Nessun costo
“Scala a 0”
1 sec
Paghi per ms
500 ms Invoke
Nessun costo
“Scala a 0”

26. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Function
execution
Cold Start
Cold Start
Cold Start
Function
Instance 1
Function
Instance 2
Function
Instance 3
1 request
2 concurrent
requests
3 concurrent
requests
Un'istanza gestisce solo un'invocazione alla volta

27. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Cold Start Invoke
Scalabilità gestita da AWS
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke
x3 x2 x3 x3
x2 x2

28. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Cold Start Invoke
Che cosa succede quando ci sono molte funzioni
Lambda simultanee?
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke
Cold Start Invoke
Init Invoke Invoke Invoke

29. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Concorrenza
Cosa sta realmente accadendo durante una
richiesta?

30. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Handler Invoke (120ms)
Validate Input
Payload (1ms)
Insert Row in Database,
wait for response (10ms)
Call to downstream service and wait for response (100ms)
JSON serialize
(8ms)
Handle DB
response
(1ms)
Molte applicazioni moderne sono piene di operazioni
di input/output (I/O).
Cosa sta effettivamente facendo la mia applicazione?

31. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Handler Invoke (120ms)
Validate Input
Payload (1ms)
Insert Row in Database,
wait for response (10ms)
Call to downstream service and wait for response (100ms)
JSON serialize
(8ms)
Handle DB
response
(1ms)
Running Waiting Running Waiting Running
Le applicazioni che fanno I/O spesso trascorrono più tempo in
attesa rispetto all'esecuzione del codice sulla CPU
Cosa sta effettivamente facendo la mia applicazione?

32. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Cold Start Init
Maggiore è l'attività simultanea che ho, maggiori
sono i millisecondi di attesa rispetto ai millisecondi di
esecuzione delle istruzioni della CPU
Cold Start Init
Cold Start Init
Cold Start Init
Cold Start Init
Cold Start Init
Cold Start Init
Quali alternative ci sono?

33. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
I moderni framework applicativi consentono di
gestire più richieste simultanee in un unico
processo applicativo
Event Loop
Validate Input
Payload (1ms)
JSON
serialization
(8ms)
Handle DB
response
(1ms)
Ogni secondo ha 1000 ms
di CPU
Quando si fa I/O la CPU si
dedica ad altro

34. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Validate Input
Payload (1ms)
JSON serialization
(8ms)
Handle DB
response (1ms)
Invece di non fare nulla durante l'attesa, gestisce
un altro evento
Time
Waiting for DB
Validate Input
Payload (1ms)
Waiting for downstream service
Waiting for DB Handle DB
response (1ms)
Waiting for downstream service JSON serialization
(8ms)
Un singolo processo applicativo può tenere occupato il core della CPU
svolgendo altro lavoro (come rispondere a un'altra richiesta HTTP) mentre
attende l'I/O
Request 1
Request 2

35. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
exports.handler = async function (event, context, callback) {
// Validate the event
let dbResponse = await db.insert(); // Wait for IO from DB
// Handle DB response
let downstreamResponse = await downstreamService.put();
// Serialize a JSON response
}
La parola chiave wait
ritorna al ciclo degli
eventi per consentire
al processo di
iniziare a gestire
un'altra richiesta
mentre attende il
completamento
dell'I/O.
Node.js async/await

36. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
exports.handler = async function (event, context, callback) {
// Validate the event
let dbResponse = await db.insert(); // Wait for IO from DB
// Handle DB response
let downstreamService = await downstreamService.put();
// Serialize a JSON response
}
La quantità di possibile concorrenza per una funzione
dipende dal tempo della CPU consumato dalle sue
istruzioni
10ms
100ms
1ms
1ms
8ms
CPU time: 10ms
1000ms / 10ms = 100 invocazioni di funzioni/sec per singolo thread

37. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Gestione della concorrenza: cosa succede se hai
troppe richieste al secondo?
Event Loop
Code to run
Code to run
Code to run
Code to run
Code to run
Code to run
Code to run
Code to run
Code to run
Code to run
CPU
0%
100%
Quando la CPU si satura,
il tempo di risposta sale
alle stelle
50%
Response
Time
Memory
Le attività iniziano a
essere messe in coda

38. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Soluzione: bilanciare il carico simultaneo su più
copie del processo applicativo, ciascuna con il
proprio ciclo di eventi
Load Balancer
Event
Loop
Event
Loop
I processi potrebbero
essere sia in esecuzione
sulla stessa macchina
fisica che condividere
core separati di una
macchina multicore.
Oppure potrebbero
essere saltri nodi
computazionali
Application
Container
Application
Container

39. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
AWS App Runner
Ogni copia della tua applicazione
gestisce molte richieste simultanee

40. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
AWS App Runner gestisce la scalabilità orizzontale
Load Balancing
(AWS)
Event
Loop
Application
Container
Client code
(Voi)
Application code (Voi)
MicroVM (AWS)
Scaling (AWS)
AWS = Gestito da AWS
Voi = Vostra responsabilità

41. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Application Container
Concurrent Requests Limit
Overflow Queue
Event Loop
Envoy Proxy Load Balancer
AWS
Voi
Voi Application Container
Concurrent Requests Limit
Overflow Queue
Event Loop
429 Too Many
Requests
La vostra
applicazione è
protetta dagli
aumenti di traffico

42. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Active
Active
Cold Start Provisioned (Not Active) Stop
Provisioned (Not Active)
Il traffico termina,
entrambe le istanze
del contenitore
diventano inattive
1 x CPU + Memory 2 x CPU + Memory
Il traffico supera il limite di
concorrenza della prima istanza
del contenitore, quindi ne viene
avviata un'altra
1 x Memory
App Runner
arresta
un'istanza
inattiva
2 x Memory
Traffico nel tempo
Inizio traffico

43. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
AWS Fargate
Serverless containers, but you
manage scaling and concurrency

44. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
AWS Fargate fornisce microVM on demand
Event
Loop
Application
Container
Application code (Voi)
MicroVM (AWS)
Capacità computazionale (AWS)
Le patch per gli host e
l'infrastruttura sottostanti
sono gestite da AWS.
Le patch al codice, al runtime o
alle librerie nel viostro container
sono gestite da voi.

45. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Gestisci il bilanciamento del carico e l'ingresso
Load Balancing
(Voi)
Event
Loop
Application
Container
Client code
(Voi)
Application code (Voi)
MicroVM (AWS)
AWS = Gestito da AWS
Voi = Vostra responsabilità
Event
Loop
Application
Container
Application code (Voi)
MicroVM (AWS)

46. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Scalabilità decisa da voi
Event
Loop
Application
Container
Application code (Voi)
MicroVM (AWS)
Event
Loop
Application
Container
Application code (Voi)
MicroVM (AWS)
Underlying compute capacity (AWS)
La capacità di calcolo sottostante
viene fornita da AWS per garantire
che tu possa lanciare container su
richiesta
Devi decidere quanti containers ti
servono e come scalarli

47. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Task Running
Cold Start
Request
Request
Request
Request
Request
Stop
Request
AWS Fargate addebita i costi in base al tempo, non
all'attività
No requests
Costo per richiesta più basso quando il traffico simultaneo è elevato e il codice
è efficiente

48. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
AWS Lambda AWS App Runner AWS Fargate
Isolamento per
richiesta
Isolamento a
livello di processo

49. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Stabilità della concorrenza
Intensità della concorrenza
AWS Lambda
AWS App Runner AWS Fargate
Quanto è prevedibile la vostra concorrenza?
Quanta concorrenza?
Serveless quale strumento?

50. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
GRAZIE!