Progettazione e sviluppo del prototipo di una app per l'apprendimento del linguaggio nei bambini sotto i 36 mesi.
Creazione di interfaccia mamma e bambino, ottimizzate per gli utenti.
Riconoscimento automatico dell'utente (context awareness)
Ubiquitous and Context aware computing - Università degli Studi di Milano - Bicocca
1. Baby Talk 2y
Sviluppo di un App per l’apprendimento degli
aggettivi in bambini in età prescolare
Al i S fi Al di 770464 C i ti A b ldi 772186Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
2. Il progetto Baby Talk 2 è nato in collaborazione con il Prof. Mirco Fasolo e sarà
la naturale continuazione dell’app per l’apprendimento del linguaggio nei bambini
in età prescolare: Baby Talk.p y
In particolare, Baby Talk 2 si occuperà dell’acquisizione di aggettivi nei bambini
d i 18 i 36 idai 18 ai 36 mesi.
La ricerca e lo studio in campo psico-pedagogico diventano fondamentali per
un’adeguata progettazione di questa tipologia di app, senza tralasciare le naturali
fasi dell’apprendimento e le capacità cognitive dei più piccoli.
Il nostro progetto si pone l’ambizioso obiettivo di stabilire un equilibrio fra mero
aspetto tecnologico e studi psico-pedagogici.
Introduzione
aspetto tecnologico e studi psico pedagogici.
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
4. Per capire come sviluppare nuove app per l’apprendimento linguistico èPer capire come sviluppare nuove app per l apprendimento linguistico è
necessario capire come il bambino acquisisce determinate capacità cognitive.
La teoria dello sviluppo cognitivo di Piaget ci ha dato un quadro generale;
permettendoci di avere una visione più profonda e accurata nella progettazione
dell’applicazione.
Ci siamo concentrate sulle fasi dell’apprendimento del linguaggio dai 10 ai 36
mesi di vita, partendo dalle prime vocalizzazioni, passando alle prime parole,
fino alla capacità di composizione dei primi enunciati a due elementi.
Premessa: basi psicologichee essa bas ps co og c e
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
5. L’apprendimento verbale nei bambini ha il suo apice nei primi tre anni di vitaL apprendimento verbale nei bambini ha il suo apice nei primi tre anni di vita
e durante questo periodo il bambino va incontro a varie fasi:
•Fase Preintenzionale (6-8 mesi): il bambino produce suoni che sembrano
avere valore di segnali ma che ancora non lo hanno. Si hanno pseudo dialoghi.
•Fase Intenzionale:
•10-12 mesi sequenze sillabiche complesse, babbling variato e prime
protoparole. Comparsa di gesti intenzionali (indicare, salutare…) conp p p g ( , )
significato
•11-13 mesi comparsa delle prime parole, all’inizio il vocabolario si ferma a 50-
70 parole. Intorno ai 20 mesi si ha un’esplosione del vocabolario, quando ilp p q
bambino inizia ad attribuire alle parole status simbolico
•2 anni formazione dei primi enunciati a due elementi e in seguito delle prime
frasi
Premessa: basi psicologichee essa bas ps co og c e
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
6. È necessario tenere presente che:p
•i segni linguistici si riferiscono ad oggetti esterni al linguaggio stesso
•Il legame tra la forma linguistica e il suo referente deve essere identificato
dal bambino nel corso dello sviluppo
•Tale identificazione avviene nel contesto socio-culturale del rapporto tra
generazioni, poiché il legame parola-referente è socialmente determinato
•Joint Attention (Attenzione Condivisa): capacità di dirigere l’attenzione su
di t tt i l’ d ltdi un punto o oggetto in comune con l’adulto.
•L’apprendimento precoce della lingua spesso accade in situazioni in cui il
genitore nomina un oggetto nuovo indicandolo all’attenzione del bambino
(Responding to Joint Attention RJA) questo processo sembra facilitare(Responding to Joint Attention RJA) , questo processo sembra facilitare
l’apprendimento del bambino.
Proprio su queste basi si è fondata la realizzazione del nostro progetto
Premessa: basi psicologiche
Proprio su queste basi si è fondata la realizzazione del nostro progetto.
e essa bas ps co og c e
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
8. Progettazione:
Aggettivo Età
Acquisizione
Aggettivo Età
AcquisizioneProgettazione:
Contenuti
Aperto 19,9
Sporco 21,9
Piccolo 22 1
Vuoto 27,7
Pieno 28,4
Arancione 29 3
•Gli aggettivi da presentare sono
stati selezionati in base alle tabelle
riportate nel “Primo vocabolario
Piccolo 22,1
Grande 22,6
Chiuso 22,6
Arancione 29,3
Marrone 30,4
Viola 30,4
del bambino” (Caselli, Casadio,
1995)
•Gli aggettivi vengono presentati
Rosso 23,2
Bagnato 23,2
Largo 30,7
Corto 31,3
all’interno di semplici frasi
(“L’albero alto”), in cui compare
sempre anche un sostantivo già
i i d l b bi
Giallo 24,2
Blu 24,6
P li 24 6
Stretto 31,5
Felice 31,8
T i t 32 4acquisito dal bambino.
•In questo modo il bambino
riconosce la figura ed il suono che
i i
Pulito 24,6
Alto 24,7
Verde 25,9
Triste 32,4
Azzurro 33+
Basso 33+
già conosce, e può concentrarsi
sull’apprendimento del suono
ancora sconosciuto
,
Asciutto 26,7
Lungo 27,2
Biondo 33+
Bruno 33+
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
9. Gli i i l l i i i i i i d• Gli aggettivi e le relative immagini sono presentate a coppie, in modo
contrastivo, perché per il bambino è più facile individuare la caratteristica
cui associare il suono dell’aggettivo se la vede mutare tra i due opposti:
prima vedo “Il Biberon pieno” e di seguito “Il biberon vuoto”.
Progettazione: Contenuti
p p g
Progettazione: Contenuti
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
10. • Le immagini sono prive di animazioni, prive di ambientazione e
presentate su di uno sfondo bianco, per evitare distrazioni e facilitare la
concentrazione del bambino sugli elementi salienti.
• Le frasi presentate sono registrazioni di una persona reale, che
pronuncia le frasi con un tono particolare volto a facilitarepronuncia le frasi con un tono particolare volto a facilitare
l’apprendimento.
• Il tono di voce è alto, allegro, e sottolinea la parola che il bambino deveIl tono di voce è alto, allegro, e sottolinea la parola che il bambino deve
apprendere: l’aggettivo (Baby Talk).
• Per questi motivi, un sintetizzatore vocale, piatto ed innaturale nel tono,
bb i di Anon sarebbe stato indicato per questa App.
Progettazione: ContenutiProgettazione: Contenuti
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
11. • L’App è stata progettata per rispondere al meglio alleL App è stata progettata per rispondere al meglio alle
esigenze di apprendimento dei bambini.
• L’apprendimento può avvenire in due tipi di situazione:pp p p
• Con l’aiuto della mamma
• Con il bambino da solo
• Per questo per prima cosa abbiamo deciso di progettare
due differenti interfacce, che si adattino al meglio alle due
situazioni
Interfaccia
“Bambino”
Interfaccia
“Mamma”
Progettazione: Strutturag
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
12. • La selezione dell’interfaccia da utilizzare si effettua, nel
nostro prototipo, tramite un menù, ma in fase di
progetta ione abbiamo pensato ad na possibileprogettazione abbiamo pensato ad una possibile
evoluzione maggiormente Context Aware:
• Selezione automatica
dell’interfaccia tramite
l’utilizzo di webcam e software
di riconoscimento facciale.
Progettazione: Selezione Interfacciag
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
13. • «I computer non "vedono" foto e video come le persone ma possono• «I computer non "vedono" foto e video come le persone, ma possono
essere addestrati a riconoscere pattern di forme e colori. Ad esempio,
un computer può essere addestrato a riconoscere i pattern che
compongono l'immagine digitale di un volto Questo processo è notocompongono l immagine digitale di un volto. Questo processo è noto
come rilevamento facciale.» Fonte: Google.
• Esistono già vari software e App per il riconoscimento facciale, in
genere utilizzati per motivi di sicurezza:genere utilizzati per motivi di sicurezza:
• Name Tag
• Appellancy
• DeepFaceDeepFace
• La nostra idea: adattare questo tipo di software per permettere all’App
di distinguere fra un viso adulto ed un bambino.
• Se la webcam rileva almeno un viso adulto viene proposta la modalitàSe la webcam rileva almeno un viso adulto viene proposta la modalità
«Mamma», altrimenti la modalità «Bambino».
• L’applicazione è bloccata nella modalità «Bambino», senza poter uscire,
fino al nuovo rilevamento di un viso adulto.
Progettazione: Selezione Interfaccia
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
g
14. Progettazioneg
Interfaccia
“Bambino”Bambino
Il bambino non capirebbe o
bb diffi l à itroverebbe difficoltà a capire
menù ed interazioni complesse.
Per questo l’interfaccia
è lprogettata è stata volutamente
mantenuta cognitivamente molto
semplice.
•1 sola “schermata menù”, priva di scritte, solo con le icone delle immagini che
saranno presentatesaranno presentate
•Accesso al “gioco” in un solo click
•Una sola modalità di gioco, uguale alla modalità “Apprendimento”
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
15. • Nella modalità “Mamma” sono state inserite tutte le
funzioni di contorno al gioco:
Facile
Selezione
lingua: Italiano -
I l
Modalità
Apprendimento
Medio
Modalità
Mamma
Inglese
Difficile
Modalità
Random
Tempo d’Uso
Selezione tempo
d’uso
Progettazione: Interfaccia “Mamma”Progettazione: Interfaccia Mamma
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
16. S l i li il “ i ” è li t i it li i i l• Selezione lingua: il “gioco” è realizzato in italiano e in inglese.
• Tempo d’uso: la mamma può impostare l’App in modo che interrompa il
gioco dopo un tempo prestabilito per evitare la sovraesposizionegioco dopo un tempo prestabilito, per evitare la sovraesposizione.
• Modalità di gioco:
• Modalità Apprendimento: gli aggettivi vengono presentati in ordine di• Modalità Apprendimento: gli aggettivi vengono presentati in ordine di
difficoltà. La mamma può scegliere il livello dal quale iniziare.
• Modalità Random: gli aggettivi vengono presentati in modo• Modalità Random: gli aggettivi vengono presentati in modo
randomizzato.
• Gli aggettivi non sono suddivisi per “categorie”, come avveniva per iGli aggettivi non sono suddivisi per categorie , come avveniva per i
sostantivi in Baby Talk, in quanto abbiamo ritenuto artificiosa e non utile una
tale suddivisione
Progettazione: Interfaccia “Mamma”
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
Progettazione: Interfaccia Mamma
17. La grafica dell’app Baby Talk 2 è stata studiata e progettata in modo da essere
l li i i i ili bil d imolto semplice e intuitiva, utilizzabile da tutti.
Progettazione: Graficaoge a o e G a ca
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
18. Schermata di gioco: modalità apprendimentoPagina iniziale con tutte le icone
Progettazione: Graficag
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
19. Schermata di selezione lingua
Progettazione: Graficag
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
20. al click sull’immagine la selezione e
l’audio si attivano:l audio si attivano:
es. “Il biberon vuoto”
Progettazione: Graficaoge a o e G a ca
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
21. ● Graficamente, la scelta dello sfondo bianco rende semplice e “pulita”
l’applicazione, rendendo le immagini più riconoscibili per il bambino, sottolineando
le caratteristiche proprie delle immagini (gli aggettivi) ed evitando distrazioni;
● La barra di selezione, nella modalità apprendimento, permette di visualizzare le due
immagini precedenti e le due successive. Sono ordinate in base all’età di
acquisizione del bambino rispetto gli aggettivi (corto e lungo si acquisiscono primaacquisizione del bambino rispetto gli aggettivi (corto e lungo si acquisiscono prima
di pieno e vuoto);
● Le frecce permettono di andare in ordine con la sequenza di aggettivi:
cognitivamente i bambini non hanno difficoltà a riconoscere il ruolo e il significato
della freccia che indica avanti o indietro;
● Nella schermata della modalità di gioco random la barra di selezione non è stata
inserita per ovvi motivi: le immagini vengono presentate a caso e dunque sarebbe
risultata pressoché inutile.
Progettazione: Grafica
risultata pressoché inutile.
oge a o e G a ca
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
23. • Laura e Marco
Età: 32 anni• Età: 32 anni
• Figli: Marco, 2 anni
• Professione: Insegnante
• Attitudine: diffidente e inesperta• Attitudine: diffidente e inesperta
verso tecnologia, ma curiosa
• Marco: tranquillo, curioso verso
libri
•Scenario: Finito il lavoro Laura va a prendere Marco all’asilo. Perp
trascorrere del tempo insieme Laura utilizza Baby Talk 2, lingua inglese,
modalità Apprendimento. Dopo un po’ di gioco insieme Laura si occupa del
suo lavoro e lascia Marco a giocare da solo con l’App in modalità Bambino
Progettazione: Personas e scenari
g pp
Progettazione: Personas e scenari
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
24. • Giada e Caterina
Età: 27 anni• Età: 27 anni
• Figli: Caterina, 26 mesi
• Professione: Estetista
• Attitudine: positiva sicura con• Attitudine: positiva, sicura con
tecnologie
• Caterina: vivace e intraprendente,
già contatti con tecnologia
•Scenario: Giada ha il pomeriggio da trascorrere con Caterina. Lancia Baby
T lk 2 l t bl t d li à A di li ll Diffi il hé C t iTalk 2 sul tablet, modalità Apprendimento, livello Difficile, perché Caterina
conosce già l’app. Quando Caterina le sembra sicura sui nuovi aggettivi,
Giada sceglie di passare alla modalità Random, per testare i progressi e
lanciare una nuova sfida a Caterina
Progettazione: Personas e scenari
lanciare una nuova sfida a Caterina.
Progettazione: Personas e scenari
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
25. • Maria e Luca
Età:45anni• Età:45anni
• Figli: Andrea, 7 e Luca, 2 anni
• Professione: Impiegata
• Attitudine: esperta ma non• Attitudine: esperta ma non
troppo positiva
• Luca: vivace affascinato dai
videogiochi, imita il fratello
•Scenario: Maria arriva a casa dal lavoro la sera e deve mettersi a cucinare.
A d t i d i id i hi L l di t b D l’ iAndrea sta giocando ai videogiochi e Luca lo disturba. Dopo l’ennesimo
litigio Maria li divide e lancia Baby Talk 2 sul tablet, seleziona il limite di
tempo di mezz’ora sull’opzione Tempo d’uso, quindi lascia Luca a portata
d’occhio a giocare con l’applicazione in modalità Bambino
Progettazione: Personas e scenari
d’occhio a giocare con l’applicazione in modalità Bambino.
Progettazione: Personas e scenari
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
27. • Per l’effettivo sviluppo dell’App ci siamo divise il lavoro in questo modo:Per l effettivo sviluppo dell App ci siamo divise il lavoro in questo modo:
• Cristina Arnaboldi: realizzazione degli elementi grafici dell’App e delle
immagini da presentare
• Alessia Sofia Aledi: realizzazione tecnico-informatica dell’App.
GRAFICA
• Tutti gli elementi grafici dell’applicazione e soprattutto le immagini relative
agli aggettivi presentati sono stati realizzati con il supporto software di
Photoshop e hardware di una tavoletta grafica (Wacom Bamboo)Photoshop e hardware di una tavoletta grafica (Wacom Bamboo)
• I soggetti sono stati in alcuni casi disegnati ex novo, in altri casi selezionati
tra figure per bambini tramite ricerca web.
• Tutte le figure sono state colorate ex novo e/o modificate per evidenziare
esclusivamente la caratteristica relativa agli aggettivi presentati.
Metodologie: Sviluppo GraficoMetodologie: Sviluppo Grafico
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
28. Tavoletta Grafica: Wacom Bamboo Pen & Touch
Specifiche:
• Input penna + input tattile
• 4 tasti ExpressKey personalizzabili
• Collegamento wireless
• Penna con cancellino
• Risoluzione penna: 2.540 lpip p
• Altezza di rilevamento: 16 mm
• Altezza di lettura: 7 mm
• Area attiva: 147 x 92 mm
• Software Bamboo Dock incluso
• E’ una tavoletta grafica base, ottima per lavori amatoriali. Supporta fino ad
un massimo di due tocchi, che può essere utile zoomare, rimpicciolire, girare
immagini. I 4 tasti sono utili per gli shortcut verso le funzioni più utilizzate.
Limiti: area attiva piuttosto piccola penna non sensibile alla pressione
Metodologie: Sviluppo Grafico
Limiti: area attiva piuttosto piccola, penna non sensibile alla pressione.
Metodologie: Sviluppo Grafico
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
29. Esempio di immaginiEsempio di immagini
Il lit Il
Metodologie: Sviluppo Grafico
Il cane pulito Il cane sporco
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
Metodologie: Sviluppo Grafico
30. Per la realizzazione dell’app abbiamo lavorato sulla piattaforma online Tabletize,
un’app creator dal layout e dalle funzionalità semplici e intuitive.
E proprio grazie alla sua semplicità, Tabletize ci ha permesso di sviluppare un’app
il più possibile completa pur non conoscendo il codice.
Metodologie: sviluppo tecnicoe odo og e s uppo ec co
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
33. • Il nostro gruppo ha purtroppo avuto un grosso limite nello sviluppoIl nostro gruppo ha purtroppo avuto un grosso limite nello sviluppo
dell’applicazione, non avendo a disposizione un informatico puro.
• La conoscenza di codici e altri strumenti informatici del nostro è risultata
quindi più limitata.
• Per questo motivo l’App è stata
sviluppata tramite un software di
supporto online (Tabletize it) e alcunesupporto online (Tabletize.it) e alcune
caratteristiche previste in fase di
progettazione non sono state realizzate:
• Modalità di presentazione Random• - Modalità di presentazione Random
• - Opzione scelta del tempo d’uso
Limiti e Possibili SviluppiLimiti e Possibili Sviluppi
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
34. Per il futuro, prevediamo:
• lo sviluppo delle parti che non siamo riuscite a realizzare per
mancanza di conoscenze tecniche
• L’esportazione dell’applicazione da noi realizzata per smartphone e
tablet come Webapp
• la realizzazione di una terza App «Baby Talk», finalizzata
all’apprendimento di verbi, realizzata con immagini animate.
• In vista di un’evoluzione maggiormente Context Aware: la possibile
scelta automatica della modalità di utilizzo (Bambino o Mamma) da
parte dell’applicazione tramite l’utilizzoparte dell applicazione, tramite l utilizzo
• della fotocamera integrata in ogni smartphone o tablet (o possibilmente
nel computer per la versione WebApp)
• Di un software di riconoscimento facciale
Limiti e Possibili SviluppiLimiti e Possibili Sviluppi
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
36. Ci i b t l l f tt l B b T lk t di• Ci siamo basate sul lavoro fatto lo scorso anno per Baby Talk e su studi
psicopedagogici sull’apprendimento del linguaggio da parte dei bambini
per realizzare un’App volta a facilitare l’apprendimento di aggettivi.
• Abbiamo sviluppato un prototipo semi-funzionante, che mostrasse
l’interazione base per l’apprendimento degli aggettivi
• Abbiamo riservato a futuri sviluppi l’implementazione di quelle funzioni
che le nostre conoscenze tecnologiche non ci permettevano di realizzare
concretamente.
• Abbiamo prestato la maggiore attenzione possibile alle basi psicologiche
sottese alla realizzazione dell’App per sviluppare un applicativo
• il più possibile usabile da parte di mamme e bambini
• che supportasse e facilitasse realmente l’apprendimento del linguaggio
• Che evitasse gli errori evidenziati negli altri applicativi presi preventivamente
in esame.
ConclusioniConclusioni
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186
37. Grazie per l’AttenzioneGrazie per l Attenzione…
The EndThe End
Alessia Sofia Aledi 770464 - Cristina Arnaboldi 772186