Presentatie op het Velon-congres 16 maart 2017.

1. Een onderzoek naar een datateam interventie bij
lerarenopleiders
Wat is de bijdrage aan het
professionaliseren?
Erik Bolhuis, Hogeschool Windesheim Email: e.d.bolhuis@utwente.nl.
Joke Voogt, Universiteit van Amsterdam & Hogeschool Windesheim. Email: j.m.voogt@uva.nl
Kim Schildkamp, University van Twente. Email: k.schildkamp@utwente.nl
Contact details: drs. E.D. Bolhuis, postbus 217, 7500 AE Enschede, email: e.d.bolhuis@utwente.nl.
http://goo.gl/CfzYja

2. Praktijk context
• Kwaliteit hoger onderwijs onder druk:
- Kritiek op niveau pabo’s;
- Opleidingen die onder vuur komen te liggen;
- Rol werkveld blijft achter;
- Flexibilisering blijft achter;
- Tegenvallende rendementen, te hoge uitval en studenten doen te
lang over hun opleiding;
- Weinig nadruk voor talent;
- Portfolio van opleidingen lijken op elkaar.
http://goo.gl/CfzYja

3. Praktijk context
• Kwaliteit hoger onderwijs onder druk:
- Kritiek op niveau pabo’s;
- Opleidingen die onder vuur komen te liggen;
- Rol werkveld blijft achter;
- Flexibilisering blijft achter;
- Tegenvallende rendementen, te hoge uitval en studenten doen te
lang over hun opleiding;
- Weinig nadruk voor talent;
- Portfolio van opleidingen lijken op elkaar.
http://goo.gl/CfzYja

4. Dit, terwijl
1. We leven in een data-rijke wereld, ook in het onderwijs
(OECD, 2013)
2. Maar vooral het besef groeit dat datagebruik leidt tot
betere leerprestaties (Carlson, Borman & Robinson, 2011; Lai, et al., 2014)
3. Lerarenopleidingen, dubbel perspectief op
datagebruik:
• Aanleren van aankomende leerkrachten (Mandinach & Gummer, 2016)
• Zelf data gebruiken om de opleiding te ontwikkelen
http://goo.gl/CfzYja

5. Echter,
• Ondanks dit dubbelperspectief gebruiken
lerarenopleiders geen/weinig data om de
opleiding te verbeteren (Bolhuis, Voogt, Luyten, submitted)

6. Theoretisch kader
1. Data
2. Kennis, vaardigheden en attitude
3. Datagebruik
4. Professionaliseren
http://goo.gl/CfzYja

7. Data
Het systematisch verzamelen van verschillende
soorten kwantitatieve en kwalitatieve data, zoals
demografische- en administratieve data,
observaties en studievoortgang waarmee
docenten en managers analyses uitvoeren en
maatregelen nemen (Hamilton, Halverson, Jackson, Mandinach, Supovitz
& Wayman, 2009).
http://goo.gl/CfzYja

8. Datavaardigheden:
• Probleem kiezen en hypotheses formuleren
• Data verzamelen en de kwaliteit van data
beoordelen (validiteit & betrouwbaarheid)
• Data omzetten naar informatie (analyseren,
interpreteren en conclusies trekken)
• Maatregelen ontwikkelen
• Maatregelen evalueren

9. Attitude
• De overtuiging dat data een bijdrage
kunnen leveren aan verbeteren van
onderwijs en instructie (Marsh, 2012)

10. Drie soorten datagebruik (Williams, 2013):
Datagebruik: Data: Voorbeelden:
Ter
verantwoording
Rankings,
rendementen
Accreditatie, NSE
School
ontwikkeling
Rendementen,
toetsuitslagen
enquêtes, intake
Groenpluk-analyse
Verbeteren
instructie
toetsuitslagen,
studentgegevens,
online activiteiten
Op basis van een
formatieve toets
onderwijs aanpassen
http://goo.gl/CfzYja

11. Professionaliseren 1
• Professionaliseren middels een datateam
(Schildkamp, et al., 2014)
• Datateams hebben veel kenmerken van
effectieve vormen van professionaliseren
(Desimone, 2011; Losmos, Hofman & Bosker, 2011; Van Veen, Zwart, Meirink & Verloop, 2010;
Vescio, Ross & Adams, 2008)
http://goo.gl/CfzYja

12. Professionaliseren 2
• Veel onderzoek naar datateams in het VO en PO
(Ebbeler, Poortman, Schildkamp & Pieters, 2016a en b; Gelderblom, Schildkamp, Pieters & Ehren,
2016; Hubers, Poortman, Schildkamp, Pieters, & Handelzalts, 2016)
• Het blijkt dat het werken in een datateam leidt tot
professionalisering in termen van het ontwikkelen
van een positieve(re) attitude t.o.v. datagebruik en
tot het ontwikkelen van de benodigde kennis en
vaardigheden om data te gebruiken (Ebbeler et al., 2016a en b)
• Echter, nog geen onderzoek in HO
http://goo.gl/CfzYja

13. Onderzoeksvragen
Wat is de bijdrage van een datateam interventie aan
het professionaliseren van lerarenopleiders in het
werken met data?
1. Welke kennis, vaardigheden en attitudes over het werken met
data levert participatie in een datateam op?
2. Op welke wijze en waarvoor gebruiken deelnemers hun
kennis en vaardigheden in het werken met data in hun
beroepspraktijk?
http://goo.gl/CfzYja

14. Methode
Casus onderzoek (N=5), gedurende de DT-interventie (2 jaar)
(Yin, 2014)
•Instrumenten:
o Vragenlijst Datagebruik
o Kennistest
o Interviews
•Analyses: in een case-ordered en een cross-case ordered
matrix
http://goo.gl/CfzYja

15. Resultaten 1: Kennis & vaardigheden
•Datateamleden ontwikkelen heel verschillend
hun kennis & vaardigheden
•Datateamleden met de minste kennis bij de
start, leerden het meest.
•Leerwinst: ‘omzetten van data in informatie’,
‘conclusies omzetten in maatregelen’ en
‘evalueren’
•Kennis in het ontwikkelen van onderwijs.
http://goo.gl/CfzYja

16. Resultaten 2: Attitude
•Niet alle datateamleden maken een positieve
ontwikkeling door in het werken met data.
•Een positieve ontwikkeling van
datavaardigheden gaat niet altijd samen met
een positieve ontwikkeling van de attitude.
•Een positieve ontwikkeling van de attitude
gaat niet altijd samen met een positieve
ontwikkeling van het gebruik van data.
http://goo.gl/CfzYja

17. Resultaten 3: Datagebruik
•Toename datagebruik om de opleiding te
ontwikkelen
•Afname datagebruik ter verantwoording
•Afname datagebruik om de instructie aan te
passen
http://goo.gl/CfzYja

18. Conclusies
•Niet elke datateamlid profiteert in toename
van kennis en vaardigheden (c.f. Corno, 2008)—>
datateammethode differentieert niet
•Langzame karakter van de datateam methode
en het missen van het momentum
•Attitude ontwikkeling groeit niet automatisch
door participatie in een datateam (Mandinach & Gummer, 2016)
•Aandacht voor (verre) transfer (Kim & Lee, 2001)
http://goo.gl/CfzYja

19. Aanbevelingen voor de praktijk
• Maak gebruik van verschillen in kennis en
vaardigheden
• Schenk expliciet aandacht aan de ontwikkeling van
attitude t.o.v. data
• Stem datateam methode af op
besluitvormingsprocessen in de organisatie
• Bevorder transfer door bijvoorbeeld Instructional
Coaching

20. Aanbevelingen voor onderzoek
• Ontwikkelen van verre transfer in de
datateam methode
• Ontwikkelen van de attitude t.o.v. data

21. Literatuur:
Bolhuis, E.D., Schildkamp, K., Voogt, J. & Luyten, J.H. (submitted for publication). Het gebruik van data door lerarenopleiders van de pabo.
Carlson, D., Borman, G. & Robinson, M. (2011). A Multistate District-Level Cluster Randomized Trial of the Impact of Data-Driven Reform on Reading and Mathematics
Achievement. Educational Evaluation and Policy Analysis, 33(3): 378–398.
Corno, L. (2008). On teaching adaptively. Educational Psychologist, 43(3), 161-173.
Desimone, L. (2009). Improving Impact Studies of Teacher’s Professional Development: Toward Better Conceptualizations and Measures. Educational Researcher,
38(3), 181–199.
Ebbeler, J., Poortman, C. L., Schildkamp, K., & Pieters, J. M. (2016a). Effects of a data use intervention on educators’ use of knowledge and skills. Studies in educational
evaluation, 48, 19-31.
Ebbeler, J., Poortman, C., & Schildkamp, K. (2016b). The Effects of a Professional Development Initiative in Data Use: The Data Team Procedure.
Gelderblom, G., Schildkamp, K., Pieters, J., & Ehren, M. (2016). Data-based decision making for instructional improvement in primary education. International Journal of
Educational Research, 80, 1-14.
Hamilton, L., Halverson, R., Jackson, S., Mandinach, E, Supovitz, J., & Wayman, J. (2009). Using student achievement to support instructional decision making (NCEE
2009-4067). IES Practice Guide. Washington, DC: U.S. Department of of Education, Institute if Education Sciences, National Center for Education Evaluation and
Regional Assistance. Retrieved form res.ed.gov/ncee/wwc/PracticeGuide.aspx?sid=12.
Hubers, M.D., Poortman, C.L.,, Schildkamp, K., Pieters, J. & Handelzalts, A. (2016). Opening the blackbox: Knowledge creation in data teams. Journal of Professional
Capital and Community 1(1), 41-68.
Kim, J. H., & Lee, C. (2001). Implications of near and far transfer of training on structured on-the-job training. Advances in Developing Human Resources, 3(4), 442–
451.
Lomos, C., Hofman, R. H., & Bosker, R. J. (2011). The relationship between departments as professional communities and student achievement in secondary schools.
Teaching and Teacher Education, 27(4), 722-731.
Mandinach, E. B., & Gummer, E. S. (2016). Data Literacy for Educators: Making It Count in Teacher Preparation and Practice. Teachers College Press.
Marsh, J. A. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114(11), 1-48.
Organisation for Economic Co-operation and Development (OECD). (2013). Synergies for better learning: An international perspective on evaluation and assessment. Paris:
OECD.
Terlouw, B. (2011). Kijken naar kinderen: kinderen als spiegel voor de leerkracht. Volgens Bartjens 30(5), 4-7.
Vescio, V., Ross, D., & Adams, A. (2008). A review of research on the impact of professional learning communities on teaching practice and student learning. Teaching and
teacher education, 24(1), 80-91.
Van Veen, K., Zwart, R., Meirink, J., & Verloop, N. (2010). Professionele ontwikkeling van leraren. Een reviewstudie naar effectieve kenmerken van
professionaliseringsinterventies van leraren. Leiden: ICLON/Expertisecentrum Leren van Docenten.
Williams, J. L. (2013). Faculty engagement with learning outcomes assessment: A study of public two-year colleges in Colorado. Doctoral dissertation, University
of Denver.
Yin, R. K. (2014). Case study research: Design and methods (5th ed.). London: Sage.
http://goo.gl/CfzYja