Presentation vid IVV, den 14/1-2020 Pedagogisk seminarium.

1. Digitala prov och examination –
är verksamhetsutveckling
Exempel på olika typer av lösningar för att komma
igång med digitala prov och digital examination.
Samverkansgruppen IKT/Lärmiljöer –
Mats Brenner, IKT-pedagog
Presentation IVV, Pedagogisk seminarium i jan 2020

2. Digitaliseringen på lärosätena
1. Lärplattformar, LMS
2. Webb- och videokonferenssystem
3. Mediaportaler och appar
4. Pågång: Systemlösningar för digital tentamen
5. Få använder: Integreringar mellan beroendesystem
(LIS, LTI etc)
6. Diskuteras/Få använder: E-portföljer
7. Påbörjat: AR och VR samt spelbaserat lärande
• REF: Erfarenheter är från distansutbildning och nätbaserade utbildning sedan slutet av 1990-talet med aktuell
omvärldsanalys. Nätbaserat lärande, s k blended learning, digital examination ökar i omfattning vid lärosätena.

3. The Benefit of Digital Exams

4. Funktionshinder
och funktions-
variationer
Ökade möjligheter till anpassning till testsituation
och programvara som används:
• Lokalen (tillgång till mindre rum - lugn och ro,
ståbord, belysning, rullstolsanpassning etc)
• Publicering för extra skrivtid
• Använda egen dator med speciell programvara t ex
för talsyntes, rättstavningsprogram för
svenskspråkiga som skriver engelska eller som
rättar stavfel och grammatikfel på svenska
• Intuitiv och tydlig navigation
• Storlek och färg på text och bakgrund kan justeras
• Talsyntes kan användas
• Snabbtangenter användas
• Texteditor stödjer skrivarbetet i olika
representationsformer
• Rita med digital penna, mus med scanner,
musplatta med extra funktioner (interoperabilitet)
• Format ska stödjas, text (Ascii), matematiska
symboler, bildformat, ljud/video-filer, interaktiva
objekt

5. Salstentan – en av flera
examinationsformer
Papperstentamen är endast en av över 30-
tal examinationsformer.
Hemtentor och inlämningsuppgifter är ofta
digitala.
Dock så har flera andra examinationsformer
inte digitaliserats.
Framförallt så sker nu digitalisering av
papperstentamen till digital tentamen.
Gruppinlämningar t ex görs ofta i en och
samma Wordfil istället för Wiki – med
spårbarhet i historik.
Inlämning och feedback med video, ljudfiler,
digitala poster etc sker ännu i begränsad
form
Hantering av öppen offentlig data – för mer
autentisk examination är ännu begränsad.
REF: http://www.provainfact.se/publish/examination/9127-
Examinationsformer___vanliga_och_mindre_vanliga/index.html#/929
1

6. Sista pappers-bastionen…

7. Salstentan – fördelar och nackdelar
och nackdelar
Fördelar
• Salsskrivningar är rättssäkra då det exempelvis
minskar riskerna för olika former av fusk.
• Formen är välbekant för de flesta studenter.
• Med genomtänkta strategier, uppgifter och
bedömningsgrunder kan djupinlärning stimuleras.
Nackdelar
• Salsskrivning kan vid ovarsamhet uppmuntra
ytinlärning.
• Studenterna kan vara pressade av
tidsbegränsningar och att vara i form vid tillfället
för salsskrivning
• Uppgifter som stimulerar djupinlärning kan ge
hög rättningsbörda för läraren.

8. Validering?
• Validering innebär att en kursdeltagares
kunskaper och kompetenser kartläggs och
bedöms på ett strukturerat sätt.
• Validering kan användas för att anpassa en
utbildning, förkorta en utbildning eller inför
en utbildning om den sökande saknar betyg i
de kurser som krävs.

9. Uppgiftstyper – olika i tester/prov
och studieuppgifter
Vilka uppgifter man kan fånga kunskaper med
prov/test, med olika uppgiftstyper eller tester och
prov t ex för studieuppgifter kan ju vara:
• Iterativa (bygga på varandra)
• Ipsativa (krav på förbättring mellan versioner)
• Kumulativa (bygga på en ansamling)

10. Aktiviteter för undervisning och lärande
Inhämta kunskap
Studenter kan inhämta kunskap
via föreläsningar, genom att läsa
litteratur, lyssna på podcast,
genomgångar och
demonstrationer på campus eller
i digitalt format.
Samarbeta
Studenter lär sig via samarbeten,
gemensamma övningar och
diskussioner. Studenternas
kunskap utvecklas genom ett
utforskande arbetssätt.
Resultatet redovisas i ett
gemensamt grupparbete.
Diskutera
I en diskussion uppmuntras
studenten att själv formulera sina
idéer och frågor. Studenten
argumenterar, utmanar och ger
respons på andra studenters
och/eller lärares idéer och frågor.
Utforska
Lärandet sker genom att
studenten undersöker, utforskar,
jämför och kritiserar texter och
andra resurser vilka speglar olika
begrepp, modeller och tankesätt.
Tillämpa och praktisera
När studenten tillämpar och
praktiserar sin kunskap, tränas
förmågan att ta sig an olika
uppgifter och att utifrån feedback
förbättra sin prestation. Feedback
kommer från studiekamrater,
lärare, via självreflektion eller via
aktiviteten i sig själv.
Skapa
Den kunskap studenten tillägnat
sig bekräftas och befästs genom
studentens eget skapande.
Studenten motiveras att
formulera och uttrycka sin
nuvarande begreppsmässiga
förståelse och att visa hur den
praktiskt kan tillämpas.
Learning types, Diana Laurillard, IoE 2012 | Connected Curriculum, Dilly Fung, CALT, 2014 | ABC curriculum design workshop and resources, Clive Young and Natasa Perovic, Digital
Adapted from ABC workshop resources, ABC Learning Design,
UCL.
By Clive Young and Natasa Perovic. Available at:
https://blogs.ucl.ac.uk/abc-ld

11. Aktiviteter för undervisning och lärande
Inhämta Samarbeta Diskutera
Utforska
Skapa
läsa böcker, artiklar
lyssna på lärares presentationer
vid fysiska möten, föreläsningar
demonstrationer, master classes
Läsa
multimediapresentationer,
websajter, digitala dokument
och andra digitala resurser
lyssna på podcaster
se på animationer,
videopresentationer
❑ Läsa litteratur,
böcker, artiklar
❑ Aktivt deltagande vid
föreläsningar och
presentationer
❑ Aktivt deltagande vid
demonstrationer,
master class
❑ Inspelade föreläsningar,
poddar och presentationer
❑ Ta in föreläsare på distans
(nyttja videosalar)
❑ Webbinarier
❑ Digitala böcker, artiklar,
dokument…
❑ Webbsidor, multimedia
❑ Videobaserat material,
animationer, digitala
förevisningar
❑ Mindre grupprojekt
❑ Diskutera och utveckla
varandras arbeten
❑ Skapa och utveckla
gemensamma resurser,
texter, presentationer,
demonstrationer
❑
❑
❑
❑
❑
❑
❑ Bygga gemensamma wikis
Nyttja onlineforum,
videomötesteknik mm
❑ för att diskutera varandras
arbeten i mindre grupper
❑ Utvecklagemensamma
arbeten med hjälp av
digitala verktyg
❑ Presentera resultat i olika
digitala format
❑
❑
❑
❑ Handledning
❑ Diskussionsgrupper
❑ Seminarier
❑ Kurs- och/eller
programgemensamma
diskussioner
❑
❑
❑
❑
❑
❑
❑
❑ Diskussionsforum
❑ Seminarier via webb/video-
konferens
❑ Webbinarier
❑ Synkron och asynkron
kommunikation via digitala
verktyg
❑ Handledning på distans
❑
❑
❑
❑
❑ Insamling och analys av
data (intervju, enkät,
fokusgrupper mm)
❑ Söka fram och utvärdera
relevant information och
fakta
❑ Jämföra och analysera
text- eller sifferbaserat
innehåll,
konstnärliga
uttrycksformer,
olika typer av produkter
❑ Utforska med hjälp av
digitala guider och resurser
❑ Analysera idéer och
information som hämtas
via digitala resurser
❑ Använda digitala verktyg
för att samla in och
analysera data
❑ Jämföra digitala texter
❑ Använda digitala verktyg
för utvärderingar
❑ Verksamhetsförlagd
utbildning
❑ Tillämpa sin kunskap via
olika typer av övningar och
laborationer
❑ Utveckla projekt där
teoretisk kunskap
tillämpas praktiskt
❑ Studiebesök
❑ Rollspel
❑ Pappertentor
❑
❑
❑ Webbaserade övningar
❑ Simuleringar
❑ Virtuella labmiljöer
❑ Övningar i 3D-miljöer
❑ Självrättande tester
❑ Rollspel – online
❑ Digitala modeller
❑ Virtual reality
❑ E-tenta (High Stake Exam)
❑
❑
❑
❑
❑ Skapa och producera:
❑ Design/konstruktion
❑ Performance/förevisning
❑ Framträdanden
❑ Artefakter
❑ Modeller
❑ Skapa och producera
texter i olika former:
❑ Essäer
❑ Rapporter
❑ Redogörelser/referat
❑ Digitala dokument och
presentationer
❑ Spela in/digitalisera
framträdanden, modeller
❑ Skapa animationer
❑ Skapa bilder,
videoproduktioner
❑ Digitala artefakter
❑ Bloggar, vloggar
❑ Sammanställa e-portfolios
❑ Open Book-exam
❑
Skapa
Traditionell metod Digital teknik Traditionell metod Digital teknik
Traditionell metod Digital teknik
Traditionell metod Digital teknik
Traditionell metod Digital teknik
Tillämpa och praktisera
Traditionell metod Digital teknik
Learning types, Diana Laurillard, IoE 2012 | Connected Curriculum, Dilly Fung, CALT, 2014 | ABC curriculum design workshop and resources, Clive Young and Natasa Perovic, Digital Education,
Adapted from ABC workshop resources, ABC Learning Design,
UCL.
By Clive Young and Natasa Perovic. Available at:
https://blogs.ucl.ac.uk/abc-ld

12. Aktiviteter för undervisning och lärande, S – Synligt lärande. B – kan Bedömas (F eller S)
Utforska
Intervjua en expert (video / forum / chatt) S
Kritisk granskning av litteratur (forum / blogg /
wiki / RSS) S / B
Utveckla flervalsfrågor - med automatisk
återkoppling S / B
Utveckla gemensamt resursbibliotek
(databas/ ordbok / wiki) S / B
Utveckla presentationer, posterpresentationer
S / B
Redovisa utveckling och resultat i e-portfolio
(It¨s Learning) S / B
Fallstudier (forum, lektion) S / B
Sammanfattning av uppgifter (ladda upp
texter - enskilt eller i grupp) S / B
Skapa mindmaps (extern) S
Spela in presentationer (multimedia) S / B
Spela in kommentarer eller blogga om
ditt/gruppens framförande (media) S / B
Gör en presentation av ditt ämne i valfritt
medium (extern) S / B
Videoblogg (webb) S / B
Skriv en rapport (webb) S / B
Gör en analys (webb) S / B
Fallstudier S / B
Avancerat rollspel - du är konsult etc. S
Handlingsplan för vidare studier S / B
Skriv ett paper S / B
Förbered en professionell presentation S / B
Gör en fältstudie och dokumentera (studie) S
/ B
Skapa podcast (media) S / B
Intervjua specialister inom området S / B
Utveckla områden, och former för
samarbeten S / B
Open Book Exam S / B
Tillämpa och praktisera Skapa
Websökning (forum, wiki) S
Öppna lärresurser (webb) S
Kritisk granskning av litteratur (forum / blogg /
wiki / RSS) S
Fältstudier / observationer (media / blogg /
wiki) S
Aktionsforskning S
Forskning/dataanalys - skriva paper S
Leda grupprojekt S
MCQs - formativ med automatisk
återkoppling S / B
Online rollspel (forum, lärplattform) S
Reflekterande uppgifter – i grupp eller
individuellt (forum) S / B
Fallstudier (forum, lektion) S / B
Fältstudier(forum) S / B
Avancerat rollspel - du är konsult etc. S
E-tenta S / B
;
Inhämta kunskap
Inläsning (biblioteksresurser mm)
Öppna lärresurser (webb)
Podcast (mediaspelare) S
Webbinarer (virtuella rum) S
Q & A forum (forum där lärare svarar på
studenternas frågor) S
Inspelade föreläsningar (lärplattform mm)
YouTube-inspelningar (mediaspelare)
Fält-/lab observationer (media/blogg/wiki) S
Flervalsfrågor - frågebank med
automatisk återkoppling S
Samarbeta
Samarbete i wiki - vad vet vi om ...? S / B
Utveckla gemensam resurs (databas / ordbok
/ wiki) S
Sociala nätverk – aktivt deltagande (webb) S
Intressegrupper - dela kunskap inom ett visst
område (forum) S
Agera mentor för andra studenter S
Intervjua en expert (forum / chatt) S
Webbinarer (virtuella rum) S
Diskutera exempelsvar / exempel från
tidigare uppgifter (forum) S
Arbetsrelaterat / professionella reflektioner
(blogg) S / B
Ämnesrelaterade gruppdiskussioner,
problem, problemlösning (chatt / blogg / wiki)
S / B
Sociala nätverk – aktivt deltagande (webb) S
Reflekterande uppgifter – i grupp eller
individuellt (forum) S / B
Diskutera
Adapted from ABC workshop resources, ABC Learning Design,
UCL.
By Clive Young and Natasa Perovic. Available at:
https://blogs.ucl.ac.uk/abc-ld

13. Nya
examinations
-former…
snabbare
analyser

14. Har våra papperstentor
validitet & reliabilitet?
• Standard error of measurement (SEM),
Analyzing individual questions (items).
Discriminator (incorrect options) discrimination,
Difficulty index, Cronbach-alpha, Writing Good
Multiple Choice Test Questions,
• Multifactor evaluation (Learning Analytic) - With
Exam overview (i realtid, faktabaserat
beslutsunderlagstyrka valet av
examinationsfrågorna)
• Pass marks, pass/fail, Grade, pass mark, pass
rate, discrimination
• Question preformance (Pearson’s % item
discrimination)
• Candidate performance, score discrimination
Avarage SD
• Difficulty vs Discrimination
• Excluded items
Reliability consistency,
reproducibility - a reliable
test (repeat the test with
the same results).
Cronbach-alpha, measure
over 0.0 considered good
.90 and up excellent
.80-.89 good
.70-79 adequate
Below .70 lower or
acceptable
Item discrimination is
measured in two
different ways. 20%
low and 20% highest.
The range are +1 to -1.
Above 0.4 very good
Above 0.2 OK
Below 0.1 Little or no
value
Below 0.0 Negative
impact on test, should
be removed
Discriminator (incorrect options) discrimination
Measure how well the incorrect answers distract from the correct
answer
If distractor is never or seldom chosen, then why have them
Rewriting distractor can improve a question
Difficulty index
Easy or difficult
Different from item
discrimination
Q close to 100% correct don’t
add not any value
Incorrect most are also poor
question
20% (in 1 out of 5) means 80-
40% is good, an indicator that
the question has a problem

15. Learning Analytics (Objektanalys) – för kvalitetssäkring

16. Effektivitet
Verksamhetsutveckling
• Målet är att bespara manuellt administrativt arbete och
utveckla formerna för kunskapsprövning och kvalitet i
examination – detta ger effektivitet.
Inputs
• What we invest … e. g. infrastrucure/integrations (LTI, LIS)
• Staff time, Tech expertice, Systems, Training, User Group
Outputs
• Less time on tasks for teachers
• Better student experiences
Outcomes
• Lower indirect costs and costs per exam
• Better quality och flexible forms of exams

17. Projekt Digital tentamen II projekt –
Digital tentamen II
Rapporten Datoriserad
tentamen (170 sidor) –
som ger en översikt hur
digitalisering av
arbetsprocesserna kan
genomföras från ax till
limpa av den traditionella
papperstentamen med
salsskrivning.
Webbplats:
http://bit.ly/2zmN4y6

18. Fördelarna – digital examination
Fördelarna – flera representationsformer för både formativ och
summativ examination, feedback och bedömning.
• Att använda video, ljudfiler, simuleringar (multimedia)
• Att använda digitala annoteringar, kommentarer, feedback i t
ex pdf-filer eller webbsidor
• Att använda kommenterar från andra studenter - peer review
/ kamratbedömning, kollegial bedömning
• Att använda digitala bedömningsmallar (Rubrics)
• Att lärarna enklare och flexiblare kan ge samma feedback till
flera/alla studenter som har liknande svar
• Utveckla digital examination på distans (Online Proctoring)

19. Fördelarna – digital tentamen
Fördelarna (Brenner & Sandström, 2015) med datoriserad
tentamen är bl a att bedömning/rättning kan ske snabbare
(30-70%) och bättre med högre kvalitet utförd, då det blir
enklare när studenternas svar är digitala – då framförallt
genom:
• Att använda digitala bedömningsmallar
• Att fler lärare är med och granskar/gör bedömning med
rättningsprotokoll (Moderation)
• Att studenternas svar är och lärarnas bedömning är
anonym
• Att lärarna kan sitta var som helst för att göra sin
rättning/bedömning
• Att lärarna enklare och flexiblare kan kommentera i
dokument, markera på bilder m m som feedback till
studenter

20. Fler fördelar än nackdelar…
lärare/examinator
• Översiktligt och enkelt med fler representationsformer
• Tidsbesparande, mindre arbetstid behövs emot
manuellt för rätta/bedöma
• Enklare bedöma, hitta de som gjort samma fel och
därmed få en bättre och mer likvärdig bedömning
• Sparar tid i utformning och poängsättning
• Kan ha flera examinatorer (rättningsprotokoll)
• Kan ha negativa poäng, ge extra poäng
• Använda plausibla svar och goda distraktorer
• Kan ha mallar för tenta (antal frågor, typ av frågor,
begränsar/standardiserar)
• Kan använda 3:djeparts applikationer – streaming av
programvara för autentisk tenta
• Spara och återanvända frågor i frågebank
• Enklare utvärdera frågor och frågetyper
• Plagiatkontroll går genomföra
• Prestationerna bättre – läsbart, omdisponerad text, kan
infoga bilder/skisser
• Anpassning för studenter med funktionsvariationer
förbättras

21. Flera färdiga systemlösningar finns

22. Frågetyper. Vad kan lärplattformen?
It’s Learning: Frågetyper hos ESBH

23. Läge att ändra frågetyperna
Öppna frågetyper Automaträttade frågetyper
Öppen fråga (antal ord från max 100
– 400)
Flerval (3 – 4 alternativ)
Case, öppen fråga Flersvarsfråga (3-6 alterantiv, t ex 2
rätt)
Para ihop (matcha)
Matematik (Läkemedelsberäkning) Bildfråga, markera (anatomi)
Undersökningsmaterial – data: Randomiserat urval, 12 papperstentor, flertal ämnen representerade.

24. Frågetyper – lärnivå (taxonomi)
Frågetyp Ord i tentorna
(aktiva verb)
Blooms
Taxonomi
(kunskaps-
dimensionen)
SOLO
Taxonomi
Öppen fråga (antal
ord från max 100 –
400)
Ange, Nämn, Beskriv,
Begrepp, Ange olika
sorter, Vad menas,
innebär, Verkar, Råd,
Vilka, Skillnad, Typ av,
Innebär, o/påverkbara
faktorer, Dominerad
orsak, typ, Viktigaste,
Observerbar, Exempel,
Vilka instrument,
bedömningar, Betyder,
Vilket
Faktakunskap
Begreppskunskap
Procedurkunskap
Metakognitiv
kunskap
Jämföra
Kontrastera
Förklara samband
Analysera
Relatera
Tillämpa

25. Case-frågor i tentorna – kvarstå
Case, öppen fråga SOLO Taxonomi
Aktiva verb, ord i tenta frågorna Jämföra
Kontrastera
Förklara samband
Analysera
Relatera
Tillämpa

26. Automaträttande frågetyperna
Frågetyp SOLO taxonomi
Flerval (3 – 4 alternativ) Numrera
Beskriva
Lista
Kombinera
Flersvarsfråga (3-6 alternativ,
t ex 2 rätt)
Numrera
Beskriva
Lista
Kombinera
Para ihop (matcha) Identifiera
Göra enkla procedurer
Bildfråga, markera (anatomi) Identifiera
Göra enkla procedurer

27. Etiska dilemman…
Frågetyper kan ge en mer autentisk
situation vid kunskapsprövning.
Interaktiv video…
Virtuell tur…

28. Digital tentamen i praktiken
• Tentavärdar får nya
roller
• Lokal och utrustning
anpassas
• Systemlösningen
• Nya frågetyper
används mäta
kunskap och
kompetens

29. Göteborgs universitet och Chalmers
• Nya anpassade
lokaler. Lånedatorer.
• Samtida digital-
/papperstenta. Inspera
Assessment.
• Högre krav på
tentavakterna

30. Örebro och Karlstad
• Byggt om och byggt till
nya anpassade lokaler
• WISEflow med
FLOWlock
• Lånedatorer
• Högre krav på
tentavärdarna

31. Sophiahemmet högskola
• Alla tentor är nu digitala
tentor
• Pilot till genomförande 1
år
• Ej integrerat med övriga
system

32. Stockholms Universitet - EXIA
• En fast lokal, flera flexibla
lokaler
• Både BOYD och lokal
med egen utrustning
• Skalar upp – har ett
stort/utspritt campus

33. Förstudie, Pilotestar och Upphandlar
• Mälardalens högskola – 3
system parallellt
• Centrala projekt: Lunds-
och Umeå universitet
• Uppsala har upphandlat
klart – byggt om
• Gävle, pilottestar
Dugga.se och använt
LMS Bb sedan över 15 år

34. Säkerhet -
Level of
Assurance
MINSKA FUSK - PUBLICERINGFORM
MINSKA FUSK - EXAMINATIONSFORM
Randomisera frågor med frågebank
En fråga åt gången
Låsa skärm – ingen
internet
Övervaka dataskärm
Ej kunna backa
Avskärma

35. Säkerhet/Risk: examinations
former (high stake)

36. Säkerhet i systemlösningen – med låst skärm. Student kan inte
komma åt Internet eller andra resurser på datorn
Säker webbläsare:
1.Respondus Lockdown
Browser (Licens)
2.SEB (Open Source)

37. Arbetsprocessen
digitaliseras –
management &
kvalitet
Provkonstruktion - frågetyper, frågebanker,
Learning Analytic, förbättringsarbete,
immateriella rättigheter (frågebanker),
metadata för söka/beskriva frågorna i
kategori, ämnesområde, kunskapsnivå,
sökord.
Testsituationen - autentisering,
funktionshinder, säker webbläsare/låsa
skärm, ej kommunicera via internet,
övervakning/säkerhet, incidenthantering,
intern IT-kompetens.
Bedömning- och betygsättning via digitala
bedömningsmallar – Kriterier,
bedömningsmallar (Rubrics), utveckla
feedback och referensramar för
kvalifikationer – kopplingen till lärandemål
(Learning Outcomes).

38. Kritiska design-principer –
digitalisering
• Underhållsmässighet: Om lösningen kan anpassas eller återa
nvändas för att möta mer än ett behov/möta flera behov.
• Kompatibilitet: Om lösningen kan dela information med andra
lösningar så att användare kan dra fördel.
• Effektivitet: Om lösningen driver kostnads-
och tidsbesparingar.
• Maintainability: Whether the solution can be adapted or
reused to meet more than one need.
• Compatibility: Whether the solution can share information with
other solutions such that users can benefit.
• Efficiency: Whether the solution drives cost and time savings.
REF: When.. ”decide that the fundamental design principles for supporting educational technology are agility and
interoperability – all technology must enable adaptation to changing environments.” URL: https://encoura.org/helping-
institution-realize-vision-five-edtech-companies-watch/ och http://pubs.opengroup.org/architecture/togaf8-
doc/arch/chap29.html

39. De kritiska faktorerna vid
införandet
 Ledarskap från toppen
 Institutionellt engagemang och investeringar
 Robust och tillförlitlig infrastruktur
 Effektivt och tillgängligt stöd & utveckling för akademisk
personal
 Förmåga att demonstrera fördelarna av upplevelse för
student, lärare och administrativ personal
 Evidensbaserat beslutsfattande och en kontinuerlig
förbättringscykel

40. FRÅGOR OCH TACK!
Kontakt: mats.brenner@esh.se
Tfn: 076 893 1061