Impulsvortrag zum Herbstforum der Lehre „Digitale Prüfungsformate“ an der TU München Open-Book-Prüfungen als unüberwachte Fernprüfungen haben einige Risiken bei der Authentizitätsprüfung der Prüflinge und der Sicherstellung der Integrität der Prüfung, bieten aber dafür viele Chancen, über eine Weiterentwicklung analoger Prüfungsformate nachzudenken, das zur Lebenswelt der Studierenden gehörende Internet weiter in Lehrveranstaltungen sowie Prüfungen zu integrieren und damit ganz andere praxisrelevante und lebensnahe Kompetenzen zu adressieren. Im Impulsvortrag berichtet Mathias Magdowski von einer solchen Prüfung in den Grundlagen der Elektrotechnik und lädt zum Austausch über solche Formate sowie zu der Weiterentwicklung von unüberwachten Open-Book- oder Take-Home-Prüfungen ein.

1. Digitale Prüfungen – Wo sind wir?
Und wo möchten wir hin?
Impulsvortrag zum Herbstforum der Lehre
„Digitale Prüfungsformate“ an der TU München
Mathias Magdowski
Lehrstuhl für Elektromagnetische Verträglichkeit
Institut für Medizintechnik
Otto-von-Guericke-Universität, Magdeburg
12. Oktober 2021
Lizenz: cb CC BY 4.0 (Namensnennung, Weitergabe unter gleichen Bedingungen)
Folien: https://bit.ly/TUM_Exams bzw.

2. Einführung

3. Einführung Erfahrungsaustausch 6 Thesen Fazit
Die große Frage
Status Quo von digitalen Prüfungen 3

4. Einführung Erfahrungsaustausch 6 Thesen Fazit
Die große Frage
+ = ?
Quelle links: https://pixabay.com/photos/school-exam-french-bad-wrong-fail-683553/
Quelle rechts: https://pixabay.com/vectors/germ-bacillus-angry-fight-against-158107/
Status Quo von digitalen Prüfungen 3

5. Einführung Erfahrungsaustausch 6 Thesen Fazit
Offline-Prüfungen in Messehallen
Quelle: https://twitter.com/LehrstuhlEMV/status/1284448510558056450
Status Quo von digitalen Prüfungen 4

6. Einführung Erfahrungsaustausch 6 Thesen Fazit
Offline-Prüfungen in einem Fußballstadion
Quelle: South Korean Jobseekers Take Written Exam In Football Stadium To Avoid Coronavirus
(https://www.ladbible.com/news/
news-south-koreans-take-exam-in-football-stadium-to-avoid-coronavirus-20200405)
Status Quo von digitalen Prüfungen 5

7. Einführung Erfahrungsaustausch 6 Thesen Fazit
Übersicht
Einführung
Erfahrungen zu einer Open-Book-Online-Prüfung
Konzept
Vorbereitung
Durchführung
Korrektur
Erkenntnisse und Kuriosa
Open Book in Präsenz
Sechs Thesen
Fazit
Status Quo von digitalen Prüfungen 6

8. Erfahrungen zu einer
Open-Book-Online-Prüfung

9. Einführung Erfahrungsaustausch 6 Thesen Fazit
Online-Prüfungen – Das unbekannte Wesen
Status Quo von digitalen Prüfungen 8

10. Einführung Erfahrungsaustausch 6 Thesen Fazit
Online-Prüfungen – Das unbekannte Wesen
Quelle: https://imgflip.com/memetemplate/
173475872/Trump-loser
Status Quo von digitalen Prüfungen 8

11. Einführung Erfahrungsaustausch 6 Thesen Fazit
Online-Prüfungen – Das unbekannte Wesen
Quelle: https://imgflip.com/memetemplate/
173475872/Trump-loser
Quelle: https://imgflip.com/memetemplate/
96335971/Youre-a-loser
Status Quo von digitalen Prüfungen 8

12. Einführung Erfahrungsaustausch 6 Thesen Fazit
Open-Book-Online-Prüfung
Quelle: https://pixabay.com/de/photos/studium-pr%C3%BCfungen-vorbereitung-951818/
Status Quo von digitalen Prüfungen 9

13. Einführung Erfahrungsaustausch 6 Thesen Fazit
Beispiel für einen individuellen Prüfungsbogen
Quelle: https://mathiasmagdowski.wordpress.com/2021/05/05/
online-take-home-elektrotechnik-pruefung/
Status Quo von digitalen Prüfungen 10

14. Einführung Erfahrungsaustausch 6 Thesen Fazit
Zehn Themenbereiche für die Prüfung
1. Ladung und Strom (12 Aufg.)
2. Temperaturabhängiger Widerstand, Stromdichte,
spezifischer Widerstand, Kapazität, Induktivität (32 Aufg.)
3. Grundstromkreis, Strom- und Spannungsteilerregel,
DC-Leistung, Ersatzwiderstand, Brückenschaltung,
Leistungsanpassung (26 Aufg.)
4. Zweipoltheorie, Vierpoltheorie (33 Aufg.)
5. Zweigstromanalyse, Maschenstromanalyse oder
Knotenspannungsanalyse, Superposition (33 Aufg.)
6. Mittelwert und Effektivwert, Komplexe Rechnung (21 Aufg.)
7. Zeigerbild oder Ortskurve, Schwingkreise (27 Aufg.)
8. Komplexe Leistung und Leistungsfaktorkorrektur (14 Aufg.)
9. Drehstrom (13 Aufg.)
10. Schaltvorgang (11 Aufg.)
Status Quo von digitalen Prüfungen 11

15. Einführung Erfahrungsaustausch 6 Thesen Fazit
Vielfalt durch einen großen Aufgabenkatalog
Quelle: https://imgflip.com/i/4x1vg1
Status Quo von digitalen Prüfungen 12

16. Einführung Erfahrungsaustausch 6 Thesen Fazit
Einreichungsformular aus Teilnehmenden-Sicht
Quelle: https://mathiasmagdowski.wordpress.com/2021/05/05/
online-take-home-elektrotechnik-pruefung/
Status Quo von digitalen Prüfungen 13

17. Einführung Erfahrungsaustausch 6 Thesen Fazit
Proctoring anders herum
Quelle: https://mathiasmagdowski.wordpress.com/2021/05/05/
online-take-home-elektrotechnik-pruefung/
Status Quo von digitalen Prüfungen 14

18. Einführung Erfahrungsaustausch 6 Thesen Fazit
I can haz Gauzzian distributionz
≥ 0 % ≥ 10 %≥ 20 %≥ 30 %≥ 40 %≥ 50 %≥ 60 %≥ 70 %≥ 80 %≥ 90 %
0
5
10
Punkteanteil der Gesamtpunktzahl
absolute
Häufigkeit
Quelle: https://mathiasmagdowski.wordpress.com/2021/05/05/
online-take-home-elektrotechnik-pruefung/
Status Quo von digitalen Prüfungen 15

19. Einführung Erfahrungsaustausch 6 Thesen Fazit
Zeitverlauf der Einreichungen vor der Einreichungsfrist
−60 −50 −40 −30 −20 −10 0
0
20
40
60
Zeitpunkt t der Einreichung vor der Frist in min
Anzahl
der
Einreichungen
Aufgabe 1
Aufgabe 2
Aufgabe 3
Aufgabe 4
Aufgabe 5
Aufgabe 6
Aufgabe 7
Aufgabe 8
Aufgabe 9
Aufgabe 10
Quelle: https://mathiasmagdowski.wordpress.com/2021/05/05/
online-take-home-elektrotechnik-pruefung/
Status Quo von digitalen Prüfungen 16

20. Einführung Erfahrungsaustausch 6 Thesen Fazit
The dog ate my internet connection.
Quelle: https://mathiasmagdowski.wordpress.com/2021/05/05/
online-take-home-elektrotechnik-pruefung/
Status Quo von digitalen Prüfungen 17

21. Einführung Erfahrungsaustausch 6 Thesen Fazit
Videos helfen auch nicht
Quelle: Eine „umgedrehte“ Video-Nachbesprechung einer Leistungskontrolle im E-Technik-Grundstudium
https://dl.gi.de/handle/20.500.12116/24416
Status Quo von digitalen Prüfungen 18

22. Einführung Erfahrungsaustausch 6 Thesen Fazit
Videos helfen doch
Quelle: https://mathiasmagdowski.wordpress.com/2021/05/05/
online-take-home-elektrotechnik-pruefung/
Status Quo von digitalen Prüfungen 19

23. Einführung Erfahrungsaustausch 6 Thesen Fazit
Zeitaufwand
Vorbereitung: ↑
Status Quo von digitalen Prüfungen 20

24. Einführung Erfahrungsaustausch 6 Thesen Fazit
Zeitaufwand
Vorbereitung: ↑
(Aller Anfang
ist schwer!)
Status Quo von digitalen Prüfungen 20

25. Einführung Erfahrungsaustausch 6 Thesen Fazit
Zeitaufwand
Vorbereitung: ↑
(Aller Anfang
ist schwer!)
Durchführung: ↓
Status Quo von digitalen Prüfungen 20

26. Einführung Erfahrungsaustausch 6 Thesen Fazit
Zeitaufwand
Vorbereitung: ↑
(Aller Anfang
ist schwer!)
Durchführung: ↓
Korrektur: ↓ oder ↑
Status Quo von digitalen Prüfungen 20

27. Einführung Erfahrungsaustausch 6 Thesen Fazit
Open Book in Präsenz
Quelle: https://twitter.com/MMagdowski/status/1422867258129461248
Status Quo von digitalen Prüfungen 21

28. Einführung Erfahrungsaustausch 6 Thesen Fazit
Welche Hilfsmittel sind beliebt?
Quelle: https://twitter.com/MMagdowski/status/1422867258129461248
Status Quo von digitalen Prüfungen 22

29. Einführung Erfahrungsaustausch 6 Thesen Fazit
Werden die Hilfsmittel sinnvoll genutzt?
Wofür ich einen Laptop
nutzen würde:
Status Quo von digitalen Prüfungen 23

30. Einführung Erfahrungsaustausch 6 Thesen Fazit
Werden die Hilfsmittel sinnvoll genutzt?
Wofür ich einen Laptop
nutzen würde:
▶ MATLAB, GNU Octave
(komplexe Rechnung,
Gleichungssysteme
lösen, Plotten)
▶ Wolfram Alpha
▶ LTspice, EasyEDA
(Netzwerksimulation)
▶ Maxima (Computeralge-
brasystem, Analysis)
Status Quo von digitalen Prüfungen 23

31. Einführung Erfahrungsaustausch 6 Thesen Fazit
Werden die Hilfsmittel sinnvoll genutzt?
Wofür ich einen Laptop
nutzen würde:
▶ MATLAB, GNU Octave
(komplexe Rechnung,
Gleichungssysteme
lösen, Plotten)
▶ Wolfram Alpha
▶ LTspice, EasyEDA
(Netzwerksimulation)
▶ Maxima (Computeralge-
brasystem, Analysis)
Wofür die Studierenden
den Laptop nutzten:
Status Quo von digitalen Prüfungen 23

32. Einführung Erfahrungsaustausch 6 Thesen Fazit
Werden die Hilfsmittel sinnvoll genutzt?
Wofür ich einen Laptop
nutzen würde:
▶ MATLAB, GNU Octave
(komplexe Rechnung,
Gleichungssysteme
lösen, Plotten)
▶ Wolfram Alpha
▶ LTspice, EasyEDA
(Netzwerksimulation)
▶ Maxima (Computeralge-
brasystem, Analysis)
Wofür die Studierenden
den Laptop nutzten:
▶ Volltextsuche im
Skript/Buch
▶ Scrollen durch Folien,
Übungsmitschriften &
Musterlösungen
▶ Recherche bei
Wikipedia und (passive)
Forumsnutzung
Status Quo von digitalen Prüfungen 23

33. Einführung Erfahrungsaustausch 6 Thesen Fazit
Punkteverteilung
≥ 0 % ≥ 10 % ≥ 20 % ≥ 30 % ≥ 40 % ≥ 50 % ≥ 60 % ≥ 70 % ≥ 80 % ≥ 90 %
0
2
4
6
8
10
12
Punkteanteil
absolute
Häufigkeit
Punkteverteilung Gesamtpunktzahl
Status Quo von digitalen Prüfungen 24

34. Einführung Erfahrungsaustausch 6 Thesen Fazit
Papier über Papier
Quelle: https://twitter.com/MMagdowski/status/1423167360496803840
Status Quo von digitalen Prüfungen 25

35. Sechs Thesen

36. Einführung Erfahrungsaustausch 6 Thesen Fazit
1. These
Eine reine Digitalisierung vorhandener analoger
Prüfungsformate ohne weitere Anpassung ist nicht
zielführend.
Status Quo von digitalen Prüfungen 27

37. Einführung Erfahrungsaustausch 6 Thesen Fazit
1. These
Eine reine Digitalisierung vorhandener analoger
Prüfungsformate ohne weitere Anpassung ist nicht
zielführend.
Thorsten Dirks, CEO von
Telefónica Deutschland:
„Wenn sie einen
Scheißprozess digitalisieren,
dann haben sie einen scheiß
digitalen Prozess.“
Bildquelle: E-Plus-Gruppe, CC BY 2.0,
https://commons.wikimedia.org/w/index.
php?curid=40920042
Status Quo von digitalen Prüfungen 27

38. Einführung Erfahrungsaustausch 6 Thesen Fazit
2. These
Das Internet gehört intrinsisch zur Lebenswelt der
Studierenden. Man kann es in Lehrveranstaltungen und
Prüfungen nicht ausblenden.
Quelle: https://pixabay.com/de/photos/h%C3%A4nde-ipad-tablette-technologie-820272/
Status Quo von digitalen Prüfungen 28

39. Einführung Erfahrungsaustausch 6 Thesen Fazit
3. These
Um die Kompetenzen des 4K-Modells (Kreativität,
Kommunikation, Kollaboration und kritisches Denken)
zusammen mit fachlichen Kompetenzen zu Prüfen,
braucht es neue Prüfungsformate.
Status Quo von digitalen Prüfungen 29

40. Einführung Erfahrungsaustausch 6 Thesen Fazit
4. These
Proctoring und Videofernüberwachung von Prüflingen in
Online-Prüfungen sind bei unpassenden Aufgaben
entweder nutzlos oder unverhältnismäßig gegenüber
möglichen Betrugsversuchen von Studierenden.
Status Quo von digitalen Prüfungen 30

41. Einführung Erfahrungsaustausch 6 Thesen Fazit
5. These
Es ist besser, eine summative Prüfung durch viele kleine
formative Assessments zu ersetzen, die kontinuierliche
Rückmeldung an die Studierenden geben.
01
02
03
04
Quelle: https://pixabay.com/de/vectors/infografik-treppenhaus-fortschritt-2895154/
Status Quo von digitalen Prüfungen 31

42. Einführung Erfahrungsaustausch 6 Thesen Fazit
6. These
Wenn sich kompetenzorientierte Open-Book-Prüfungen
etablieren ist es organisatorisch nicht mehr notwendig,
alle Studierenden zur gleichen Zeit zu prüfen. Das
Angebot von frei wählbaren 24/7-Prüfungsterminen
könnte ein hochschulischer Wettbewerbsvorteil sein.
Quelle: https://pixabay.com/de/illustrations/woche-24-7-7-tage-jetzt-offen-1468271/
Status Quo von digitalen Prüfungen 32

43. Fazit

44. Einführung Erfahrungsaustausch 6 Thesen Fazit
„Gute“ Prüfungen sind:
▶ authentisch
Status Quo von digitalen Prüfungen 34

45. Einführung Erfahrungsaustausch 6 Thesen Fazit
„Gute“ Prüfungen sind:
▶ authentisch
▶ zeitgemäß
Status Quo von digitalen Prüfungen 34

46. Einführung Erfahrungsaustausch 6 Thesen Fazit
„Gute“ Prüfungen sind:
▶ authentisch
▶ zeitgemäß
▶ kompetenzorientiert
Status Quo von digitalen Prüfungen 34

47. Einführung Erfahrungsaustausch 6 Thesen Fazit
„Gute“ Prüfungen sind:
▶ authentisch
▶ zeitgemäß
▶ kompetenzorientiert
▶ nicht „googlebar“
Status Quo von digitalen Prüfungen 34

48. Einführung Erfahrungsaustausch 6 Thesen Fazit
„Gute“ Prüfungen sind:
▶ authentisch
▶ zeitgemäß
▶ kompetenzorientiert
▶ nicht „googlebar“
Stattdessen:
Straßenlampen-Effekt: Dort
suchen, wo es am am
einfachsten scheint, nicht wo es
am relevantesten ist.
Quelle: https://twitter.com/beatdoebeli/
status/1444225274128879617
Status Quo von digitalen Prüfungen 34

49. Einführung Erfahrungsaustausch 6 Thesen Fazit
Vielen Dank für Eure/Ihre Aufmerksamkeit!
Gibt es weitere Fragen?
Status Quo von digitalen Prüfungen 35