Digitale Prüfungen: so offen wie möglich, so sicher wie nötig - Impulsvortrag zur Kick-Off-Konferenz des Projekts PITCH

Digitale Prüfungen: so offen wie möglich, so sicher wie nötig
Impulsvortrag zur Kick-Off-Konferenz des Projekts PITCH
Mathias Magdowski
Lehrstuhl für Elektromagnetische Verträglichkeit
Institut für Medizintechnik
Otto-von-Guericke-Universität, Magdeburg
10. Februar 2022
Lizenz: cb CC BY 4.0 (Namensnennung, Weitergabe unter gleichen Bedingungen)
Folien: https://bit.ly/PITCHexams bzw.

Einführung Erfahrungsaustausch 6 Thesen Fazit
Die große Frage
O online exam, where art thou? 3

Die große Frage
+ = ?
Quelle links: https://pixabay.com/photos/school-exam-french-bad-wrong-fail-683553/
Quelle rechts: https://pixabay.com/vectors/germ-bacillus-angry-fight-against-158107/

Die einfache Antwort

Die einfache Antwort
Quelle: jeferrb via Pixabay https://pixabay.com/de/vectors/netzwerk-iot-internet-der-dinge-782707/

Die komplizierte Antwort

Think outside the box!
Verbinde die 9 Punkte mit 4 Geraden ohne Abzusetzen!

Herausforderungen bei Prüfungen
▶ Passung zur Lernmethode und den Lernzielen (Constructive Alignment)

▶ Korrekturaufwand/Skalierbarkeit

▶ Objektvität

▶ Objektvität
▶ Validität

▶ Objektvität
▶ Validität
▶ Authentizität

▶ Objektvität
▶ Validität
▶ Authentizität
▶ Datenschutz

▶ Objektvität
▶ Validität
▶ Authentizität
▶ Datenschutz
▶ Rechtssicherheit

▶ Objektvität
▶ Validität
▶ Authentizität
▶ Datenschutz
▶ Transparenz

▶ Objektvität
▶ Validität
▶ Authentizität
▶ Datenschutz
▶ Transparenz
▶ Verfügbarkeit & Integrität

Traditionelle Prüfungsformen vs. reale Arbeitswelt
Quelle: https://pixabay.com/de/photos/
taschenrechner-notizblock-1687962/

Traditionelle Prüfungsformen vs. reale Arbeitswelt
Quelle: https://pixabay.com/de/photos/
taschenrechner-notizblock-1687962/
Quelle: https://pixabay.com/de/
arbeitsplatz-team-gesch%C3%
A4ftstreffen-1245776/

Übersicht
Einführung
Erfahrungen zu einer Open-Book-Online-Prüfung
Konzept
Vorbereitung
Durchführung
Korrektur
Erkenntnisse und Kuriosa
Open Book in Präsenz
Sechs Thesen
Fazit

Erfahrungen zu einer Open-Book-Online-Prüfung

Online-Prüfungen – Das unbekannte Wesen

Quelle: https://imgflip.com/memetemplate/
173475872/Trump-loser

173475872/Trump-loser
96335971/Youre-a-loser

Typische Täuschungsszenarien
Austausch:

Austausch: Plagiat:

Austausch: Plagiat: Contract Cheating:

Warum trotzdem kein Proctoring?
Leitbild Lehre:
„Die Basis unserer Informations-
und Kommunikationskultur sind Ver-
trauen und Transparenz.“

Leitbild Lehre:
Offene Fragen:
▶ 3. Personen im Raum, Knopf im Ohr
▶ vorproduzierte Videobilder und Töne
▶ Toilettenbesuch
▶ Bandbreite, Verbindungsabbrüche
▶ Aufwand für die Aufsicht

Leitbild Lehre:
Offene Fragen:
▶ 3. Personen im Raum, Knopf im Ohr
▶ vorproduzierte Videobilder und Töne
▶ Toilettenbesuch
▶ Bandbreite, Verbindungsabbrüche
▶ Aufwand für die Aufsicht
Proctor =
Prüfungsaufseher*in
Quelle: Juerg Widrig, „Sicheres Prüfen im Fernunterricht mit isTest2 und Zoom in drei Schritten“, https://www.linkedin.com/posts/
juerg-widrig-a66006125_praesfen-fernunterricht-istest2-activity-6650033482833641473-Vlcr/

Open-Book-Online-Prüfung
Quelle: https://pixabay.com/de/photos/studium-pr%C3%BCfungen-vorbereitung-951818/

Beispiel für einen individuellen Prüfungsbogen
Quelle: https://mathiasmagdowski.wordpress.com/2021/05/05/online-take-home-elektrotechnik-pruefung/

Beispiel für eine typische Aufgabe
Aufgabe 1: Ladung und Strom (9 Punkte)
Gegeben ist der folgende Zeitverlauf der elektrischen Ladung Q(t) im Bereich 0 ≤ t ≤ 7 ms.
a) Man berechne den zugehörigen Stromverlauf i(t).
b) Man stelle i(t) graphisch dar.
1 2 3 4 5 6 7
1
2
3
4
Q0 · e− t−4 ms
1 ms
t in ms
Q(t) in mA s

Zehn Themenbereiche für die Prüfung
1. Ladung und Strom (12 Aufg.)
2. Temperaturabhängiger Widerstand, Stromdichte, spezifischer Widerstand,
Kapazität, Induktivität (32 Aufg.)
3. Grundstromkreis, Strom- und Spannungsteilerregel, DC-Leistung,
Ersatzwiderstand, Brückenschaltung, Leistungsanpassung (26 Aufg.)
4. Zweipoltheorie, Vierpoltheorie (33 Aufg.)
5. Zweigstromanalyse, Maschenstromanalyse oder Knotenspannungsanalyse,
Superposition (33 Aufg.)
6. Mittelwert und Effektivwert, Komplexe Rechnung (21 Aufg.)
7. Zeigerbild oder Ortskurve, Schwingkreise (27 Aufg.)
8. Komplexe Leistung und Leistungsfaktorkorrektur (14 Aufg.)
9. Drehstrom (13 Aufg.)
10. Schaltvorgang (11 Aufg.)

Vielfalt durch einen großen Aufgabenkatalog
Quelle: https://imgflip.com/i/4x1vg1

Einreichungsformular aus Teilnehmenden-Sicht

Proctoring anders herum

I can haz Gauzzian distributionz
≥ 0 % ≥ 10 %≥ 20 %≥ 30 %≥ 40 %≥ 50 %≥ 60 %≥ 70 %≥ 80 %≥ 90 %
0
5
10
Punkteanteil der Gesamtpunktzahl
absolute
Häufigkeit

Zeitverlauf der Einreichungen vor der Einreichungsfrist
−60 −50 −40 −30 −20 −10 0
0
20
40
60
Zeitpunkt t der Einreichung vor der Frist in min
Anzahl
der
Einreichungen
Aufgabe 1
Aufgabe 2
Aufgabe 3
Aufgabe 4
Aufgabe 5
Aufgabe 6
Aufgabe 7
Aufgabe 8
Aufgabe 9
Aufgabe 10

The dog ate my internet connection.

Videos helfen auch nicht
Quelle: Eine „umgedrehte“ Video-Nachbesprechung einer Leistungskontrolle im E-Technik-Grundstudium
https://dl.gi.de/handle/20.500.12116/24416

Videos helfen doch

Zeitaufwand
Vorbereitung: ↑

Zeitaufwand
Vorbereitung: ↑
(Aller Anfang
ist schwer!)

Zeitaufwand
Vorbereitung: ↑
(Aller Anfang
ist schwer!)
Durchführung: ↓

Zeitaufwand
Vorbereitung: ↑
(Aller Anfang
ist schwer!)
Durchführung: ↓
Korrektur: ↓ oder ↑

Open-Book-Prüfung in Präsenz
Quelle: https://twitter.com/MMagdowski/status/1422867258129461248

Welche Hilfsmittel sind beliebt?

Werden die Hilfsmittel sinnvoll genutzt?
Wofür ich einen Laptop
nutzen würde:

nutzen würde:
▶ MATLAB, GNU Octave
(komplexe Rechnung,
Gleichungssysteme
lösen, Plotten)
▶ Wolfram Alpha
▶ LTspice, EasyEDA
(Netzwerksimulation)
▶ Maxima (Computeralge-
brasystem, Analysis)

nutzen würde:
(komplexe Rechnung,
Gleichungssysteme
lösen, Plotten)
▶ Wolfram Alpha
Wofür die Studierenden
den Laptop nutzten:

nutzen würde:
(komplexe Rechnung,
Gleichungssysteme
lösen, Plotten)
▶ Wolfram Alpha
Wofür die Studierenden
den Laptop nutzten:
▶ Volltextsuche im
Skript/Buch
▶ Scrollen durch Folien,
Übungsmitschriften &
Musterlösungen
▶ Recherche bei
Wikipedia und (passive)
Forumsnutzung

Punkteverteilung
≥ 0 % ≥ 10 % ≥ 20 % ≥ 30 % ≥ 40 % ≥ 50 % ≥ 60 % ≥ 70 % ≥ 80 % ≥ 90 %
0
5
10
Punkteanteil der Gesamtpunktzahl
absolute
Häufigkeit
Quelle: https://mathiasmagdowski.wordpress.com/2021/10/16/open-web-praesenzpruefung/

Papier über Papier

1. These
Eine reine Digitalisierung vorhandener analoger Prüfungsformate ohne
weitere Anpassung ist nicht zielführend.

1. These
Eine reine Digitalisierung vorhandener analoger Prüfungsformate ohne
weitere Anpassung ist nicht zielführend.
Thorsten Dirks, CEO von
Telefónica Deutschland:
„Wenn sie einen
Scheißprozess digitalisieren,
dann haben sie einen scheiß
digitalen Prozess.“
Bildquelle: E-Plus-Gruppe, CC BY 2.0,
https://commons.wikimedia.org/w/index.
php?curid=40920042

2. These
Das Internet gehört intrinsisch zur Lebenswelt der Studierenden. Man kann
es in Lehrveranstaltungen und Prüfungen nicht ausblenden.
Quelle: https://pixabay.com/de/photos/h%C3%A4nde-ipad-tablette-technologie-820272/

3. These
Um die Kompetenzen des 4K-Modells (Kreativität, Kommunikation,
Kollaboration und kritisches Denken) zusammen mit fachlichen
Kompetenzen zu Prüfen, braucht es neue Prüfungsformate.

4. These
Proctoring und Videofernüberwachung von Prüflingen in Online-Prüfungen
sind bei unpassenden Aufgaben entweder nutzlos oder unverhältnismäßig
gegenüber möglichen Betrugsversuchen von Studierenden.

5. These
Es ist besser, eine summative Prüfung durch viele kleine formative
Assessments zu ersetzen, die kontinuierliche Rückmeldung an die
Studierenden geben.
01
02
03
04
Quelle: https://pixabay.com/de/vectors/infografik-treppenhaus-fortschritt-2895154/

6. These
Wenn sich kompetenzorientierte Open-Book-Prüfungen etablieren ist es
organisatorisch nicht mehr notwendig, alle Studierenden zur gleichen Zeit
zu prüfen. Das Angebot von frei wählbaren 24/7-Prüfungsterminen könnte
ein hochschulischer Wettbewerbsvorteil sein.
Quelle: https://pixabay.com/de/illustrations/woche-24-7-7-tage-jetzt-offen-1468271/

Fazit
„Gute“ Prüfungen sind:
▶ authentisch

Fazit
▶ authentisch
▶ zeitgemäß

Fazit
▶ authentisch
▶ zeitgemäß
▶ kompetenzorientiert

Fazit
▶ authentisch
▶ zeitgemäß
▶ nicht „googlebar“

Fazit
▶ authentisch
▶ zeitgemäß
▶ nicht „googlebar“
Stattdessen:
Straßenlampen-Effekt:
Dort suchen, wo es am am
einfachsten scheint, nicht wo es
am relevantesten ist.
Quelle: https://twitter.com/beatdoebeli/
status/1444225274128879617

Vielen Dank für Eure/Ihre Aufmerksamkeit!
Gibt es weitere Fragen?

Digitale Prüfungen: so offen wie möglich, so sicher wie nötig - Impulsvortrag zur Kick-Off-Konferenz des Projekts PITCH

Recommended

Recommended

More Related Content

Similar to Digitale Prüfungen: so offen wie möglich, so sicher wie nötig - Impulsvortrag zur Kick-Off-Konferenz des Projekts PITCH

Similar to Digitale Prüfungen: so offen wie möglich, so sicher wie nötig - Impulsvortrag zur Kick-Off-Konferenz des Projekts PITCH (10)

More from Mathias Magdowski

More from Mathias Magdowski (20)

Digitale Prüfungen: so offen wie möglich, so sicher wie nötig - Impulsvortrag zur Kick-Off-Konferenz des Projekts PITCH