Gastvortrag im Rahmen des Potsdamer Informationswissenschaftlichen Kolloquiums an der Fachhochschule Potsdam

1. VON ABOUTNESS BIS ZITATIONSZAHLEN:
ZUR KOMPLEXITÄT DES INFORMATIONS-
WISSENSCHAFTLICHEN RELEVANZKONZEPTS
Christiane Behnert, M.A.
Promotionsstudentin (HAW Hamburg)
Doktorandin (Universität Hildesheim)
16. Oktober 2019
Gastvortrag im Rahmen des Potsdamer
Informationswissenschaftlichen Kolloquiums
an der Fachhochschule Potsdam

2. DEPARTMENT INFORMATION
Christiane Behnert
GLIEDERUNG
1. Relevanz kennenlernen
2. Relevanz (besser) verstehen
3. Relevanz messen (?)
4. Fazit
Quellen
1

3. 1. RELEVANZ KENNENLERNEN
2. RELEVANZ (BESSER) VERSTEHEN
3. RELEVANZ MESSEN (?)

4. DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.1. Relevanz als Kernkonzept der Informationswissenschaft
• Menschliches Verhalten im interaktiven Informationssuchprozess motiviert durch den
Wunsch, relevante Informationen zu finden (Saracevic, 2015)
• Informationswiss. Relevanzforschung seit Ende der 1950er Jahre (Mizzaro, 1997)
• Relevanzbasierte Kennzahlen zur Evaluierung der Retrieval-Effektivität von
Information Retrieval-Systemen (IRS)
“Nobody has to explain to users of IR systems what relevance is,
even as they struggle (sometimes in vain) to find relevant stuff.
People understand relevance intuitively.“
(Saracevic, 1996, S. 215)
Allgemeingültige Definition?
Informationswiss. Relevanztheorie?
Modelle?( )
3

5. DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.2. Relevanzformen
4
Aufgabe
Problem
Informationsbedürfnis
Suchanfrage
Informationsobjekt
Aufgabenorientierte Relevanz
Situative Relevanz
Pertinenz /
Kognitive
Relevanz
Nutzerbasierte
Relevanz
(subjektiv)
Systembasierte
Relevanz
(objektiv)
Psychologische
Relevanz
IRS Interface
Ziel
Zielorientierte Relevanz
Intrinsisch
Intrinsisch oder
extrinsisch
Thematische
Relevanz
Gesellschaftliche
Relevanz
Aboutness

6. DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.2. Relevanzformen
5
Aufgabe
Problem
Informationsbedürfnis
Suchanfrage
Informationsobjekt
Aufgabenorientierte Relevanz
Situative Relevanz
Pertinenz /
Kognitive
Relevanz
Nutzerbasierte
Relevanz
(subjektiv)
Systembasierte
Relevanz
(objektiv)
Psychologische
Relevanz
IRS Interface
Ziel
Zielorientierte Relevanz
Intrinsisch
Intrinsisch oder
extrinsisch
Thematische
Relevanz
Gesellschaftliche
Relevanz
Aboutness

7. DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.2. Relevanzformen – Quellen
6
Aufgabe
Problem
Informationsbedürfnis
Suchanfrage
Informationsobjekt
Aufgabenorientierte Relevanz
Situative Relevanz
Pertinenz /
Kognitive
Relevanz
Nutzerbasierte
Relevanz
(subjektiv)
Systembasierte
Relevanz
(objektiv)
Psychologische
Relevanz
IRS Interface
Ziel
Zielorientierte Relevanz
Intrinsisch
Intrinsisch oder
extrinsisch
Thematische
Relevanz
Gesellschaftliche
Relevanz
Huang &
Soergel, 2013
Königová (1971)
Wilson (1973)
Saracevic (1996)
Harter (1992)
Reid (1999)
Hjørland & Christensen (2002)
Haider & Sundin, 2019
Mizzaro (1997)
Borlund (2003)
Saracevic (2016)
Aboutness
Maron (1977)
Hjørland (2001)
O'Neill et al. (2017)

8. DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.3. Relevanzbewertungen in Abhängigkeit von der Relevanzperspektive
7
Relevanzbewertungen
System Mensch
Formalisierte
Relevanzbewertung
Relevanzbewertung
aus Nutzersicht
Alltag (beruflich + privat)
Systemseitige Relevanz Nutzerseitige Relevanz
vorgenommen durch
vorgenommen im
Forschungs-
kontext
Feedback

9. DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.4. Einflüsse auf Relevanzbewertungen (1/3)
8
(Schamber, 1994, S. 11)

10. DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.4. Einflüsse auf Relevanzbewertungen (2/3)
Einteilung nach Saracevic (2016):
Juroren:
• Erfahrung mit thematisch-relevanten Fragen
• Kenntnis über und Interesse an einem Thema
• Fachwissen
• Sprache
Relevanzbewertungen:
• Position des Treffers in der Ergebnisliste
• Rangfolge der Treffer
• Design, Usability
• Art der Suchaufgabe/-ergebnisse (Schwierigkeitsgrad, Informationen)
• Art der Bewertung (Skala)
9
„Relevance is affected by a host
of factors and, in turn, it affects
a host of factors as well.“
(Saracevic, 2016, S. 61)

11. DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.4. Einflüsse auf Relevanzbewertungen (3/3)
10
Kategorie Relevanzkriterien Interaktion
zwischen…
Content Topic, quality, depth, scope, currency,
treatment, clarity
Information (or
object)
characteristicsObject Characteristics of information objects,
e.g., type, organization,
representation, format, availability,
accessibility, costs
Validity Accuracy of information provided,
authority, trustworthiness of sources,
verifiability, reliability
Usefulness or
situational match
Appropriateness to situation, or tasks,
usability, urgency; value in use
Individual (or
human)
characteristics
Cognitive match Understanding, novelty, mental effort,
Link to previous knowledge
Affective match Emotional responses to information,
fun, frustration, uncertainty
Belief match Personal credence given to
information, confidence
Quelle:
Saracevic (2016, S. 57 ff.)

12. 1. RELEVANZ KENNENLERNEN
2. RELEVANZ (BESSER) VERSTEHEN
3. RELEVANZ MESSEN (?)

13. DEPARTMENT INFORMATION
Christiane Behnert
2. RELEVANZ (BESSER) VERSTEHEN
2.1. Studien zu Relevanzkriterien
Forschungslücke: Keine Studien zu Relevanzkriterien, in denen die von Probanden zu
bewertenden Suchergebnisse Popularitätsdaten enthielten
12
Quelle: Wang,1994, S. 85
Heute: Popularitätsdaten

14. DEPARTMENT INFORMATION
Christiane Behnert
2. RELEVANZ (BESSER) VERSTEHEN
2.2. Relevanzbewertung als Prozess
• Relevanzbewertung im Prozess der Dokumentenauswahl eingebettet (Wang, 1994)
• „Predictive judgment“ (vor Zugang zum Volltext) vs.
„evaluative judgment“ (nach Zugang zum Volltext) (Rieh, 2002)
• Diverse Faktoren wirken auf den Prozess der Relevanzbewertung ein
13

15. DEPARTMENT INFORMATION
Christiane Behnert
14
2.3. Vorläufiges Modell zur Relevanzbewertung von Suchergebnissen in
akademischen Informationssystemen
Quelle:Behnert,C.(2019).KriterienundEinflussfaktorenbeiderRelevanzbewertungvonSurrogaten
inakademischenInformationssystemen.Information-Wissenschaft&Praxis,70(1),S.28.

16. 1. RELEVANZ KENNENLERNEN
2. RELEVANZ (BESSER) VERSTEHEN
3. RELEVANZ MESSEN (?)

17. DEPARTMENT INFORMATION
Christiane Behnert
3. RELEVANZ MESSEN (?)
• Relevanz ist keine physische Einheit, die wissenschaftlich direkt messbar ist, sie
benötigt eine menschliche mentale Aktivität (Buckland, 2017)
• Mentale Aktivität in Verbindung mit menschlichem Verhalten
• Explorative Designs in Studien zu Relevanzkriterien mittels Thinking aloud-Methode
• Einen “Ersatz” für die Messung von Relevanz finden
- Elemente (Relevanzmerkmale) innerhalb eines Suchergebnisses = operationalisierte
Relevanzkriterien
- Manipulierte Elemente könnten einen beobachtbaren Effekt auf
Relevanzbewertungen verursachen
Untersuchungen von Effekten auf menschliches Verhalten mithilfe von Experimenten
16

18. DEPARTMENT INFORMATION
Christiane Behnert
3. RELEVANZ MESSEN (?)
3.1. Experimentelle Forschungsdesigns
17
• Erkenntnisse über tatsächliches Informationssuchverhalten
(Kelly, 2009; Kelly & Cresenzi, 2016)
• Kausale Schlussfolgerungen (Sedlmeier & Renkewitz, 2007)
Stimulus / Ursache Effekt / Wirkung
(unabhängige Variable, UV abhängige Variable, AV)
• Voraussetzungen für Kausalität (Sedlmeier & Renkewitz, 2007):
 Kovarianz zwischen UV und AV
 Zeitliche Präzedenz der UV
 Ausschluss möglicher Alternativerklärungen
(konfundierende Variablen)
• Wesensmerkmale eines Experiments:
 Manipulation der UV
 Kontrolle konfundierender Variablen (Randomisierung, Ausbalancieren)

19. DEPARTMENT INFORMATION
Christiane Behnert
3. RELEVANZ MESSEN (?)
3.2. Anwendungsbeispiel (1/2)
• Ein experimenteller Ansatz zur Erforschung von Relevanzkriterien am Beispiel
von Popularitätsdaten als Bestandteil von Suchergebnissen
- 3x3x3 = 27 Experimentelle Bedingungen
- Abhängige Variable: Relevanzbewertung mittels Schieberegler (0-100)
- Within-Subject-Design
18
Unabhängige Variable Stufe A Stufe B Stufe C
Anzahl Downloads (Werk) Gering Hoch Keine Angabe
Anzahl Zitationen (Werk) Gering Hoch Keine Angabe
Anzahl Zitationen (Autor) Gering Hoch Keine Angabe

20. DEPARTMENT INFORMATION
Christiane Behnert
3. RELEVANZ MESSEN (?)
3.2. Anwendungsbeispiel (2/2)
- Erhebung mittels Online-Fragebogen (EFS Survey, Unipark)
- Erhebungszeitraum: 6. Juni bis 31. Juli 2019
- 3 Aufgaben mit je 9 Suchergebnissen zur Bewertung in randomisierter Reihenfolge
- Benötigter Stichprobenumfang n=577
- Erzielter Stichprobenumfang für Datenanalyse n=627
- Verlosung von 444 Amazon-Gutscheinen im Wert von je 10 EUR
19

21. 1. RELEVANZ KENNENLERNEN
2. RELEVANZ (BESSER) VERSTEHEN
3. RELEVANZ MESSEN (?)
4. FAZIT

22. DEPARTMENT INFORMATION
Christiane Behnert
4. FAZIT
• Komplexität des informationswissenschaftlichen Relevanzkonzepts zeigt sich durch die:
- Vielzahl an Begriffen zur Beschreibung von Relevanz
- unterschiedlichen Dimensionen (Relevanzbeziehungen)
- zwei Sichtweisen auf Relevanz (System vs. Nutzer)
- diversen Einflüssen auf den Prozess der Relevanzbewertung
- Subjektivität und Dynamik menschlicher Relevanzbewertungen
• Relevanz "remains ill-defined and not measurable in any direct way“
(Buckland, 2017, S. 164)
• Indirekte Messbarkeit von Relevanz durch Messung von operationalisierbaren
Elementen mithilfe sozialwissenschaftlicher Forschungsmethoden
21

23. DEPARTMENT INFORMATION
Christiane Behnert
QUELLEN (1/3)
Behnert, C. (2019). Investigating the effects of popularity data on predictive relevance judgments in academic search
systems. In Proceedings of the 2019 Conference on Human Information Interaction and Retrieval - CHIIR ’19 (pp. 437–
440). New York, New York, USA: ACM Press. https://doi.org/10.1145/3295750.3298978
Behnert, C. (2019). Kriterien und Einflussfaktoren bei der Relevanzbewertung von Surrogaten in akademischen
Informationssystemen. Information - Wissenschaft & Praxis, 70(1), 24–32. https://doi.org/10.1515/iwp-2019-0002
Borlund, P. (2003). The concept of relevance in IR. Journal of the American Society for Information Science and
Technology, 54(10), 913–925. https://doi.org/10.1002/asi.10286
Buckland, M. K. (2017). Information and society. Cambridge, MA ; London, UK: MIT Press.
Haider, J., & Sundin, O. (2019). Invisible search and online search engines: The ubiquity of search in everyday life. New
York, NY [u.a.]: Routledge.
Harter, S. P. (1992). Psychological relevance and information science. Journal of the American Society for Information
Science, 43(9), 602–615. https://doi.org/10.1002/(SICI)1097-4571(199210)43:9<602::AID-ASI3>3.0.CO;2-Q
Hjørland, B. (2001). Towards a theory of aboutness, subject, topicality, theme, domain, field, content . . . and relevance.
Journal of the American Society for Information Science and Technology, 52(9), 774–778. https://doi.org/10.1002/asi.1131
Hjørland, B., & Christensen, F. S. (2002). Work tasks and socio-cognitive relevance: A specific example. Journal of the
American Society for Information Science and Technology, 53(11), 960–965. https://doi.org/10.1002/asi.10132
Huang, X., & Soergel, D. (2013). Relevance: An improved framework for explicating the notion. Journal of the American
Society for Information Science and Technology, 64(1), 18–35. https://doi.org/10.1002/asi.22811
22

24. DEPARTMENT INFORMATION
Christiane Behnert
QUELLEN (2/3)
Kelly, D., & Cresenzi, A. (2016). From design to analysis: Conducting controlled laboratory experiments with users. In
Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval -
SIGIR ’16 (pp. 1207–1210). New York, New York, USA: ACM Press. https://doi.org/10.1145/2911451.2914809
Kelly, D. (2009). Methods for evaluating interactive information retrieval systems with users. Foundations and Trends® in
Information Retrieval, 3(1—2). https://doi.org/10.1561/1500000012
Königová, M. (1971). Mathematical and statistical methods of noise evaluation in a retrieval system. Information Storage
and Retrieval, 6(6), 437–444. https://doi.org/10.1016/0020-0271(71)90009-X
Maron, M. E. (1977). On indexing, retrieval and the meaning of about. Journal of the American Society for Information
Science, 28(1), 38–43. https://doi.org/10.1002/asi.4630280107
Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science, 48(9), 810–
832. https://doi.org/10.1002/(SICI)1097-4571(199709)48:9<810::AID-ASI6>3.0.CO;2-U
O’Neill, E. T., Kammerer, K. A., & Bennett, R. (2017). The aboutness of words. Journal of the Association for
Information Science and Technology, 68(1992), 2471–2483. https://doi.org/10.1002/asi.23856
Reid, J. (1999). A new, task-oriented paradigm for information retrieval: Implications for evaluation of information retrieval
systems. In T. Aparac, T. Saracevic, P. Ingwersen, & P. Vakkari (Eds.), Digital Libraries: Interdisciplinary concepts,
challenges and opportunities. Proceedings of the Third International Conference on the Conceptions of the Library and
Information Science, Dubrovnik, Croatia (pp. 97–108). Zagreb: Lokve.
Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the American Society for
Information Science and Technology, 53(2), 145–161. https://doi.org/10.1002/asi.10017 23

25. DEPARTMENT INFORMATION
Christiane Behnert
QUELLEN (3/3)
Saracevic, T. (1996). Relevance reconsidered. In P. Ingwersen & N. O. Pors (Eds.), Information science: Integration in
perspectives. Proceedings of the Second Conference on Conceptions of Library and Information Science (CoLIS 2) (pp.
201–218). Copenhagen: Royal School of Librarianship.
Saracevic, T. (2012). Research on relevance in information science: A historical perspective. In T. Carbo & T. Bellardo
Hahn (Eds.), Proceedings of the American Society for Information Science and Technology (ASIS&T) 2012 Pre-
conference on the History of ASIS&T and Information Science and Technology (pp. 49–60). Information Today.
Saracevic, T. (2015). Why is relevance still the basic notion in information science? In F. Pehar, C. Schlögl, & C. Wolff
(Eds.), Re:inventing Information Science in the Networked Society. Proceedings of the 14th International Symposium on
Information Science (ISI 2015) (pp. 26–35). Glückstadt: Hülsbusch.
Saracevic, T. (2016). The Notion of relevance in information science: Everybody knows what relevance is. But, what is it
really? (G. Marchionini, Ed.), Synthesis Lectures on Information Concepts, Retrieval, and Services (Vol. 8). Morgan &
Claypool. https://doi.org/10.2200/S00723ED1V01Y201607ICR050
Schamber, L. (1994). Relevance and information behavior. Annual Review of Information Science and Technology
(ARIST), 29, 3–48.
Sedlmeier, P., & Renkewitz, F. (2018). Forschungsmethoden und Statistik für Psychologen und Sozialwissenschafter (3.
Aufl.). Hallbergmoos: Pearson Deutschland.
Wang, P. (1994). A cognitive model of document selection of real users of information retrieval systems. Dissertation,
University of Maryland; College of Library and Information Science.
Wilson, P. (1973). Situational relevance. Information Storage and Retrieval, 9(8), 457–471. https://doi.org/10.1016/0020-
0271(73)90096-X
24

26. Christiane Behnert, M.A.
christiane.behnert@haw-hamburg.de
HOCHSCHULE FÜR ANGEWANDTE
WISSENSCHAFTEN HAMBURG
Fakultät Design, Medien & Information
Department Information
Forschungsgruppe Search Studies
Finkenau 35 / 22081 Hamburg
haw-hamburg.de
http://searchstudies.org/christiane-behnert/
Vortragsfolien bei slideshare:
https://www.slideshare.net/ChristianeBehnert/presentations