Dokument: On Search Engine Evaluation Metrics
| Titel: | On Search Engine Evaluation Metrics | |||||||
| URL für Lesezeichen: | https://docserv.uni-duesseldorf.de/servlets/DocumentServlet?id=23527 | |||||||
| URN (NBN): | urn:nbn:de:hbz:061-20130206-135350-0 | |||||||
| Kollektion: | Dissertationen | |||||||
| Sprache: | Englisch | |||||||
| Dokumententyp: | Wissenschaftliche Abschlussarbeiten » Dissertation | |||||||
| Medientyp: | Text | |||||||
| Autor: | Sirotkin, Pavel [Autor] | |||||||
| Dateien: |
| |||||||
| Beitragende: | Prof. Dr. Stock, Wolfgang [Gutachter] Jun.-Prof. Petersen, Wiebke [Gutachter] Prof. Dr. Stock, Wolfgang [Betreuer/Doktorvater] | |||||||
| Stichwörter: | Suchmaschinen, Evaluation, Metaevaluation, Evaluationsmaße, nutzerbasiert | |||||||
| Dokumententyp (erweitert): | Dissertation | |||||||
| Dewey Dezimal-Klassifikation: | 000 Informatik, Informationswissenschaft, allgemeine Werke » 020 Bibliotheks- und Informationswissenschaften | |||||||
| Beschreibungen: | Die Suchmaschinen-Evaluationsforschung verfügt über zahlreiche Maße. Erst in den letzten Jahren wurde die Frage aufgebracht, wie aussagekräftig einzelne Maße sind; in den meisten Fällen gibt es keine Untersuchungen zum Zusammenhang der Maße mit realen Nutzererlebnissen.
Der erste Teil der Dissertation bietet einen Überblick über vorherige Publikationen zu Evaluationen von Evaluationsmaßen sowie kritische Auseinandersetzungen mit einzelnen Studien und Ansätzen. Im zweiten Teil wird ein Meta-Evaluationsmaß (Preference Identification Ratio/PIR) vorgestellt, das die Fähigkeit eines Evaluationsmaßes zum Erfassen von Nutzerpräferenzen abbildet. Zusätzlich wird ein Framework eingeführt, das es erlaubt, viele Evaluationsmaße gleichzeitig unter Variation ihrer Parameter und Evaluationsansätzen zu untersuchen. Sowohl PIR als auch das Meta-Evaluationsframework werden im Rahmen einer Studie getestet, die interessante vorläufige Ergebnisse vorweisen kann; insbesondere erscheint das Hinterfragen der Aussage von Maßen oder ihren Parametern zweckmäßig zu sein. Diese Evaluationsmethoden sollten ihrerseits im Hinblick auf die Ziele einer Untersuchung im Voraus evaluiert werden.The search engine evaluation research has quite a lot metrics available to it. Only recently, the question of the significance of individual metrics started being raised, as these metrics’ correlations to real-world user experiences or performance have generally not been studied. The first part of this thesis provides an overview of previous literature on the evaluation of search engine evaluation metrics themselves, as well as critiques of and comments on individual studies and approaches. The second part introduces a meta-evaluation metric, the Preference Identification Ratio (PIR), that quantifies the capacity of an evaluation metric to capture users’ preferences. Also, a framework for simultaneously evaluating many metrics while varying their parameters and evaluation standards is introduced. Both PIR and the meta-evaluation framework are tested in a study which shows some interesting preliminary results; in particular, the unquestioning adherence to metrics or their ad hoc parameters seems to be disadvantageous. Instead, evaluation methods should themselves be rigorously evaluated with regard to goals set for a particular study. | |||||||
| Lizenz: |  Urheberrechtsschutz | |||||||
| Fachbereich / Einrichtung: | Philosophische Fakultät » Institut für Sprache und Information » Informationswissenschaft | |||||||
| Dokument erstellt am: | 06.02.2013 | |||||||
| Dateien geändert am: | 06.02.2013 | |||||||
| Promotionsantrag am: | 26.04.2012 | |||||||
| Datum der Promotion: | 27.11.2012 |
