Startseite Aktuelle Auflage Inhaltsübersicht
EVALU - Evaluierungsmethoden
Inhalt
» Lernziele
» Definitionen und Abkürzungen
» Zweck der Evaluierungsmethoden
» Vorgehensweise bei der Evaluierung
» Organisation des Evaluierungsprozesses
» Forschungsbefunde
» Demonstrationsbeispiel
» Aus der Praxis
» Aufgabenverweise
» Kontrollfragen
» Quellen
» Vertiefungsliteratur
» Informationsmaterial
» Normen
» Links

Lernziele

Sie kennen den Zweck von Evaluierungsmethoden und können daraus die Auf­gaben der Evaluierung ableiten. Sie können diese Aufgaben mit eigenen Worten beschreiben. Sie kennen die Organisation des Evaluierungsprozesses und eine Vorgehensweise beim Evaluieren. Sie können die An­wendung von Evaluie­rungs­methoden in die Aufgaben des Informationsmana­ge­ments einordnen.

Definitionen und Abkürzungen

  • CC = Common Criteria for Information Technology Security Evaluation; Weiterentwicklung und Harmonisierung der ITSEC und anderer Sicherheitsstandards.

  • Evaluierungskriterium (evaluation criterion) = Eigenschaft des Eva­luie­rungs­objekts, die unter Berücksichtigung des Evaluierungs­ziels aus diesem abgeleitet und mit der im Einzelnen festgelegt wird, was zu evaluieren ist.

  • Evaluierungsobjekt (evaluation object) = beliebiges Objekt, für das ein Eva­luierungsbedarf besteht und das zur Evaluierung vorgegeben ist.

  • Evaluierungsziel (evaluation objective) = Aussage darü­ber, welche Information der Auftraggeber einer Evaluierungsstudie erwar­tet bzw. der Evaluator er­arbeiten soll.

  • Extremalkriterium (unlimited criterion) = Kriterium, das hin­sicht­lich des Ausmaßes der Zielerreichung unbegrenzt (maximal oder mini­mal) formuliert ist.

  • HGB = Handelsgesetzbuch (Deutschland, Österreich).

  • ITSEC = Information Technology Security Evaluation Criteria.

  • ITSEF = Information Technology Security Evaluation Facility.

  • ITSEM = Information Technology Security Evaluation Methodology; Vorgehensweise zur Prüfung und Bewertung der Sicherheit von IT-Produkten.

  • Kriterium (criterion) = Eigenschaft eines Eva­luie­rungs­objekts, dessen Ausmaß durch Messung, Schätzung oder Prognose ermittelt wird. Synonym: Zielkriterium.

  • Kriterienertrag (criterion production) = Ausmaß der Zielerreichung der Kriterien.

  • Kriteriengewicht (criterion weight) = relative Bedeutung der Kriterien in einer bestimmten Evaluierungssituation (Präferenzordnung).

  • Limitierungskriterium (limited criterion) = Kriterium, das hin­sichtlich des Ausmaßes der Zielerreichung begrenzt formuliert ist.

  • Messen (measuring) = Zuordnen von Zahlen oder anderen Symbolen zu Objekten, Ereignissen oder Situationen nach einem festgelegten Verfahren (einer Regel).

  • Messgröße (metric) = Eigenschaft eines Objekts, deren Ausprägung mit einer Messmethode ermittelt werden kann. Synonym: Metrik.

  • Metrik (metric) = Synonym für Messgröße.

  • Präferenzordnung (preference order) = durch ein Individuum oder eine Gruppe vorgenommene Ordnung einer Menge von Kriterien auf Grund beste­hender Präferenzen.

  • Re-Evaluierung (re-evaluation) = erneute Evaluierung eines Objekts nach erfolgter Vornahme von Änderungen am Objekt auf Grundlage einer Evaluierung.

Zweck der Evaluierungsmethoden
Vorgehensweise bei der Evaluierung
Organisation des Evaluierungsprozesses
Forschungsbefunde

Demonstrationsbeispiel

Es wird das Gewichten der Evaluierungskriterien mit einem Verfahren des paarweisen Vergleichs gezeigt. Bei jedem Vergleich werden zehn Punkte vergeben (vgl. Abbildung 1). Das Ergebnis wird in Abbildung 2 dargestellt. Es wurde wie folgt vorgegangen (EVK = Evaluierungskriterien):

  • Vergleich von „1 anwenderbezogene EVK“ mit „2 systemtechnische EVK“. Die anwenderbezogenen EVK werden als sehr viel wichtiger beurteilt als die systemtechnischen EVK; Ergebnis: 9 Punkte für die anwenderbezogenen EVK und 1 Punkt für die systemtechnischen EVK.
  • Vergleich von „1 anwenderbezogene EVK“ mit „3 anbieterbezogene EVK“. Beide EVK werden als gleich wichtig beurteilt; Ergebnis: 5 Punkte für die anwenderbezogenen EVK, 5 Punkte für die anbieterbezogenen EVK.
  • Vergleich von „2 systemtechnische EVK“ mit „3 anbieterbezogene EVK“. Die systemtechnischen EVK werden als weniger wichtig beurteilt als die anbieterbezogenen EVK; Ergebnis: 4 Punkte für die systemtechnischen EVK, 6 Punkte für die anbieterbezogenen EVK.
Die Quersummen der Zeilen in Abbildung 2 sind das Evaluierungsergebnis je Evaluierungskriterium (z. B. 14 Punkte für die anwenderbezogenen Evaluierungskriterien). Die Quersummen werden in Prozentwerte in Bezug auf die Gesamtzahl der Punkte aller Evaluierungskriterien einer Ebene umgerechnet. Die Summe aller Punkte, also die Basis für die Umrechnung in Prozente, lässt sich nach der Formel Summe = 5n (n-1) errechnen und die Evaluierung damit überprüfen, wobei n die Anzahl der Evaluierungskriterien ist.

 

evalu_gewichtung_der_evaluierungskriterien

Abb. 1: Gewichtung der Evaluierungskriterien (Quelle: nach SVD)

 

evalu_beispiel_fr_die_gewichtung_eines_kriterienbereichs

Abb. 2: Beispiel für die Gewichtung eines Kriterienbereichs (Quelle: nach SVD)

 

Aus der Praxis

Aufgabenverweise

  • Evaluierungsaufgaben gibt es bei allen Aufgaben des Informationsmanagements auf allen Aufgabenebenen.

Kontrollfragen

  1. Welche Aufgaben ergeben sich aus dem Zweck der Evaluierungsmethoden?

  2. Welcher Unterschied besteht zwischen Evaluierungsziel und Evaluierungskriterium?

  3. Warum werden Evaluierungskriterien in Messgrößen transformiert?

  4. In welche Phasen wird der Evaluierungsprozess gegliedert?

  5. Wie kann das Gewichten der Evaluierungskriterien methodisch unterstützt werden?

Quellen

  • Daumenlang, K. / Altstötter, C. / Sourisseaux, A..: Evaluation. In: Roth, E. / Holling, H. (Hrsg.): Sozialwissenschaftliche Methoden. 5. A., München/Wien 1995, 702-713

  • Gappmaier, M. / Häntschel, I.: Die Evaluierung von Workflow-Management-Systemen in Laborstudien. In: Grün, O. / Heinrich, L. J. (Hrsg.): Wirtschaftsinformatik - Ergebnisse empirischer Forschung. Wien/New York1997, 63-77

  • Miller, K. / Dunn, D.: Post-implementation evaluation of information systems technology: a survey of UK practice. In: Berghout, E. W. / Remenyi, D. S. J. (Eds): Evaluation of Infor­ma­tion Technologiy. Delft 1997, 47-55

  • Osterloh, M. / Frey, S.: Evaluations - hidden costs, questionable benefits, and superior alternatives. Unveröffentlichtes Manuskript, Universität Zürich 2007

  • Schweizerische Vereinigung für Datenverarbeitung (Hrsg.): Evaluation von Informatiklösungen. Bern/Stuttgart 1985, 101-188

Vertiefungsliteratur

  • Heinrich, L. J. / Häntschel, I. (Hrsg.): Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. München/ Wien 2000

  • Heinrich, L. J. / Pomberger, G.: Prototypingbasiertes Software-Management. In: Oberweis, A. / Sneed, H. M. (Hrsg.): Software-Management. Leipzig/Stuttgart 1999, 206-224

  • Neibecker, B.: Validierung eines Expertensystems mit unsicherer Wissenskomponente. In: Grün, O. / Heinrich, L. J. (Hrsg.): Wirtschaftsinformatik - Ergebnisse empirischer Forschung. Wien/New York1997, 92-103

  • Reichwald, R. et al.: Telekooperation im Innovationstest - Strategieorientierte Evaluation von Pilotprojekten. In: WIRT­SCHAFTSINFORMATIK 3/1998, 205-213

  • Renkema, T. J. W.: The IT Value Quest. How to Capture the Business Value of IT-Based Infrastructure. Chichester et al. 1999

  • Walter, S. G. / Spitta, T.: Approaches to the Ex-ante Evaluation of Investments into Information Systems. In: WIRT­SCHAFTSINFORMATIK 3/2004, 171-180

Informationsmaterial

Normen

  • DIN 66273 Teil 1: Messung und Evaluierung der Leistung von DV-Systemen; Teil 2: Normlast Typ A. 1991

  • DIN ISO/IEC 15408-2 bzw. ÖNORM ISO/IEC 15408-2: Information technology - Security techniques - Evaluation criteria for IT security - Security functional requirements. 2007

  • EN 1325-1: Value Management, Wertanalyse, Funktionenanalyse Wörterbuch, Teil 1: Wertanalyse und Funk­tio­nen­analyse. 1996

  • ISO/IEC 9126: Information Technology - Software Product Evaluation - Quality Characteristics and Guidelines for their Use. 2001

  • ISO/IEC 14598: Information Technology - Software Product Evaluation. 2001

  • ISO/IEC 15408-1: Information technology - Security techniques - Evaluation criteria for IT security. 2005

  • ÖNORM A 6757: Wertanalyse-Management: Planung, Durchführung und Controlling der Wertanalyse (WA). 1991

Links

« NUTZW - Nutzwertanalyse   VOMOD - Vorgehensmodelle »