Ausführliche Erklärung zum Bewertungssystem (Daueranzeige)

Zeder · 22 September 2002

Ausführliche Erklärung zum Bewertungssystem

1. Wozu überhaupt ein Bewertungssystem?
2. WER kann WAS und WO und WIE OFT bewerten?
3. Was bewirkt das Bewerten eines Beitrages?
4. Begriffserklärungen zum Bewertungssystem
5. Die Dynamik des Bewertungssystems
6. Beispiele
7. Typische Fragen - und Antworten
8. Nachträgliche Anpassungen

1. Wozu überhaupt ein Bewertungssystem?

Damit Besucher der Leselupe aus der Riesenmenge an Werken (auf Wunsch) die besonders gelungenen leichter finden und sich die besonders schlecht bewerteten Werke von vornherein (auf Wunsch) ersparen können.
Damit Autoren, die sich ernsthaft Mühe gaben und lesenswerte Werke erstellt haben nicht in der Masse an schnell dahingeworfenen Texten unbeachtet untergehen.

2. WER kann WAS und WO und WIE OFT bewerten?

Um bewerten zu können muss man als Leselupenmitglied eingeloggt sein und bei seiner Internetsoftware Javascript erlaubt (aktiviert) haben.
Bewerten kann man Werke in allen Werkeforen, nicht jedoch in den Diskussionsforen.
Jeder Text kann nur ein einziges Mal pro User bewertet werden; die Autoren können ihre eigenen Beiträge nicht selbst bewerten.[/list=A]

3. Was bewirkt das Bewerten eines Beitrages?
Die vergebenen Wertungen beeinflussen:
- den Mitgliedsstatus (Titel) des Autors, dessen WERK(*) bewertet wurde.
- den Stimmfaktor des Autors dessen Werk bewertet wurde. [/list=A]
  zusätzlich, wenn Werke bewertet werden:
  - die angezeigte Wertung des Beitrags
  - die eventuelle Platzierung des Werkes im "Das Beste-Forum".[/list=A]
    
    * Es werden Beiträge bewertet - nicht die Autoren! Den Autoren werden anhand der Bewertungen, die sie für ihre Beiträge erhalten haben, entsprechende Stimmfaktoren (Stimmgewicht) und Titel zugeteilt.
    
    4. Begriffserklärungen zum Bewertungssystem
    - Stimmfaktor (Stimmgewicht): Aus den Bewertungen, die ein User bekommen hat, ergibt sich sein Stimmfaktor. Der Stimmfaktor teilt dem User einen Mitgliedstitel zu und verleiht den Wertungen, die er vergibt, das entsprechende Gewicht. Wer also z.B. mit einem Stimmfaktor von 3,4 eine Bewertung abgibt, vergibt diese Wertung 3,4 mal (er hat pro Stimmabgabe/Bewertungsvorgang 3,4 Stimmen).
      Das Stimmgewicht bedeutet NICHT, dass jemand z.B. eine 10 vergeben will aber nur eine 8 vergeben kann, sondern, daß die von ihm vergebene Wertung entsprechend seines Stimmgewichtes mehrmals gezählt wird!
    - Mitgliedsstatus (Titel) des Autors: Jedes neue Mitglied erhält ein (relativ niedriges) Stimmgewicht, das derzeit mit dem Titel "Hobbydichter" belegt ist. Das Mitglied kann durch seine Werke auf- oder absteigen, dabei gibt es keine festen Werte, tatsächlich ändert sich das genaue Stimmgewicht jedes Mitgliedes ständig durch die sich ändernde Gewichtung derjenigen Mitglieder, die Text von diesem Mitglied bewertet haben. Das heißt: Das eigene Stimmgewicht ist ständigen Schwankungen unterworfen. Die - humorvoll zu nehmenden und im Profil abschaltbaren - "Titel" unter dem Usernamen sind bestimmten Stimmgewichts-"Bereichen" zugeordnet, diese Titel können sich im Laufe der Zeit ändern (es können mehr oder weniger werden, die Bezeichnungen können sich ändern). Diese Titel geben nur eine Übersicht darüber, wie gut oder schlecht die Werke des jeweiligen Mitglieds von anderen Mitgliedern bewertet wurden und welches Stimmgewicht dieses Mitglied deshalb hat. Welche Titel es gibt, steht hier: Mitglieder-Untertitel. Statt der Titel kann man auch drei Fragezeichen anzeigen lassen, indem man in seinem Mitgliedsprofil die Option "Userstatus anzeigen" deaktiviert.[/list=A]
      
      5. Die Dynamik des Bewertungssystems
      Das Bewertungssystem arbeitet nicht mit festen Werten, sondern mit Variablen.
      Jede vergebene Bewertung hat zur Zeit (zu diesem bestimmten Augenblick) einen bestimmten Wert, der aus dem Stimmfaktor des Bewertenden resultiert.
      Wenn zum Beispiel einem Werk heute von einem User ein "hervorragend" bescheinigt wurde, dann wird dieses "hervorragend" heute z.B. 3,2 mal gezählt, nächsten Monat eventuell aber nur 2,6 mal oder 4,1 mal - je nach dem, wie sich das Stimmgewicht des Users, der dieses Werk bewertet hat, im Laufe der Zeit verändert, also je nachdem, wie relevant das Stimmgewicht des Users von den Anderen eingestuft wird.
      Die Wertungen, die vergeben werden, verändern ihr Stimmgewicht also ständig, auch rückwirkend! weil sich auch das Stimmgewicht (der Stimmfaktor) jedes Users permanent mit jeder Bewertung ändert, die er für seine Beiträge erhält.
      
      6. Vereinfachte Beispiele (die tatsächlichen Kalkulationen sind etwas komplexer)
      Nehmen wir an
      User x hat Stimmfaktor [red]2[/red]
      User y hat Stimmfaktor [red]3[/red]
      User z hat Stimmfaktor [red]5[/red]
      
      User x vergibt [blue]10[/blue] Punkte
      Das Werk bekommt [red]2[/red] x [blue]10[/blue] Punkte (also 20 )
      und wird mit 20 : [red]2[/red] also mit 10 Punkten angezeigt.
      
      User Y vergibt ebenfalls [blue]10[/blue] Punkte
      Das Werk bekommt weitere [red]3[/red] x [blue]10[/blue] Punkte (also 30 )
      und wird mit (20 + 30) : ([red]2 +3[/red]) = 50 : [red]5[/red] = 10 Punkte angezeigt.
      
      Nun kommt User Z und [blue]6[/blue] Punkte
      Das Werk bekommt weitere [red]5[/red] x [blue]6[/blue] Punkte (also 30)
      und wird mit (20 + 30 + 30) : ([red]2 + 3 + 5[/red]) = 80 : [red]10[/red] = 8 Punkte angezeigt.
      
      An diesem Beispiel sieht man nun, dass User Z mit einem Stimmgewicht von 5 alleine soviel Stimmgewicht hatte wie die beiden anderen User zusammen.
      Deshalb zählten seine 6 Punkte gleichviel wie die zwei 10er-Wertungen der anderen beiden zusammen.
      Deshalb hat das Werk als Durchschnittsbewertung aufgrund dieser DREI Wertungen
      nicht : [blue](10+10+6)[/blue] : 3 = 8,66
      sondern: [blue](10+10+10+10+10+6+6+6+6+6)[/blue] : 10 = 8,00
      _____________________
      
      ALTERNATIVER Erklärungsversuch :
      Nehmen wir als Beispiel an, ein Werk wird von 4 Usern bewertet.
      3 User haben je ein Stimmgewicht von 2,5 und der 4. hat ein Stimmgewicht von 8,5
      Wir haben also vier User mit insgesamt 16 Stimmen.
      
      Am besten (um zu verstehen worum es geht) wäre, wenn Ihr euch vorstellt, es gäbe nicht eine Skala von von schlecht bis hervorragend - sondern nur ein Ja oder Nein.
      
      Keiner kann ein viertel "Ja" sagen oder ein halbes "Nein".
      Aber ein "wichtiger User" kann 8,5 mal "Ja" sagen und hat damit soviel Aussagekraft wie drei "noch nicht so anerkannte User", die mit ihrem Stimmgewicht von 2,5 jeweils nur 2,5 mal "Nein" sagen können.
      Wenn nun der "gewichtigere" User eine andere Meinung hat als die drei nicht so anerkannten User, dann haben wir als Wahlausgang
      NICHT: 1 Ja-Stimme gegen 3 Nein-Stimmen. (hier würde die Mehrheit siegen)
      sondern: 1 x 8,5 Ja-Stimmen gegen 3 x 2,5 Nein-Stimmen. (hier würde sich der anerkannte User durchsetzen) (allerdings wird ein so gravierender Stimmfaktor-Unterschied wie in diesem Beispiel eher die Ausnahme sein)
      
      7. Typische Fragen - und Antworten
      Frage:
      Wenn ich einen schlechten Stimmfaktor habe, sollte ich dann nicht lieber immer etwas besser bewerten als ich es eigentlich tun will, um dem Werk nicht zu schaden?
      
      Antwort:
      Wer sein (seiner Meinung nach) zu niedriges Stimmgewicht ausgleichen möchte, indem er statt einem „Misslungen“ ein „Hervorragend“ vergibt, der erreicht damit das Gegenteil von dem, was er wollte. Und das trifft auch zu, wenn einer statt gewollten 8 dann 10 Punkte vergibt.
      Entweder IST ein Werk laut der eigenen Meinung nur FAST PERFEKT oder es ist PERFEKT.
      Man sollte immer bedenken, dass man jedes Werk nur einmal bewerten kann!.
      Deshalb sollte man einfach nur SEINE ehrliche Meinung (Wertung) abgeben und seinem Stimmfaktor überlassen, wie oft die eigene Meinung zur Zeit gewertet wird.
      Jede abgegebene Wertung "zieht" die Bewertung des Werkes ein mehr oder weniger großes Stück in die Richtung der abgegebenen Stimme.
      Wenn sich im Laufe der Zeit der eigene Stimmfaktor ändert, dann betrifft das auch rückwirkend die von einem selbst (mit noch niedrigem Stimmfaktor vergebenen) Bewertungen.
      
      Frage:
      Als ich eben als Erster und bisher Einziger einem Werk 7 Punkte gab, zeigte sich als Bewertungsergebnis 6,2119922, also nur etwa 88,74 % meiner Bewertung.
      
      Antwort:
      Die erste Wertung war NICHT die erste Wertung. ;-)
      Dies wiederum liegt daran, dass jedes Werk eine (unsichtbare) Anfangswertung vom System bekommt: Eine 5 (also absolutes Mittelfeld, weder schlecht noch gut, vom System automatisch vergeben). Dies bewirkt anfangs (und im Laufe vieler Bewertungen dieses Werkes immer weniger), dass eine 7 dem Werk nicht sofort eine alleingültige Wertung (aufgrund einer einzigen Meinung) aufdrückt. Genau so würde auch eine alleinige 1 dem Werk nicht diese extrem negative Wertung geben, sondern einen Mittelwert aus der 1 und der vom System vergebenen 5 ermitteln (wobei hier dann ebenfalls das eigene Stimmgewicht mit dem des Systems ins Verhältnis gesetzt wird).
      
      Frage:
      Ich habe gerade drei bislang unbewertete Werke mit jeweils einer 7 bedacht. Warum stehen bei den Werken nun unterschiedliche Wertungen? (6,21526 bzw. 6,21544 bzw. 6,215566)
      
      Antwort:
      Wie man sieht, unterscheiden sich diese Zahlen in den hintersten Kommastellen, die Unterschiede haben also kaum Relevanz.
      Aber zu der Frage, woher diese Unterschiede kommen:
      Du hast diverse Wertungen von Usern bekommen. Daraus errechnet sich dein Stimmfaktor (ergibt eine Zahl mit 6 Stellen hinter dem Komma) Wenn nun einer der User, der Dir eine Wertung gab, gerade eben ein anderes Stimmgewicht bekommen hat (aufgrund einer Wertung eines seiner Werke), so ändert dies in Konsequenz eben auch rückwirkend im
      Stimmgewicht die Wertung, die er Dir irgendwann gegeben hat und dadurch ändert sich auch Dein Stimmgewicht ständig, wenn auch meist nur vier Stellen hinter dem Komma.
      
      Frage:
      Warum erlaubt das Bewertungssystem anonyme Wertungen?
      
      Antwort:
      Derzeit scheint die anonyme Stimmabgabe sinnvoller zu sein, da viele Leute NICHT in der Lage wären, ihrem "besten" Freund "nur" eine ehrliche 8 statt einer 10 zu geben, wenn er dies merken würde. ;-) Außerdem soll das System möglichst viele Wertungen pro Werk sammeln, und viele User würden ihre Meinung wohl dann eher für sich behalten, bevor sie sich für ihre Wertungen ständig zu rechtfertigen hätten. Auch ist die Gefahr von "Wie-Du-mir-so-ich-Dir"- Wertungen bei nicht anonymen Wertungssystemen erheblich größer (aber nur selten gerechter).
      
      Frage:
      Ich habe wohl spezielle Feinde, die mir schlechte Wertungen geben. Kann man diese Wertungen löschen lassen?
      
      Antwort:
      Generell hat jeder ein Recht darauf seine Meinung zu einem Werk abzugeben.
      Das System kann sich nicht dagegen wehren, dass Punkte von Usern aus "nicht textbezogenen" Gründen vergeben werden. Dieses Manko haben jedoch ALLE Bewertungssysteme - und das ist ein gesellschaftliches Übel, kein Fehler des Bewertungssystems.
      
      Frage:
      Ist eine Kritik in Textform nicht weitaus besser als eine anonyme Bewertung?
      
      Antwort: JAEIN.
      Man kann das Eine nicht mit dem Anderen vergleichen. Die Bewertung ist wichtig in Bezug auf den Stimmfaktor des Autors und das Ranking des Werkes. Der geschriebene Kommentar hingegen ist wichtig, wenn es um Verbesserungsvorschläge geht.
      Am besten wäre also beides, wobei ein Kommentar STETS sinnvoll und hilfreich sein sollte.
      
      Frage:
      Ich finde die Untertitel saudämlich, sie zeigen den kranken Humor der faschistischen Leselupenmacher und beleidigen mich und mein weltbewegendes literarisches Gut.
      
      Antwort:
      Du kannst Deinen Titel abschalten. Humor ist keine Definitionssache sondern abhängig von Empfindungen. Wenn Du begriffen hast, dass hier Texte, nicht aber Menschen bewertet werden, wirst Du auch verstehen können, dass irgendeine Repräsentation Deiner "Stimmgewalt" sinnvoll ist - und "Hobbydichter" sagt nun einmal mehr über Deine Kritikfähigkeit aus als "3".
      
      Ich hoffe hiermit sämtliche [strike]Un[/strike]Klarheiten beseitigt zu haben.
      
      Euer Gegge
      (wie beim Lotto: alles ohne Gewähr)
      
      (GANZ HERZLICHEN DANK AN UNSEREN EHEMALIGEN ADMINISTRATOR GEGGE FÜR DIESE AUSFÜHRLICHEN ERLÄUTERUNGEN!
      Zeder)
      
      ---------------------------------------------
      8. Nachträgliche Anpassungen:
      
      - Änderung in der Bewertungsoptik:
      
      Da es häufig Missstimmungen wegen der Bezeichnung der Bewertungskategorien gibt haben wir die 'Blättergrafik' durch farbige Balken ersetzt. Es gibt nun keine großen Sprünge mehr wie z.B. von 'gut' zu 'nicht so gut', was immer wieder zu Beschwerden führte.
      Die Länge der Balken ist das Maß für die Höhe der Bewertung und die Breite der Balken das Maß für die Anzahl der erhaltenen Bewertungen. So wirkt nun ein kurzer Balken, den vielleicht der erste Werter voller Unverstand verursacht hat, wenig bedrohlich, weil er sehr dünn ist.
      Diese Änderung wirkt sich in der Forenübersicht und im Werk selbst aus. Die kleinen Anzeigen (z.B. 7,4 (3)), die ohnehin nur mit dem Internet-Explorer sichtbar waren, entfallen damit.
      
      - Kommentarbewertungen durch Moderatoren
      
      Foren-Redakteure können Kommentare bewerten, und zwar mit zwei Punkten, wenn sie einen Beitrag ausblenden müssen sowie mit neun oder zehn Punkten, wenn sie auf einen hilfreichen oder sehr hilfreichen Kommentar stoßen.
      
      - Öffentliche Bewertungen
      
      Ab jetzt gibt es die Möglichkeit, Bewertungen öffentlich abzugeben. Dazu wurde auf der Seite, auf der die Bewertung angeklickt wird, ein Feld eingefügt (Diese Bewertung soll für alle Mitglieder der Leselupe sichtbar sein). Wird dort ein Häkchen gesetzt, so ist diese Bewertung öffentlich und kann von jedem Mitglied der Leselupe eingesehen werden. Unter Werken, die mindestens eine öffentliche Bewertung erhalten haben, ist das Wort ‚bisher’ vor dem Bewertungsbalken ein Link, der zu der Liste der bisher zu diesem Werk abgegebenen öffentlichen Bewertungen führt.
      Auf der Seite ‚Mein Profil ändern’ kann der Inhalt dieses Feldes vorbelegt werden. Die Grundeinstellung ist ‚nein’.
      Der Eintrag "sichtbar / nicht sichtbar" für eine Einzelbewertung kann nicht nachträglich geändert werden.
      
      - Die Systemstimme
      
      Die Systemstimme mit dem Wert '5' hat jedes Werk automatisch, beginnend mit dem Stimmgewicht 8, sobald es das erste Mal bewertet wird. Damit verhindern wir so sinnlose Anzeigen wie '10' wenn nur einer bewertet hat und das Werk super fand. Pro Bewertung ziehen wir vom Stimmgewicht der Systemstimme 2 ab, so dass sie ab 5 Bewertungen herausfällt, da ihr Stimmgewicht dann Null ist.
      Beispiel:
      Der korrigierte Punktewerte der ersten Bewertung ist eine '9' mit dem Stimmgewicht '8'. Das Werk hat dann einen Bewertungspunktestand von (5x8 + 9x8)/16 = 7
      Später kommt eine weitere Bewertung hinzu:
      Der korrigierte Punktewerte der zweiten Bewertung ist eine '10' mit dem Stimmgewicht '7'. Das Werk hat dann einen Bewertungspunktestand von (5x6 + 9x8 +10x7)/21 = 8,19
      Nach der dritten Bewertung:
      Der korrigierte Punktewerte der dritten Bewertung ist eine '9' mit dem Stimmgewicht '6'. Das Werk hat dann einen Bewertungspunktestand von (5x4 + 9x8 +10x7 +9x6)/25 = 8,64
      Fazit: Um so öfter ein Werk bewertet wird, um so mehr verliert die Systemstimme an Einfluss.
      
      <a name="st5"></a> - Die fünfte Stimme
      
      Es gibt eine weitere Besonderheit. Ab der 5. Bewertung fällt die am meisten vom Durchschnitt der anderen Bewertungen eines Werkes abweichende Bewertung heraus. Der Zähler bleibt also bei der 5. Bewertung einfach einmal auf 4 stehen. So wirkt sich die 5. Bewertung unter Umständen ziemlich stark aus, obwohl sie eigentlich genau dem bisherigen Durchschnitt des Werkes entsprach und obwohl die Anzahl gar nicht gestiegen zu sein scheint. Hat ein Werk z.B. 3 Neuner und eine Zwei, so ist sein Wert, mal von der Systemstimme und den Stimmgewichten der Wertenden abgesehen, 3x9+1x2=29/4=7,25
      Gibt nun jemand als 5. Bewertung eine 7, also sogar etwas unter dem Durchschnitt ab, so fällt die 2 heraus, da sie am weitesten vom Durchschnitt abweicht. Nun hat das Werk den Wert: 3x9+1x7=34/7=8,5
      Käme dagegen die 2 als 5. Wertung zu 3x9 und einmal 7 hinzu, so ändert sich der Wert gar nicht.
      Der Grund für diese Regelung ist, dass viele Werke eine einzige stark abweichende Wertung haben. So wurden z.B. etliche Werke von je einem Werter aus Bestof geworfen, da dieser einfach eine 1 oder 2 gegeben hat. Eine einzige solche Entgleisung hat nun diese Chance nicht mehr. Unsere Beobachtung ist, dass eine einzelne stark abweichende Bewertung zumeist von Sympathie oder Antipathie geprägt ist.
      
      Zur Zurückweisung von Bewertungen wegen Sympathie oder Antipathie:
      http://www.leselupe.de/lw/showthread.php?threadid=32200
      
      Zur Berechnung der tatsächlich eingehenden Wertungspunkte siehe hier:
      http://www.leselupe.de/lw/showthread.php?threadid=58771
      
      Zusammenfassende Erklärung von Tim Rohrer:
      http://www.leselupe.de/lw/showthread.php?threadid=50100
      
      Warum ist das alles so kompliziert?
      Weil wir es nicht einfacher hinbekommen haben. Das System ist über mehr als 10 Jahre gewachsen und hat immer versucht, die Ungerechtigkeiten auszubügeln. Wer uns ein besseres System in der Praxis zeigen kann, ist herzlich eingeladen das zu tun.

Ausführliche Erklärung zum Bewertungssystem (Daueranzeige)

Zeder

Administrator