Tanelorn.net

Pen & Paper - Rollenspiel => Pen & Paper - Allgemein => Thema gestartet von: Ludovico am 14.07.2008 | 09:06

Titel: Runden-Benchmarking
Beitrag von: Ludovico am 14.07.2008 | 09:06
Da ich klausurenfrei bin und noch 2 Wochen bei einem ziemlich langweiligen Job zubringe und dazu noch in 2 Runden mit dem gleichen System zocke (einmal als Spieler und einmal als SL) und diese Runden nicht unterschiedlicher sein können, war ich mal am Überlegen, wie man am Besten die Unterschiede feststellen kann, um so daraus zu lernen und Verbesserungen für sich mitzunehmen.

Man kann sagen, daß die Qualität der Spieler und des SLs unterschiedlich sind und auch die Hausregeln, aber mir ist das etwas zuviel im Trüben Rumstochern.

Deshalb kam mir heute, da ich dank eines üppigen mongolischen Buffets und der darauf folgenden Magenschmerzen kaum ein Auge zutun konnte, der Gedanke, ob man nicht ein Benchmarking durchführen könnte und wollte das Ganze gerne mal auf theoretischer Basis diskutieren.

Hierbei dachte ich an eine Art Konkurrenz-Benchmarking.

Interessant empfinde ich vor allem die Vergleichsphase, denn eine RPG-Runde mit Zahlen zu erfassen, ist nicht ganz so simpel... oder doch?

Erstmal kommt es bei Kennzahlen doch darauf an, festzustellen, was man wissen möchte. Zu abstrakt sollten die Werte auch nicht sein, denn dann ist der Aussagewert problematisch.

Hier sind mal so ein paar Ideen, die mir heute gekommen sind:

Komplexität=#Spieler

Disziplin=Intimezeit/Gesamtzeit*100

Fluktuation=#Charakterwechsel

SL-Dominanz=Redezeit des SL

Regeldominanz=#Würfelwürfe



Man sollte allerdings nicht bloß die Werte eines Abends nehmen, denn immerhin sind Rollenspielrunden auch sehr von der Tagesform der Teilnehmer abhängig, sondern die Gesamtwerte eines bestimmten Beobachtungszeitraums.



Welche Kennzahlen könnte man noch gut für eine RPG-Runde wählen?

Wie seht ihr die praktische Durchführbarkeit und überhaupt den möglichen Nutzen eines solchen Tools?

Ich gebe übrigens gerne zu, denn ich denke, daß der Einwand kommen wird, daß es sich um eine Art Schwanzvergleich handelt. Allerdings soll ein Benchmarking die Informationen liefern, um herauszufinden, warum der andere einen längeren Schwanz hat und wie ich meinen auch länger machen kann.
Titel: Re: Runden-Benchmarking
Beitrag von: sir_paul am 14.07.2008 | 09:37
Ein paar Anmerkungen:

Komplexität=#Spieler

Würde ich Anzahl oder besser Größe nennen ;)

Disziplin=Intimezeit/Gesamtzeit*100

Komisches Wort, würde ich eventuell Geschichte bzw. Story nennen!

Fluktuation=#Charakterwechsel

#Charakterwechsel/Zeiteinheit wäre besser vergleichbar!

SL-Dominanz=Redezeit des SL

Redezeit des SL/Gesamtzeit*100, analog zur Disziplin und für die Vergleichbarkeit!

Regeldominanz=#Würfelwürfe

auch hier pro Zeiteinheit, sonst kann man das nicht vergleichen...

Was ich spontan noch zufügen würde wäre:

Kampfanteil=#Kämpfen/Zeiteinheit


Ansonsten habe ich noch nicht genau verstanden was du mit diesem Benchmarking erreichen möchtest? Was sind deine Ziele. Ohne Ziele kriest du auch keine Aussagekräftigen Metriken hin.

Gruss
sir_paul
Titel: Re: Runden-Benchmarking
Beitrag von: Ludovico am 14.07.2008 | 09:45
Guter Punkt mit den Zielen:
Also ich wollte ersteinmal hier über eine mögliche Vergleichbarkeit von RPG-Runden diskutieren und da fiel mir das Benchmarking als mögliches Mittel ein.

Die Ziele, die man erreichen möchte, sind an sich unterschiedlich von Runde zu Runde, wobei ich es auch für möglich halte, daß SLs, die mit einer Runde unzufrieden sind, aber nicht genau wissen, wieso, mittels dieses Tools vielleicht herausfinden können, was sie wurmt.

Ich selber würde gerne mal sehen, in welchen Bereichen die andere Runde besser ist und wieso das so ist, denn die Spielweisen sind bei gleichen Systemen sehr unterschiedlich (nicht besser oder schlechter, sondern anders und aus den Unterschieden kann man sicher lernen).
Titel: Re: Runden-Benchmarking
Beitrag von: sir_paul am 14.07.2008 | 10:00
Ich selber würde gerne mal sehen, in welchen Bereichen die andere Runde besser ist und wieso das so ist, denn die Spielweisen sind bei gleichen Systemen sehr unterschiedlich (nicht besser oder schlechter, sondern anders und aus den Unterschieden kann man sicher lernen).

Nun aber was ist besser? Ist ein hoher Anteil an Kampf besser oder schlechter für die Gruppe? Eventuell ist dieser Punkt auch total egal, dann muss man den Kampfanteil auch gar nicht messen.

Das meinte ich mit meiner Frage, irgendwelche sachen Messbar machen ohne ein Ziel dahinter führt meistens nicht zum gewünschten Ergebniss. Vor dem erstellen einer Metrik sollte man also eine genaue Vorstellung haben worum es geht.

Ansonsten wirst du eventuell zu viele Sachen messen oder einiges vergessen haben!

Was uns zur Frage führt, worin äussern sich denn die Unterschiede in deiner Gruppe?

Gruss
sir_paul
Titel: Re: Runden-Benchmarking
Beitrag von: Ludovico am 14.07.2008 | 10:11
Die Kennzahlen, die ich genannt habe, dürften schon mit helfen, um die Unterschiede zu skizzieren.

Der Unterschied liegt vor allem in der Ernsthaftigkeit. Ein Spieler meinte mal, daß meine Runde gut zur Entspannung sei. Bei der anderen Runde ist das Rollenspiel sehr ernsthaft (also so ziemlich die ernsthafteste Runde, die ich bislang erlebt habe).

Gut, daß Du die Sache mit den Zielen ansprichst. Darüber hatte ich mir noch keine konkreten Gedanken gemacht:
Mein Ziel ist, die Intime-Zeit und die Ernsthaftigkeit zu erhöhen.
Titel: Re: Runden-Benchmarking
Beitrag von: Joerg.D am 14.07.2008 | 10:20
Benchmarking?

Olli, wenn man ein Benchmarking macht, bedeutet das das man die Firma mit dem Branchenführer vergleicht. Wer ist also der Branchenführer und was macht er besser als der andere?

Das Problem dabei ist das es im Rollenspiel nur recht wenig vergleichbare Prozesse gibt. Die Organisation beim Kampf oder die Verteilung der Spielanteile könnte, wenn sie denn organisiert ist, verglichen werden. Punkte wie Hintergrundmusik, Essen während des Spiels und Zigarettenpausen sowie andere Störungen müssten auch erfasst werden.

Kreativität und Leistung des SLs sind als Prozesse zu abstrakt um wirklich gut miteinander verglichen zu werden. Fortschritte oder Verbesserungen beim Spielen lassen sich leichter durch gezielte Arbeit an Schwachpunkten beseitigen, als durch einen Breitbandtest, der sich auf Zahlen verlässt. Rollenspiel ist IMHO zu 90% Subjektiv und so etwas lässt sich schlecht durch Zahlen erfassen.
Titel: Re: Runden-Benchmarking
Beitrag von: sir_paul am 14.07.2008 | 10:29
Mein Ziel ist, die Intime-Zeit und die Ernsthaftigkeit zu erhöhen.

OK, das wäre also dein Ziel. Mein erster Gedanke wäre ja mit den Spielern der "nicht so ernsten" Runde mal zu sprechen ob sie es überhaupt ernsthaftiger sein wollen.

Einiges weitere hat Jörg D. ja schon geschrieben...

Wie könnte aber eine Objektive Metrik aussehen?


Erstmal Grundlegendes:
=================

Größe: #Spieler+SL - Zu grosse Runden sind (meist) schwr zu handeln

Häufigkeit: #Treffen/Zeiteinheit - Liegen grosse Pausen zwischen den Treffen könnte das zu mehr out-time geschwafel führen.

Länge: Länge der Treffen - Wenn mann lange am Stück spielt könnte irgendwann auch mal der Spass verloren gehen.

Anwesenheit: #Spieler am Treffen/#Spieler in der Runde*100 - Fehlen häufig Spieler könnte das auf weniger Interesse schließen lassen. Weniger Interesse führt auch zu weniger Ernsthaftigkeit.


Weiteres:
=======

Out-Time: Zeit out-time/Gesamtspielzeit*100 (Wie lange ist man wirklich out-time. Sollte auch in Relation zur Länge betrachtet werden.

Ernste: #Spieler die ernsthaft Spielen/#gesamte Mitspieler*100 - Wie gross ist der Prozentsatzt der mehr Ernsthaften Spieler in der Runde, gibt es eventuell nur wenige welche aber die ganze Runde runterziehen.


Das erstmal für den Anfang, eventuell fäält mir später noch was ein.

Weitere Fragen sind nun: Wird es eine externes Benchmark oder ein interner Benchmark? Setzt sich also jemand Gruppenfremdes in die Sitzungen und hällt die Werte nach, oder macht es ein Gruppenmitglied. Beides wird natürlich die Werte verfälschen... Eventuell kannst du aber auch Video oder Ton Protokolle anfertigen ;)


Gruss
sir_paul
Titel: Re: Runden-Benchmarking
Beitrag von: TerraNova am 14.07.2008 | 10:29
Ich finde den Ansatz, Runden zu bewerten sehr zwiespältig, da hier eine Objektivität angestrebt wird, die es bei eigentlich jedem auch nur entfernt künstlerischen Prozess kaum gibt. Ist Michaelangelo ein besserer Maler als Paul Klee? Kaum zu sagen.

Andererseits ist es natürlich möglicherweise hilfreich, auf diese Art und weise Hinweise darauf zu finden, was (wenn denn irgendwas) in einer Gruppe nicht stimmt. Dafür sind aber rein statistische Erhebungen (Kampfanteil, SL-Redezeit, ...) kaum hilfreich. Manche Gruppe mag Kämpfe als taktische Herausforderung, andere halten das für rein unsinniges Beiwerk, und die dritte spielt ein System, in dem Kampfdauer einfach technisch bedingt hoch ist, und überspringt einfach die meisten Gemetzel.

Insofern gebe ich meinen Vorrednern recht, man muß eigentlich schon eine Idee haben, wo denn die probleme liegen könnten, bevor man sich ans Messen macht. Der Arzt wird bei Schmerzen im Knie selten einen Ohrabstrich machen. ;)

Wenn man denn weis, wo das Problem liegen könnte, kann man sicher zu solchen Metriken greifen, auch wenn ich hier "Sympthome sammeln" für den besseren Ansatz halte. Zahlen gaukeln immer objektivität vor. Stichpunkte laden zur Diskussion ein, und das (so nervig es manchmal sein mag) ist leider nunmal der beste Weg.

Oh, und MEC (Mandatory Evil Comment): Diskutieren darfst du so lange du willst, wenn ich keinen Bock habe redest du mit der Wand.
Titel: Re: Runden-Benchmarking
Beitrag von: Ludovico am 14.07.2008 | 10:41
Ich bin mir übrigens sehr gut im Klaren darüber, daß diese Idee für einige ziemlich ketzerisch anmuten muß.

Benchmarking?

Olli, wenn man ein Benchmarking macht, bedeutet das das man die Firma mit dem Branchenführer vergleicht. Wer ist also der Branchenführer und was macht er besser als der andere?

Man kann auch versuchen, sich mit jemanden der gleichen Branche zu vergleichen, wenn man mit bestimmten eigenen Prozessen unzufrieden ist. Gerade im logistischen Bereich ist es nicht immer ganz einfach einen Branchenführer zu bestimmen.
Aber mir geht es auch um eine Art Benchmarking, daß auch längst nicht so genau zu sein braucht, wie es teilweise in der Wirtschaft ist.

Zitat
Das Problem dabei ist das es im Rollenspiel nur recht wenig vergleichbare Prozesse gibt. Die Organisation beim Kampf oder die Verteilung der Spielanteile könnte, wenn sie denn organisiert ist, verglichen werden. Punkte wie Hintergrundmusik, Essen während des Spiels und Zigarettenpausen sowie andere Störungen müssten auch erfasst werden.

Pausen lassen sich ziemlich gut erfassen und die Gründe hierfür auch. Allerdings wäre eine zu große Untergliederung wie Sir Paul bereits meinte, eher kontraproduktiv.
Über die möglichen Kennzahlen kann man streiten, aber hier würde ich sagen:
Pausenanteil: Pausenminuten/Gesamtzeit*100

Zitat
Kreativität und Leistung des SLs sind als Prozesse zu abstrakt um wirklich gut miteinander verglichen zu werden.

So auf den ersten Blick könnte ich mir zur Kreativität auch nicht viel an Kennzahlen ausdenken, aber zur Leistung:
SL-Redeanteil
Regelfestigkeit: aufgewendete Zeit für Nachblättern/Gesamtzeit*100
Authorität: #durch SL geblockte Diskussionen

Den Kampfanteil finde ich auch recht interessant.

Zitat
Fortschritte oder Verbesserungen beim Spielen lassen sich leichter durch gezielte Arbeit an Schwachpunkten beseitigen, als durch einen Breitbandtest, der sich auf Zahlen verlässt. Rollenspiel ist IMHO zu 90% Subjektiv und so etwas lässt sich schlecht durch Zahlen erfassen.

Benchmarking ist auch subjektiv, denn die verwendeten Kennzahlen werden durch subjektive Ziele definiert. Außerdem ist der Gedanke, daß man durch die Vergleichbarkeit auch mögliche Schwachpunkte und auch Potentiale aufdeckt.
Man darf halt nicht den Fehler machen und immer bloß eine Zahl für sich betrachten, sondern das Bild, was die Zahlen zusammen ergeben.

@Sir Paul
Vielen Dank für die Ideen und die möglichen Kennzahlen! Langsam fühle ich mich bestätigt, daß man Runden quantitativ sinnvoll erfassen kann und somit eine Vergleichbarkeit entsteht.

Die Durchführung des Benchmarks wäre an sich schlampig, da ich den durchführen müßte und kein Externer (weiß nicht, wie es Dir geht, aber ich krieg immer die Krätze, wenn Nichtspieler sich dazusetzen). Die Werte wären also auf alle Fälle verfälscht, aber eine 100%ige Schärfe ist eh nicht angestrebt.

Titel: Re: Runden-Benchmarking
Beitrag von: Joerg.D am 14.07.2008 | 13:37
Hm, Du hast mich früher durchaus schon mal in die Runde geholt, damit ich Kommentare zum Spiel abgeben konnte. Sich einen externen SL holen oder jemanden bitten mal das Spiel zu analysieren ist IMHO effektiv aber sehr unbequem. Kaum jemand lässt sich gerne erzählen, was er schlecht macht.

Ich habe sehr gute Erfahrungen damit gemacht das sich ein Mitglied der Truppe mit jemand anderem übder das unterhält, was ihn stört und das Feedback nach der Überarbeitung dann an mich weiterleitet. So konnte ich noch mal einen großen Schritt machen, was mein Leiten angeht.

Allerdings muss man dazu auch erst mal Leute haben, die für kompetentes Feedback geeignet sind.
Titel: Re: Runden-Benchmarking
Beitrag von: Sir Mythos am 14.07.2008 | 16:16
Das Problem was ich sehe ist, dass jeder andere Vorlieben hat.
So können die vorgeschlagenen Kennzahlen zwar Sinn machen, allerdings immer nur für die einzelne Person.
Titel: Re: Runden-Benchmarking
Beitrag von: Dom am 14.07.2008 | 17:05
Kennzahlen müssen ja nicht automatisch gleich besser/schlechter bedeuten. So mag für den einen ein hoher In-Time-Anteil besser sein als ein niedriger. Trotdem ist das Verhältnis (In-Time-Zeit/Gesamt-Spielzeit) aussagekräftig, denn sie gibt Auskunft über die In-Time-Zeit zur Gesamt-Spielzeit (tolle Erkenntnis ;)).

Ob man jedoch solche Kennzahlen in irgendeiner Weise zum persönlichen Spielspaß in Verhältnis setzen kann, muss ausprobiert werden. Aber an sich eine interessante Idee :)
Titel: Re: Runden-Benchmarking
Beitrag von: mat-in am 14.07.2008 | 18:17
Ich glaube nicht, das in den meisten runden Intime-Zeit meßbar ist. Es ist doch immer eins chwanken zwischen 10% und 90% oder?
Titel: Re: Runden-Benchmarking
Beitrag von: Saffron am 14.07.2008 | 18:21
Hi,
ich bin ja ungern pessimistisch (und wer's glaubt, dem verkauf ich mein Auto  :P) , aber ich hab auch Bauchschmerzen. Selbst bei irgendwelchen Vergleichsringen, in denen es viele tatsächlich messbare Faktoren gibt, ist eine echte Vergleichbarkeit oft schwierig zu erreichen. Wie soll das erst bei einer Sache sein, die so sehr von weichen Faktoren lebt? Wie lässt sich Kreativität, Spielfreude, Atmosphäre und Humor bewerten?

OK ich räume ein, dass manche Zahlen Aufschluss über Teilaspekte der Spielrunde geben können. Vielleicht kann man damit sogar das eine oder andere Problem sichtbar machen und dann entgegenwirken. Aber um in der Terminologie zu bleiben, glaube ich nicht so recht, dass Aufwand und Nutzen in einem vernünftigen Verhältnis stehen.  

Zugegenermaßen spielt da aber auch eine Portion Trotz mit: Ich hab eh was gegen Schubladen und scharf umrissene Definitionen, jedenfalls wenn es um Rollenspiel geht.

Just my 5 cents
Saffron

Titel: Re: Runden-Benchmarking
Beitrag von: Eulenspiegel am 14.07.2008 | 19:41
Regelfestigkeit: aufgewendete Zeit für Nachblättern/Gesamtzeit*100
Bei diesem Punkt muss man allerdings beachten, dass diese Größe nicht unbedingt etwas über die Regelfestigkeit aussagt: Vielleicht wird auch nur selten im Regelwerk nachgeschlagen, weil einem die Regeln egal sind.

Eine Gruppe, denen also die Regeln wichtig sind und die die Regeln kenne, bekommen also die gleiche Kenngröße, wie eine Gruppe, denen die Regeln egal sind, und die deswegen nicht nachblättern. (Gemeinsam ist natürlich beiden Gruppen, dass eine möglichst kleine Zahl gut ist.)

Was man noch messen könnte:
- durchschnittliches zu-spät kommen. (Also, alles zu spät kommen aufsummiert geteilt durch die Anzahl der heutigen Mitspieler)
- durchschnittliche Wartezeit, bis das eigentliche Rollenspiel anfängt (also das OT-Gelaber aufhört und der Fernseher ausgeschaltet wird) anfängt.
- Spielzeit pro Spielabend
- Spielzeit pro Woche (bzw. Spielabende pro Woche)

Alle möglichen Fluktuationen:
- Spielerfluktuation
- Charakterfluktuation
- Anzahl der Systemwechsel / Spielzeit
- Länge einer Kampagne (entweder gemessen in Spielabenden oder in Spielzeit)

Soziales:
- Verbrachte Rollenspielzeit / Verbrachte Zeit mit den Spielern (oder anders ausgedrückt: Trifft man sich nur zum Rollenspielen, oder hat man auch noch andere gemeinsame Aktivitäten?)
- #Diskussionen übers Rollenspiel (außer der Rollenspielabende) / # Rollenspieabende
- Diskussionszeit übers Rollenspiel (außerhalb der Rollenspielabende) / Rollenspielzeit

ingame Geschehen:
- Vorgeplänkel/Prolog / ingame Spielzeit (also Gesamtspielzeit minus Spielzeit für OT-Gelaber)
- Zeit für eigentliches Abenteuer (bzw. spannende Szenen) / ingame Spielzeit
- durchschnittliche Zeit für eine Szene. (Also sitzt man an einer einzelnen Szene nur 5 Minuten oder eine ganze Stunde? Dauert ein einzelner Kampf nur 5 Minuten oder eine ganze Stunde?)

das obere aufgeschlüsselt nach:
- durchschnittliche Zeit für eine spannende Szene
- durchschnittliche Zeit für eine langweilige Szene

desweiteren:
- #beteiligter Charaktere in einer Szene (beteiligen sich also nur 1-2 SCs pro Szene oder sind alle SCs in die Szene involviert?)
Titel: Re: Runden-Benchmarking
Beitrag von: Dom am 14.07.2008 | 20:27
Das Wichtigste wäre, viele Zahlen zu sammeln (nachdem ein paar gut messbare Werte festgelegt wurden). Denn sonst bleibt alles, auch die eventuelle Aussagekraft, reine Theorie.
Titel: Re: Runden-Benchmarking
Beitrag von: Ludovico am 15.07.2008 | 09:38
OK ich räume ein, dass manche Zahlen Aufschluss über Teilaspekte der Spielrunde geben können. Vielleicht kann man damit sogar das eine oder andere Problem sichtbar machen und dann entgegenwirken. Aber um in der Terminologie zu bleiben, glaube ich nicht so recht, dass Aufwand und Nutzen in einem vernünftigen Verhältnis stehen.  

Man darf nicht einzelne Zahlen betrachten, sondern muß sie ständig im Kontext mit anderen Zahlen sehen.
Was den Aufwand angeht, hab ich mir heute auch Gedanken gemacht. Man könnte einfach eine Runde per Tonband aufzeichnen und dann das Band auswerten oder aber man führt Stichproben durch und rechnet diese hoch.

@URPG
Guter Einwand! Ein Problem, mit dem ich mich auch schon derzeit im Job rumärgere, daß man sehr feste und harte Definitionen der Dinge braucht, die man mißt.

@Dom
Möglichst viele Zahlen zu sammeln, halte ich für problematisch. Sir Paul hat dazu schon sehr treffend was geschrieben.
Alleine, was bis jetzt an möglichen Kennzahlen gesammelt wurde, würde die Sammlung erschweren, denn je mehr Du erfassen möchtest, desto größer der Aufwand.
Titel: Re: Runden-Benchmarking
Beitrag von: sir_paul am 15.07.2008 | 09:47
@Dom
Möglichst viele Zahlen zu sammeln, halte ich für problematisch. Sir Paul hat dazu schon sehr treffend was geschrieben.
Alleine, was bis jetzt an möglichen Kennzahlen gesammelt wurde, würde die Sammlung erschweren, denn je mehr Du erfassen möchtest, desto größer der Aufwand.

Ich hatte Dom so verstanden das man zuerst (wenige) Kenngrössen festlegt, danach aber ausreichend viele Daten sammeln muss damit die gemessenen Werte representativ werden. Also nicht nach ein zwei Sitzungen sagen jetzt ist gut, die Werte müssten schon über einen längeren Zeitraum nachgehalten werden!

Gruss
sir_paul
Titel: Re: Runden-Benchmarking
Beitrag von: Ludovico am 15.07.2008 | 09:58
Oh, na dann:
Volle Zustimmung!
Ich würde es so machen, daß ich die Zahlen einzelner Sitzungen nehme, diese zu Monatszahlen und schließlich zu Jahreszahlen zusammenfasse.
Wenn man dann mehr in die Tiefe gehen möchte, wäre das problemlos möglich.
Titel: Re: Runden-Benchmarking
Beitrag von: Ludovico am 15.07.2008 | 10:42
Was den Aufwand angeht, so kam, glaub ich, schon der Vorschlag mit einer Kamera und dann macht man die Auswertung nach der Runde. Ansonsten ginge noch ein Aufnahmegerät oder man macht es mit hochgerechneten Stichproben (wird auch bei Arbeitszeiterfassung gemacht).

Die Idee eines Externen find ich mittlerweile auch recht gut, wobei ich keine Ahnung habe, wer zu sowas Lust hätte.

Titel: Re: Runden-Benchmarking
Beitrag von: der.hobbit am 15.07.2008 | 11:30
Ehrlich gestanden: Ich halte das für riesigen Unsinn. Viel Arbeit für nix. Im folgenden ein Begründungs-Rant, wer's nicht lesen will, darf's gerne überspringen.

Was ist denn letzten Endes der Sinn dieses Benchmarks? In der Industrie werden sie zwar primär eingesetzt, um sich mit anderen zu vergleichen, letzen Endes aber nur, um sich ein Ziel vorzugeben, das man erreichen möchte (z.B. haben die meisten Aktienfonds bestimmte Indizes als Benchmark gesetzt, und wollen nun mindestens so gut wie diese Benchmark abschneiden).

Das heißt, gäbe es das RPG Benchmark und ich könnte meine Runde mit anderen Runden darüber vergleichen, könnte ich nachher zu meinen Spieler gehen und sagen: Hört mal zu, wir haben ein Ingame / Outgame Verhältnis von 0,3, die Benchmark hat 0,6. Hier sollten wir besser werden.
Mal ehrlich: Wer mir so käme, den würde ich auslachen. Ich würde mich vermutlich auf dem Boden wälzen und während des Spiels so oft darauf anspielen, dass unser Verhältnis auf 0,2 sinken würde.
Warum sagt derjenige nicht einfach: Mir würde das Spiel mehr Spaß machen, wenn wir versuchen, mehr Ingame zu sprechen. Das ist eine Aussage, die ich so viel eher akzeptiere als dieses argumentum ad verecundiam (http://de.wikipedia.org/wiki/Kunstgriffe_%28Schopenhauer%29#Kunstgriff_30_.28Autorit.C3.A4ten_statt_Gr.C3.BCnde_angeben.29).

Der nächste Punkt ist die Durchführbarkeit. Es wird kaum jemanden geben, der sich freiwillig neben die Gruppe setzt und mit Eieruhr und Strichliste bewaffnet Statistik führt. Also bleibt nur die Aufzeichnung der Runde. Ehrlich gestanden habe ich besseres mit meiner Zeit zu tun, als mir eine Spielrunde noch mal von Band anzuhören und dabei Statistik zu führen. Da eröffne ich lieber eine zweite Runde.
Ich vermute einfach mal, dass es vielen Leuten in der Beziehung ähnlich wie mir geht, das Benchmark wird daher nur die Menge der Gruppen zusammenfassen, in denen
a) Mindestens ein Mitspieler viel Zeit hat
b) Mindestens ein Mitspieler glaubt, Probleme zu haben oder auf Schwanzvergleiche steht (sonst würde er in seiner vielen Zeit ins Schwimmbad gehen).
Die Messung ist daher kaum repräsentativ, es werden wahrscheinlich nur Schüler- und Studentengruppen überhaupt messen können und die werden es nur tun, um entweder ihre Mitspieler auf deren schlechtes Spiel hinzuweisen (ärmlich) oder um im Internet mit ihrem tollen Spiel anzugeben (ärmlich). Mit solchen Runden will ich mich gar nicht vergleichen, sorry.

Aber nehmen wir weiter an, dass wir tatsächlich eine große Menge von Runden haben, die an solch einer Benchmark teilnimmt. Wie erfolgt die Messung dann?
War dieser Satz jetzt Ingame oder Outgame? Zählt die Diskussion über die Aufstellung der Truppen zum Kampf oder ist das noch Rollenspiel im Offizierszelt? Die Werte werden sehr subjektiv sein, da sich nur wenige harte Zahlen finden lassen und wahrscheinlich kaum einer der Benchmarker wirklich Ahnung von Marktforschung und Statistik hat. Was gemessen wird, ist somit immer subjektiv, und zudem ist es nicht die Realität: Egal ob die Runde von Mr. Strichliste oder einem Mikrofon begleitet wird (oder gar einer Kamera!) - glaubt ihr, dass das Spiel noch so läuft, wie es normalerweise laufen würde? Dass nicht plötzlich alle Spieler sich so verhalten, wie sie sich verhalten, wenn sie beobachtet werden? Das wird keine sinnvollen Ergebnisse bringen. Natürlich könnte man die Kamera auch versteckt vor den Spielern montieren. Mal ganz abgesehen davon, dass man sich selbst trotzdem anders verhält (und meist ist es der SL, der solche Initiative entwickelt, der durch sein verändertes Verhalten die Gruppe maßgeblich beeinflusst), mal ganz abgesehen davon - meine Mitspieler heimlich zu filmen / aufzunehmen halte ich für ärmlich.

Nein, ich halte ein RPG Benchmark weder für erstrebenswert noch für durchführbar. Als Studienarbeit im Rahmen des BWL-Studiums könnte es aber ein ulkiges Projekt sein - so lange der Prof den daraus resultierenden Unsinn nicht auseinandernimmt.
Titel: Re: Runden-Benchmarking
Beitrag von: Dom am 15.07.2008 | 11:54
@Hobbit: Ob die Zahlen irgendwas aussagen, ist fraglich. Aber ohne solche Zahlen mal erhoben zu haben ist der Ruf nach "totaler Unsinn!" auch eben dieser.

Ich hatte Dom so verstanden das man zuerst (wenige) Kenngrössen festlegt, danach aber ausreichend viele Daten sammeln muss damit die gemessenen Werte representativ werden. Also nicht nach ein zwei Sitzungen sagen jetzt ist gut, die Werte müssten schon über einen längeren Zeitraum nachgehalten werden!

Ja, genau. Zuerst ein paar potenziell interessante Zahlen überlegen, dann sammeln. Und zwar nicht nur von einer Gruppe, sondern von mehreren. Vielleicht machen ja genug freiwillig mit - oder man verantstaltet ein Gewinnspiel o.ä.

Zur Durchführung: Wenn man drei Dinge messen möchte, könnte man dafür einfach drei Spielern die Verantwortung geben. Die Zeit zum Kämpfen beispielsweise lässt sich relativ leicht messen, ebenso die Gesamt-Spielzeit. In-/Out-Time-Zeit ist schwieriger messbar, geht aber wahrscheinlich auch noch. Auch das zu-spät-kommen oder Anzahl Charakterwechsel kann man relativ leicht erfassen. Ich weiß nicht, ob man wirklich eine außenstehende Person braucht.
Titel: Re: Runden-Benchmarking
Beitrag von: Ludovico am 15.07.2008 | 12:07
@Hobbit: Ob die Zahlen irgendwas aussagen, ist fraglich. Aber ohne solche Zahlen mal erhoben zu haben ist der Ruf nach "totaler Unsinn!" auch eben dieses.

Ob Zahlen etwas aussagen, kommt immer auf die Art der Zahlen und deren Quelle an, ebenso auf den Zweck.
Von der Kampflastigkeit einer Runde kann man nicht auf den Ingame-Anteil schließen.

Zitat
Ja, genau. Zuerst ein paar potenziell interessante Zahlen überlegen, dann sammeln. Und zwar nicht nur von einer Gruppe, sondern von mehreren. Vielleicht machen ja genug freiwillig mit - oder man verantstaltet ein Gewinnspiel o.ä.

Fände ich persönlich sehr interessant. Mittlerweile denke ich sogar, daß Kennzahlen für eine Runde für sich genommen, interessant sein können.
Ich weiß nicht, wie es aussähe, wenn man Runden mit unterschiedlichen Systemen vergleicht. Was meinst Du, was das für Auswirkungen auf das Ergebnis hätte.

Danke für die Ausführungen! Langsam bin ich echt am Überlegen, ob ich das nicht bloß theoretisch mache, sondern mal praktisch umsetze und Kennzahlen von meiner Runde sammel.
Titel: Re: Runden-Benchmarking
Beitrag von: Dom am 15.07.2008 | 12:15
Zitat
Ich weiß nicht, wie es aussähe, wenn man Runden mit unterschiedlichen Systemen vergleicht. Was meinst Du, was das für Auswirkungen auf das Ergebnis hätte.
Kommt wahrscheinlich auf die Zahlen an. Die Zu-Spät-Kommer lassen dich wahrscheinlich nicht vom System abschrecken ;) Zusätzlich zu den Kennzahlen bräuchte man auf jeden Fall Rahmendaten wie Anzahl der Spieler und Spiel.
Titel: Re: Runden-Benchmarking
Beitrag von: Ludovico am 15.07.2008 | 12:22
Also kann wohl eine Unterteilung treffen in
-Systemabhängige Kennzahlen
-Systemunabhängige Kennzahlen
Titel: Re: Runden-Benchmarking
Beitrag von: der.hobbit am 15.07.2008 | 12:40
@Hobbit: Ob die Zahlen irgendwas aussagen, ist fraglich. Aber ohne solche Zahlen mal erhoben zu haben ist der Ruf nach "totaler Unsinn!" auch eben dieser.
Darum war es auch kein allgemeiner Ruf, sondern meine persönliche Meinung:
Ich halte das für riesigen Unsinn.
Auch nicht totaler Unsinn, nur riesiger...

Ich wünsche auf jeden Fall viel Spaß beim Messen! ;)
Titel: Re: Runden-Benchmarking
Beitrag von: Dom am 15.07.2008 | 13:33
Deswegen habe ich auch nix von "allgemeinem Ruf" sondern nur von "Ruf" geschrieben. *draufrumtret*
Titel: Re: Runden-Benchmarking
Beitrag von: Saffron am 15.07.2008 | 18:00
Mal ne ganz ketzerische Frage am Rande: Was sagen eigentlich die Spieler zu der Idee? Die Reaktion auf die Offenbarung, dass sie "gebenchmarked" werden sollen, finde ich persönlich eigentlich tausendmal interessanter als den ganzen Rest. 
Titel: Re: Runden-Benchmarking
Beitrag von: Kir am 15.07.2008 | 19:38
Mal ne ganz ketzerische Frage am Rande: Was sagen eigentlich die Spieler zu der Idee? Die Reaktion auf die Offenbarung, dass sie "gebenchmarked" werden sollen, finde ich persönlich eigentlich tausendmal interessanter als den ganzen Rest. 

Dazu fällt mir ein, dass in meiner alten SR Runde an ein oder zwei Abenden eine Strichliste geführt wurde um zu sehen wer die meisten OT-Kommentare von sich gab. Die Liste diente nicht direkt dem benchmarking, sondern eher dazu im Spiel zu bleiben anstatt noch einen Star Wars Joke zu reißen. Das Verfahren hat mich diszipliniert.

Als Konseuqenz aus dieser Anekdote ergibt sich: Wenn man anfängt das Spiel zu benchmarken, dann verändert man es, ob man das intendiert hatte oder nicht.

So ähnliche Dinge passieren bei vielen organisatorischen Prozessen, wenn man anfängt ein Qualitätsmanagementsystem einzuführen: Die Prozesse verändern sich.

Bevor man also wie wild anfängt zu benchmarken, sollte man sich gut überlegen ob man sich damit nicht zum einen unnötige Bürokratie aufhalst und zum anderen das Spiel beeinflußt.
Titel: Re: Runden-Benchmarking
Beitrag von: Dom am 16.07.2008 | 06:13
Zitat
Was sagen eigentlich die SpielerMitspieler zu der Idee?
Ich hab das mal korrigiert.

Die Reaktionen wird gemischt sein – egal, ob es Charakterspieler oder Spielleiter sind. Es ist klar, dass das nur geht, wenn die gesamte Runde mitzieht; denn schließlich werden alle gemessen.

Zitat
Wenn man anfängt das Spiel zu benchmarken, dann verändert man es, ob man das intendiert hatte oder nicht.
Spieler sind wie Quanten. Ist doch klar, oder?


Titel: Re: Runden-Benchmarking
Beitrag von: sir_paul am 16.07.2008 | 09:20
Die Zahlen sind IMHO ohne Bedeutung

nene das kommt schon auf die Interpretation an...

Komplexität=#Spieler

Wie "Komplex" ein Spiel ist hängt auch sehr stark von der Art der Spieler ab, ein einzelner Egowichser ist IMHO schwieriger zu handhaben als zwei Schweiger, zwei  Gunbunnies und drei Durchschnittsspieler

Trotzdem ist es meisten so (mal ganz abgesehen von den Spielerpersönlichkeiten) das grosse Gruppen meistens zu handeln sind. #Spieler ist also nicht der einzige Faktor aber ein wichtiger!


Disziplin=Intimezeit/Gesamtzeit*100

Was ist "Intime"? Ich halte wenig von  "Alles Ausspielen"  Runden, ist eine technische Beschreibung/Fertigkeitenreferenz schon outtime

Das macht diese Zahl aber nicht sinnlos, man muss Intime halt nur genauer definieren.

Fluktuation=#Charakterwechsel
 
In einigen Systemen gehört der Tod dazu. Wie wird das gerechnet? Twilight  oder Cuthulu  haben z.T. massive Fluktuationen

Dann können Twilight oder Cuthulu Gruppen einen hohen Wert in Fluktuation ja als Bestätigung nehmen das sie alles richtig machen ;) Wie bei den meisten Benchmarks geben die Werte nur Hinweise auf "Besonderheiten" und müssen noch im Kontext genauer betrachtet werden.


SL-Dominanz=Redezeit des SL

Auch von der Runde abhängig, ebenso vom Scenario. Actionlastiges braucht ggf. mehr SL-Text als "Lass und das auslabern" (Storytelling)

Auch hier gibt der Wert aber einen Hinweis, egal in welcher Gruppe/Szenario, wenn der SL den größten Anteil an Redezeit hat sollte man mall überprüfen ob das in Ordnung ist. Auch hier muss man die Werte welche durch die Metrik gemessen werden natürlich mit den Zielen der Gruppe vergleichen.

Denn Rest habe ich mal gekürzt!

Im Prinzip läuft es auf volgendes Hinaus, jeder dieser Werte kann (nach genauer Definition des Wertes) gewisse Aspekte einer Rollenspielgruppe vergleichbar abbilden (wenn man es schaft diese Objektiv gleich zu messen). Die Ergebnisse des Benchmarks können Hinweise auf Probleme in der Gruppe geben. Diese Hinweise müssen natürlich im Kontext der Gruppe (Szenario/System/etc) kritisch Hinterfragt werden. Anschließen kann mann daraus Schlüsse ziehen.

Eine Gruppe welche auf Kämpfen steht könnte den Kampfdominaz Wert z.B. ignorieren. Eine Gruppe welche auf Charakterspiel steht wird wahrscheinlich mehr augenmerk auf SL-Dominaz und Disziplin legen als ein Hack&Slay Trupp, das ist nur natürlich.

Es entwertet aber die gegebenen Werte nicht in ihrer Funktion als Hinweisgeber!

In unserer Firma wird jedes Jahr ein Benchmark über die Mitarbeiterzufriedenheit von einer externen Firma durchgeführt. In unserem Team werden die Ergebnisse dann vorgestellt und Diskutiert. Durch die Diskussion wird sehr schnell festgestellt welche (schlechten) Werte wir ignorieren können, da sie für uns "nicht wichtig" sind. Wir finden aber auch jedes Jahr ein paar Punkte an denen wir arbeiten müssen.

Macht es den Benchmark nutzlos das nicht alle Werte aussagekräftig für uns sind? Nein, denn wir können noch genug Nutzen aus den anderen Werten ziehen. In anderen Firmen werden aber eventuell genau die Werte wichtig welche wir ignorieren.

Summasumarum: Die Gewichtung der Werte des Benchmarks werden wohl von Gruppe zu Gruppe unterschiedlich sein, das entzieht dem gesamten Vorgehen aber nicht ihren Sinn (IMHO)!

Gruss
sir_paul