Zwecks Qualitätskontrolle liegst du da sicherlich richtig, Zed. Mir wäre aber absolut schleierhaft, wie ich oder andere Alleinbastler das auch nur ansatzweise hinkriegen sollten. Ich würde also ein wenig wiedersprechen: Gerade wenn das auf Hobbyniveau schwimmt, ist das nicht machbar. Wobei ich klar unterscheiden würde zwischen: Für jeden frei verfügbar oder nur für Geld zu haben. Im letzteren Fall würde ich es aber auch irgendwo zwischen Hobby und Kommerz (der ja ok ist) ansiedeln und Qualitätskontrolle als Pflicht ansehen.
Das Problem bei Tests, dass ich auch noch sehe ist der Effekt vom Zerren in zig verschiedene Richtungen. Am Beispiel von Feenlicht: Schon alleion Anmerkungen von Leuten, die noch nicht mal wirklich reingelesen haben gingen und gehen in so viele verschiedene Richtungen, dass es schwer wird, klar zu entscheiden, was davon reine Vorliebe und was Kritikpunkte sind, die wirklich ins Schwarze treffen. In einem Band von Feenlicht stecken im harmlosen Fall Monate Arbeit. Das auch noch durch eine rigorose Testphase zu schicken wäre sicher sinnvoll, aber ohne großes Team würden die Zeiten dann explodieren, fürchte ich.
Darum verfahre ich da immer mit dem Prinzip Hoffnung, hier in der Form: Ich gebe mir Mühe, weiß aber, dass es immer Ecken und Kanten haben wird. Wer es nutzt hat aber ja die Freiheit, die rund zu schleifen oder schlicht zu ignorieren.
Ich hoffe das klang jetzt nicht zu scharf. Ich wollte deine Überlegung auf keinen Fall abwerten, Zed. Ich denke nur dass hier „wünschenswert“ und „machbar“ nur schwer in Einklang zu bringen sind.
Und bevor das hier weiter besprochen wird sollte man diesen Aspekt evtl. in ein eigenes Thema auslagern, da es von der eigentlichen Frage doch wegführt.