Ich versuch mich mal an einer umfassenden Antwort auf Dein Problem.
Die Spieler spielen nicht so, wie Du es möchtest.
Das kann mehrere Ursachen haben:
1. Du erwartest von ihnen, dass sie sich anders verhalten als sie wollen - dann solltest Du Dir Spieler suchen die so spielen wollen, wie Du es möchtest.
2. Die Spieler haben keine Idee, was Du erwartest und wissen nicht, was sie machen sollen, also gehen sie auf "Plan B" ein und das ist nun mal "tumbe gewalt" - was Dir nicht gefallen will.
Wenn Ihr nicht "nicht zusammenpasst", dann ist es ein Frage von "mangelnden Informationen".
Daran kann man arbeiten...
Ein paar Dinge die ich herausgelesen habe und die mir dazu auffielen:
Planlosigkeit, Hilflosigkeit und Ahnungslosigkeit
Du schreibst, dass, wenn Plan A, der meistens sinnlos ist, fehlschlägt, schauen sie dich an und wissen nicht weiter.
Meine Überzeugung ist folgende: Die Spieler sollten immer wissen, was sie als nächstes zu tun haben.
Sie müssen nicht die Lösung kennen, aber sie sollten immer wissen was der nächste Schritt ist, den sie angehen.
Wenn sie Dich dumm anschauen weil ihr sinnloser Plan A fehlschlug und sie nicht wissen, was zu tun ist,
dann wissen sie genau das eben nicht! Und dann musst Du ihnen sagen, wie es weitergehen soll.
Wenn ihre Charaktere Informationen brauchen, müssen die Spieler wissen, wo sie die bekommen können, oder zumindestens wissen,
wo sie die Informationen über diese Quelle erfahren können. Wenn sie dazu einbrechen müssen, okay, aber dann sollten sie auch das wissen.
Dadurch kann man langes Rätselraten vermeiden.
Es ist gar nicht schlimm, wenn Du als Spielleiter ihnen so quasi diverse Türen öffnest. Die Spieler werden später das Gefühl haben, das Abenteuer alleine gelöst zu haben, denn Sie haben die wichtigen Dinge erledigt. Dass Du ihnen quasi durch NSCs oder andere Wege gesagt hast, was zu tun, oder wo Infos zu holen, und was zu beachten ist, fällt keinem auf.
Damit machst Du es ihnen und vor allem DIR sehr vieles leichter.
Spieler wollen nicht "vermuten, wo der Schatz zu holen ist" - sie wollen es "machen".
(Anmerkung: gilt natürlich nicht für alle Spieler. es gibt natürlich auch tüftler, die gern planen. in dieser runde scheint es davon aber keine zu geben.)
Gewalt ist nicht die (einzige) Lösung
Naja, es ist aber eben "eine" Lösung. Und wenn die Abenteuer so aussehen, dass sie damit Erfolg haben könnten, dann werden sie auf dieses bewährte Schema auch zurückgreifen. Das soll nicht heissen, dass man die Kämpfe jetzt nur noch scheitern lassen soll.
Nein, ganz im Gegenteil - Kämpfe sollten zu bewältigen sein - sonst ist das Spiel frustrierend.
Im oberen Punkt habe ich geschrieben, dass die Spieler wissen sollten, was als nächstes zu tun ist.
Nun, diese Information bekommen sie von Dir über irgend ein Medium (NSC zum Beispiel).
Dabei kannst Du ihnen ja aber auch stecken, dass sie sich eine gewaltsame Lösung abschminken müssen.
Beispiel: "Die Information die Ihr sucht, könnt Ihr bei Lonney der Maske bekommen. Aber Vorsicht, das ist der Neffe vom Paten, den würde ich nicht verärgern (bedrohen ausgeschlossen). Allerdings soll Lonney eine Schwäche für hübsche Frauen haben..."
Das sind drei Informationen in einem Satz: 1. Was ist zu tun? 2. Keine Gewalt! 3. Alternative, die auszuarbeiten ist.
Und schwubs werden sich die Spieler dransetzen und sich was überlegen.
Ansonsten gilt immer: KISS
[keep it straight and simple]
mach die Abenteuer einfach und übersichtlich.
Wie gesagt, die Spieler sollen immer (!) wissen, was als nächstes zu machen ist. Mach es ihnen einfach (nicht die Herausforderungen, sondern die Möglichkeiten, dass sie die Entscheidungen über den nächsten Schritt treffen). Spar nicht mit Informationen.
Ein Abenteuer wo Du hinterher sagst "Ihr hättet noch so viel rauskriegen können" ist vergebliche Arbeit. Denn Du hast Dinge ausgearbeitet, die nicht verwendet werden. Wenn Du etwas ausgetüftelt hast, sorg dafür, dass die Spieler es irgendwann bekommen. Ansonsten ist es wertlos.
Wenn sie nicht die richtigen Fragen stellen, dann gib Hinweise. Die Spieler wissen nicht, wo es drauf hinauslaufen soll. Sie wollen etwas machen.
Sorg dafür, dass sie es können, in dem sie immer genug infos haben, was zu tun ist.
Und gib Hinweise, wie es zu machen ist.
Deine Spieler werden dankbar sein und sich auf die zu erledigenden Arbeiten stürzen.
Dann noch etwas:
Du schreibst, dass die Stammspieler Magier und Krieger spielen, die Spieler, die öfter nicht da sind,
Diebe, Barden und Waldläufer spielen.
Wenn das so ist, erklärt sich es vielleicht auch, warum Plan B (Gewalt) so ein probates Mittel ist.
Die Stammspieler sind die, die meistens den Kurs vorgeben. Wenn die Spezialisten aber die "Statisten" sind,
ist doch klar, wohin die Reise geht...
Ausserdem können die Stammspieler sich teilweise auch gar nicht darauf verlassen, dass der nötige Spezialist grad da ist, wenn er nicht immer mitspielt. Wenn man plant einen Einbruch zu machen, um heimlich an etwas zu kommen, der Dieb aber beim nächsten mal nicht mitspielt, ist das dumm...
Gegebenfalls wäre es hilfreich, die Stammspieler einfach mit den Spezialistenjobs / -rollen auszustatten.
Dadurch wird auch der Fokus weg vom Kampf auf andere Wege gelegt.