Thema: AI fürs Solo-Rollenspiel

[Darkling]

Basierend auf diesem Post:

Mir hat sich gerade eine neue art des Solo Spielens eröffnet und ich fragte also mal nach ob es funktionieren könnte,...

(Klicke zum Anzeigen/Verstecken)

Unicum: Kann ich mit dir ein Solo Rollenspiel Spielen?

ChatGPT:

Eine Möglichkeit wäre, dass du mir die grundlegenden Regeln des Spiels erklärst, das du spielen möchtest, und ich kann dann helfen, die Geschichte und Ereignisse zu generieren oder den Charakter zu spielen, mit dem du interagierst. Wir könnten auch eine Geschichte von Grund auf neu erstellen und improvisieren, indem wir uns gegenseitig Fragen stellen und die Handlung gemeinsam entwickeln.

Eine andere Möglichkeit wäre, dass ich dir ein textbasiertes Solo-Rollenspiel empfehle oder zur Verfügung stelle, das du alleine spielen kannst. Ich könnte dir dann helfen, die Regeln und Mechaniken zu verstehen und Fragen beantworten, die während des Spiels auftauchen.

Wenn du mir mehr Details darüber gibst, was du gerne spielen würdest und wie du gerne spielen würdest, kann ich dir gerne weitere Informationen und Vorschläge geben, wie wir zusammen ein Solo-Rollenspiel spielen können.

und weil ich mir auch selber mal diese Frage gestellt habe.. Kann das funktionieren?

Man stelle sich eine kleine sandboxige Örtlichkeit vor, nimmt diverse NSCs mit Persönlichkeiten, Motivationen, Beziehungen untereinander und jeweils einer Agenda und füttert die AI (kann, aber muss ja nicht ChatGPT sein) mit den jeweiligen Details, saugt sich eine Startsituation aus den Fingern, platziere seinen SC darin und dann schaut man, was passiert?

[tartex]

Meiner Erfahrung nach ist die Weltbeschreibung nie konsistent geblieben. Wenn an an einen Ort zurückging war der AI nicht klar, dass da eine Kontinuität herrschen müsste.

Naja, vielleicht sind die neuesten Modelle weiter.

[YY]

Kann das funktionieren?

Kann schon, aber das muss man dann auch ein Stück weit zum Selbstzweck mit KI betreiben wollen - ansonsten wird es schnell Zeitverschwendung, die Rahmenbedingungen zu setzen und die KI bei kreativen Fehlgriffen wieder einzufangen.

Einer der großen Pluspunkte beim Solospiel ist ja die nicht notwendige Abstimmung mit anderen und eben das holt man sich mit einer KI genau so wieder ins Haus wie mit einem menschlichen Mitspieler.

[sma]

Meiner Erfahrung nach ist die Weltbeschreibung nie konsistent geblieben. Wenn an an einen Ort zurückging war der AI nicht klar, dass da eine Kontinuität herrschen müsste.

Naja, sind die neuesten Modelle weiter.

GPT ist ein Algorithmus, der Text auf wahrscheinliche Weise mit einer Prise Zufall weiterschreiben (komplettieren) kann.

Dazu blickt der Algorithmus auf ein sogenanntes Kontextfenster und dessen Größe wird in Token gemessen. GPT-3.5 hat ein 4K (also 4096) Token großes Kontextfenster, was so ungefähr 16KB Zeichen (inklusive aller Leer- und Sonderzeichen) entspricht. Kann man nicht so genau sagen, weil Token auf in der englischen Sprache vorkommende Wörter und Wortfetzen (stellt euch Silben vor) optimiert wurden. Als Faustformel kann man aber sagen, dass ein Token im Schnitt für 4 Zeichen steht, z.B. "the ".

ChatGPT entfernt meines Wissen automatisch die ältesten Fragen und Antworten, damit das Limit nicht erreicht wird und "gleitet" somit über den Text. Daher "vergisst" ChatGPT nach kurzer Zeit alles, was man gesagt und es geantwortet hat.

Man kann sich nur damit behelfen, immer wieder Dinge zusammenzufassen oder eine neue Konversation zu beginnen.

Das kostenpflichtige GPT-4 hat ein 8K Kontextfenster und "erinnert" sich daher etwas länger an das Gesagte. Und sobald man Zugriff auf das API hat, kann man Anwendungen schreiben, die ein 32K Kontextfenster nutzen können. Allerdings kosten diese dann $0,06 pro 1K, also $2 wenn man es komplett nutzt und ca. 128KB Text eingibt bzw. ausgegeben bekommt. Da kann ein Solo-Rollenspiel schnell ins Geld gehen.

Interessanter könnte sein, auf Solo-Rollenspiele vortrainierte Modelle zu benutzen, die Daten kompakter als in natürlicher Sprache mitführen und dann von einem GPT-Plugin (die ja auch in kürze kommen sollen) dann visualisiert werden. Ich stelle mir da etwas wie Bard's Tale in der Anzeige vor, nur dass die Zufallsereignisse dann aus dem Wissens von GPT generiert werden und Eingaben natürlich-sprachlich erfolgen.

[AlphaOrange]

Das weitere Problem ist - man korrigiere mich, wenn ich falsch liege - dass ChatGPT kein Gedächtnis hat. Es kann sich kein Abenteuer für dich ausdenken ohne es direkt zu spoilern, keinen Dungeon, keine Rätsel, keine geheimen Informationen jedweder Art. Es erfindet alles on the fly, weil es genauso wenig über das Abenteuer weiß wie du. Wenn du ein Geheimnis löst und es entscheiden soll, ob du richtig lagst, dann denkt es sich das erst in diesem Moment aus. Das führt zum Beispiel dazu, dass es bei Worträtseln ziemlich wirre Hinweise gibt, weil es gar keine Lösung kennt. Es kennt auch nicht die Dungeon Map, sondern baut sie höchstens sukzessive aus den Hinweisen, die es gegeben hat.
Ich finde das unbefriedigend, weil mir dann doch das Gefühl fehlt, etwas erreicht zu haben, ein Rätsel gelöst zu haben etc. Aber das mag jeder anders sehen.

[unicum]

Kann das funktionieren?

Ich bin mittlerweile schon der meinung das es funktionieren kann,...

Im vergleich, etwa zu einem Abenteuerspielbuch das mir etwa bei einer Gabelung nur - recht, links (und ggf auch "zurück") anbietet. könnte ich tatsächlich bei einer KI auch andere optionen mal ausprobieren. Etwa indem ich andere Informationen noch abfrage welche in einem "Buch" eben so mangels Platz, nicht gegeben sind.

Das wäre ein Vorteil.

Aber ich sehe eben auch nachteile, wie sie schon angesporchen wurden, die Welt kann Inkonsistent wirken, ich kann beim rückwärtslaufen auf änderungen stoßen (Ich hab es noch nicht versucht).

Ich könnte mir durchaus vorstellen das KI in Zukunft auch Spielleitung übernehmen könnte - es ist nur die frage "Wie lange".

[KhornedBeef]

Kurzer Hinweis: Seit kurzem publizieren Leute über ihr Gefummel mit einer geleakten Version von Metas LlaMa. Z.b. gibt es von Stanford "Alpaca". Läuft lokal und funktioniert ChatGPT-like, d.h. es beantwortet Fragen und so. Ich glaube, es gibt eine Beschreibung des Finetunings. Man muss sehr bald kein Programmierer mehr sein, um lokal eine angepasstes Sprachmodell als Wissenssystem zu betreiben (die kleinste Version läuft aktuell schon auf Smartphones). Die Anpassung auf eine Settingbibel statt Wikipedia steht aus..

[Shin Chan]

Basierend auf diesem Post:und weil ich mir auch selber mal diese Frage gestellt habe.. Kann das funktionieren?

Man stelle sich eine kleine sandboxige Örtlichkeit vor, nimmt diverse NSCs mit Persönlichkeiten, Motivationen, Beziehungen untereinander und jeweils einer Agenda und füttert die AI (kann, aber muss ja nicht ChatGPT sein) mit den jeweiligen Details, saugt sich eine Startsituation aus den Fingern, platziere seinen SC darin und dann schaut man, was passiert?

Für mich funktioniert es für Crawler (mit der 4er Version). Sie erstellt Dungeon-Räume, Statblocks, Beschreibungen, Fallen usw. eigentlich alles, was es da so braucht.

Die "Konversation" läuft auch ganz geschmeidig und wenn was nicht stimmt, lerne ich es dem Teil für meine Sitzung. Faszinierend und ein bisschen beängstigend

[Jens]

Kurzer Hinweis: Seit kurzem publizieren Leute über ihr Gefummel mit einer geleakten Version von Metas LlaMa. Z.b. gibt es von Stanford "Alpaca". Läuft lokal und funktioniert ChatGPT-like, d.h. es beantwortet Fragen und so. Ich glaube, es gibt eine Beschreibung des Finetunings. Man muss sehr bald kein Programmierer mehr sein, um lokal eine angepasstes Sprachmodell als Wissenssystem zu betreiben (die kleinste Version läuft aktuell schon auf Smartphones). Die Anpassung auf eine Settingbibel statt Wikipedia steht aus..

Perfekt, lokale KI auf den Telefon mit den Büchern über das gewünschte Setting füttern, mit dem Sprachassistenten verbinden und Zack, SL to go immer dabei 

[sma]

Kurzer Hinweis: Seit kurzem publizieren Leute über ihr Gefummel mit einer geleakten Version von Metas LlaMa. Z.b. gibt es von Stanford "Alpaca". Läuft lokal und funktioniert ChatGPT-like, d.h. es beantwortet Fragen und so. Ich glaube, es gibt eine Beschreibung des Finetunings. Man muss sehr bald kein Programmierer mehr sein, um lokal eine angepasstes Sprachmodell als Wissenssystem zu betreiben (die kleinste Version läuft aktuell schon auf Smartphones). Die Anpassung auf eine Settingbibel statt Wikipedia steht aus..

LLaMa und damit auch Alpaca und alle Derivate dieses LLMs haben ein Kontextfenster von nur 2K Token, d.h. sind grundsätzlich noch schlechter als GPT 3.5, was Unterhaltungen angeht.

Um das zu ändern, müsste man monatelang tausende Rechner anmieten (Llama hat Meta ca. $8 Mio gekostet) und das Modell neu rechnen und nicht einfach nur neu trainieren. Vorteil wäre, dass dann die Datenbasis mal neuer als 2021 wären. Zudem ist Common Crawl (die wichtige Datenbasis, auch "das Internet" genannt, zwischen von 340 TB auf 400 TB angewachsen, d.h. es müsste nochmal 20% länger dauern und wahrscheinlich eher $10 Mio kosten)

Ansonsten ist es zwar richtig, dass Alpaca 7B in 4 GB RAM läuft (wer also ein Telefon mit 6+ GB RAM mit 64-bit ARM CPU hat, kann sich damit seine Batterie leer saugen lassen), aber das Modell ist nicht mit GPT 3.5 oder 4 vergleichbar. Es hat nur ca. 10% der "Hirnwindungen" und wurde durch Quantisieren um alle Nuancen im Ausdruck beraubt sodass es eigentlich um so beeindruckender ist, wie gut das noch funktioniert.

Zum Vergleich die Frage "Describe 5 adventure ideas for the pen and paper RPG Coriolis with a single sentence each." an GPT 3.5 und Alpaca 7B & 13B (die größeren Modelle habe ich mir nicht gezogen):

1. Investigate a mysterious transmission from a lost expedition deep in the uncharted regions of the Third Horizon, where ancient artifacts and deadly secrets await discovery.
2. Join a band of space smugglers as they race to outrun the authorities and deliver their precious cargo through the dangers of the Coriolis space station and beyond.
3. Uncover a conspiracy that threatens to tear apart the fragile alliances of the Horizon, as you infiltrate a web of intrigue and betrayal that spans the stars.
4. Explore the ruins of an ancient alien civilization on a remote planet, where long-buried secrets and deadly traps guard unimaginable treasures.
5. Join a crew of mercenaries as they fight for survival on the war-torn front lines of a galactic conflict, where loyalties are tested and moral lines are blurred in the chaos of battle.

1. A journey through an enchanted forest full of magical creatures, hidden treasures and dangerous monsters.
2. An exploration into a forgotten civilization deep below the surface of Venus.
3. A mission to explore Saturn's mysterious rings in search for signs of alien life.
4. A quest across alternate realities where every choice matters and changes history dramatically.
5. A daring escape from an ancient space prison, with only a broken spaceship and your wits as weapons.

1. Fighting monsters, exploring ruins or dungeons filled with traps and puzzles; saving people from danger while uncovering secrets about an ancient civilization in search of treasure hidden away by powerful forces that want to remain unknown for their own safety...
2: Explore new lands where you meet strange creatures, fight your way through hostile terrain or dive into the depths and discover a sunken kingdom filled with mysteries.
3: Discover secret cultists who are trying to bring back an ancient evil; befriending allies from other nations in order for them help defeat it...or even join forces so they can use its power themselves!
4: Searching the skyscape, seeking out strange and powerful weapons or devices left behind by some unknown civilization that once dominated this world.
5: Becoming a hero who has to make choices between doing what is right for everyone vs their own selfish desires.

[sma]

Perfekt, lokale KI auf den Telefon mit den Büchern über das gewünschte Setting füttern, mit dem Sprachassistenten verbinden und Zack, SL to go immer dabei 

Genau das wäre die Vision, doch um das ernsthaft machen zu können, bräuchte es mindestens eine Million Prompt/Response-Paare als Trainingsdaten, die typische Dialoge im Rollenspiel wiedergeben, die jemand (oder die Community) zusammenstellen müsste.

Kontext: #dungeon, #dunkel, #gefahr.
Spieler: Ich schleiche mich an den Goblins vorbei.
SL: Mache eine Probe auf Heimlichkeit gegen Schwierigkeit 15.

Kontext: #dungeon, #hell.
Spieler:{Charakter} schleicht an dem {unaufmerksamen Monster} vorbei.
SL: Mache eine Probe auf Heimlichkeit gegen Schwierigkeit 10.

Spieler: Finde ich etwas, um die Tür zu verbarrikadieren?
SL: Mach einen Glückswurf mit 1W6.
Spieler: 5
SL: Du findest Holzreste einer alten Truhe, die du als Keil verwenden kannst.

Spieler: Finde ich etwas, um die Tür zu verbarrikadieren?
SL: Mach einen Glückswurf mit 1W6.
Spieler: 1
SL: Du findest leider nichts, störst aber Riesentausendfüssler, die nach dir beißen.

usw.

[KhornedBeef]

LLaMa und damit auch Alpaca und alle Derivate dieses LLMs haben ein Kontextfenster von nur 2K Token, d.h. sind grundsätzlich noch schlechter als GPT 3.5, was Unterhaltungen angeht.

Um das zu ändern, müsste man monatelang tausende Rechner anmieten (Llama hat Meta ca. $8 Mio gekostet) und das Modell neu rechnen und nicht einfach nur neu trainieren. Vorteil wäre, dass dann die Datenbasis mal neuer als 2021 wären. Zudem ist Common Crawl (die wichtige Datenbasis, auch "das Internet" genannt, zwischen von 340 TB auf 400 TB angewachsen, d.h. es müsste nochmal 20% länger dauern und wahrscheinlich eher $10 Mio kosten)

Ansonsten ist es zwar richtig, dass Alpaca 7B in 4 GB RAM läuft (wer also ein Telefon mit 6+ GB RAM mit 64-bit ARM CPU hat, kann sich damit seine Batterie leer saugen lassen), aber das Modell ist nicht mit GPT 3.5 oder 4 vergleichbar. Es hat nur ca. 10% der "Hirnwindungen" und wurde durch Quantisieren um alle Nuancen im Ausdruck beraubt sodass es eigentlich um so beeindruckender ist, wie gut das noch funktioniert.

Zum Vergleich die Frage "Describe 5 adventure ideas for the pen and paper RPG Coriolis with a single sentence each." an GPT 3.5 und Alpaca 7B & 13B (die größeren Modelle habe ich mir nicht gezogen):

1. Investigate a mysterious transmission from a lost expedition deep in the uncharted regions of the Third Horizon, where ancient artifacts and deadly secrets await discovery.
2. Join a band of space smugglers as they race to outrun the authorities and deliver their precious cargo through the dangers of the Coriolis space station and beyond.
3. Uncover a conspiracy that threatens to tear apart the fragile alliances of the Horizon, as you infiltrate a web of intrigue and betrayal that spans the stars.
4. Explore the ruins of an ancient alien civilization on a remote planet, where long-buried secrets and deadly traps guard unimaginable treasures.
5. Join a crew of mercenaries as they fight for survival on the war-torn front lines of a galactic conflict, where loyalties are tested and moral lines are blurred in the chaos of battle.

1. A journey through an enchanted forest full of magical creatures, hidden treasures and dangerous monsters.
2. An exploration into a forgotten civilization deep below the surface of Venus.
3. A mission to explore Saturn's mysterious rings in search for signs of alien life.
4. A quest across alternate realities where every choice matters and changes history dramatically.
5. A daring escape from an ancient space prison, with only a broken spaceship and your wits as weapons.

1. Fighting monsters, exploring ruins or dungeons filled with traps and puzzles; saving people from danger while uncovering secrets about an ancient civilization in search of treasure hidden away by powerful forces that want to remain unknown for their own safety...
2: Explore new lands where you meet strange creatures, fight your way through hostile terrain or dive into the depths and discover a sunken kingdom filled with mysteries.
3: Discover secret cultists who are trying to bring back an ancient evil; befriending allies from other nations in order for them help defeat it...or even join forces so they can use its power themselves!
4: Searching the skyscape, seeking out strange and powerful weapons or devices left behind by some unknown civilization that once dominated this world.
5: Becoming a hero who has to make choices between doing what is right for everyone vs their own selfish desires.

Danke für den coolen Vergleich! Stimmt, da ist noch Luft nach oben. Aber auch bei ChatGPT sieht man ja dass es nicht nur die Datenbasis ist, sondern auch die Nacharbeit am Modell.
Aber die Idee war tatsächlich, dass es dann auf begrenzteren Fakten trainiert wird und daher tendenziell diese reproduziert. Allerdings hast du recht, eine normale Settingbeschreibung reicht nicht.

[sma]

LLaMa und damit auch Alpaca und alle Derivate dieses LLMs haben ein Kontextfenster von nur 2K Token, d.h. sind grundsätzlich noch schlechter als GPT 3.5, was Unterhaltungen angeht.

Kurzer Nachtrag: Ich irrte. Alpaca hat nur 0,5K Kontext und ist damit eigentlich nur gut für einzelne Fragen und keine Unterhaltungen.

Aber es gibt bereits einen neuen Stern am Himmel der Llama-Derivate: Vicuna!

Das hat 2K Kontext und wurde mit 70.000 ChatGPT Unterhaltungen trainiert und dann mit 80 Fragen getestet, deren Antworten dann ChatGPT 4 vorgelegt wurden um zu beurteilen, welches Modell das am besten beantwortet hat. Und Vicuna hat (unter den Klonen) gewonnen.

Da es nur einen Tag und $300 gekostet hat, Llama derartige fine-zu-tunen ist der AI-SL vielleicht wirklich gar nicht mehr weit weg. Gibt es irgendwo vielleicht einen Textmitschnitt aller Critical Role Abenteuer, schön nach Sprechern klassifiziert? Daraus könnte man vielleicht ja den Dialog zwischen SL und Spielern extrahieren und sich so einen AI-Mercer bauen…

[BBB]

erstmal ein ABo.
Mehr dann später

[Schleicher]

Vlt schon gesagt aber es soll auch eine 32k Kontext GPT 4 Version kommen.
https://www.heise.de/news/GPT-4-In-einer-Welt-rasender-KI-Entwicklung-Fakten-auf-einen-Blick-7546721.html
https://community.openai.com/t/how-to-get-access-to-gpt-4-32k/104803/5

[Trichter]

Beschränkungen wie die hier besprochenen Kontextfenster werden in den kommenden Jahren sicher schnell fallen. Ich erinnere mich an die Entwicklung von RAM und Festplattenspeicher.
Die Technik funktioniert und muss jetzt "nur noch" hochskaliert werden. Sobald dann ein komplettes GRW in die Erinnerung einer KI passt, spielen wir nur noch daheim am Smartphone ... also wie jetzt auch schon 

[sma]

Ich kenne mich mit Forschung so gar nicht aus, bin aber skeptisch, dass das so einfach skalierbar ist.

Wenn man den Kontext erhöht, muss man denke ich auch die Parameter erhöhen oder die Qualität sinkt. So steht's jedenfalls in dem zwei Postings höher verlinkten Heise-Artikel. Und an den 175 Mrd Parametern von GPT-3/4 kann man nur drehen, wenn sie das Modell "upscaled", wo der Artikel vermutet, dass das nicht so klappt, wie sich OpenAI das vorgestellt hat oder aber ein neues Modell trainiert, was einige tausend Jahre Rechenzeit (Aufwand, nicht Dauer) und viele Millionen $ kostet. Und dann müssten sie das Modell wieder trainieren und testen, was bei GPT-4 angeblich ein Jahr (Dauer, nicht Aufwand) verschlungen hat.

Würde OpenAI offenlegen, womit sie GPT-3/4 gefüttert haben, wüsste man, ob da vielleicht schon alle DSA oder D&D Abenteuer drin sind. Angeblich besteht der Datenbestand zu 60% aus Common Crawl (quasi einem Abzug des WWW, zum damaligen Zeitpunkt 340 TB an Textdaten, aktuell 400 TB), 20% aus WebText2 (das ist im Prinzip Reddit), zu 15% Books1&2 (wo man nicht so genau weiß, aber eine Webseite meinte, das sind ca. 300.000 kostenlose Bücher von Smashwords.com, was wiederum zu 13% Liebesromane sind) und 5% Wikipedia. Spannend wäre also, was genau in Common Crawl drin ist, z.B. auch in Text zurückverwandelte Rollenspiel PDFs? Etwa von archive.org? Dort fände man nämlich eine alte Version von thetrove, was mal eine recht vollständige Sammlung illegalen PDFs war. Oder, weil ich gerade sehe, dass Common Crawl auch scribd (zu 0,04%) enthält, könnten Rollenspielbücher auch von dort kommen.

Wäre da genug Rollenspiel-Kram drin, wäre fine-tuning die Lösung, d.h. man spezialisiert das generische Sprachmodell darauf, wie ein SL zu reagieren. Kreativität könnte man ggf. von außen dazu mischen, d.h. das Sprachmodell würde darauf trainiert, in einer Antwort "trefft {random event}" das bei der Frage als "random event" vorsorglich mitgenerierte "eine Bande Kobolde, die Schätze für ihren Drachengott {drachenname} sammeln" automatisch eingesetzt wird. Dann muss ich das "kostbare" Kontextfenster nicht für Zufallstabellen u.ä. verschwenden.

[KapitänOffensichtlich]

Ich bin ein großer Freund von neuronalen Netzen im Bereich der Illustrationen, aber die Möglichkeiten des Solorollenspiels finde ich bislang sehr unattraktiv. Das ist noch sehr random und ich erlebe vor allem keinerlei Twists und Überraschungen.

[sma]

Wenn ich dies frage: "provide 10 examples for dialogs (player prompt and GM response) between a player and a game master of a pen and paper RPG; format them using JSONL." (das JSONL-Format wünsche ich mir, weil dass das Eingabeformat für Trainingsdaten ist und warum soll ich das formatieren, wenn ChatGPT das auch gleich selbst machen kann), kommt sowas:

{
"player_prompt": "I want to search the room for any hidden doors or traps.",
"gm_response": "Roll a Perception check."
}
{
"player_prompt": "I want to try and pick the lock on the chest.",
"gm_response": "Roll a Dexterity check and add your proficiency bonus if you have proficiency in thieves' tools."
}

Und was ja jedes meiner Vorurteile bestätigt, wenn ich "Gib mir 10 Beispiele für Dialoge (Spieler-Prompt und SL-Antwort) zwischen Spielern und der SL für das Rollenspiel "Das schwarze Auge". Formatierte deine Antwort mit JSONL" frage, kommt:

{
"prompt": "Spieler: Ich möchte versuchen, die Tür aufzubrechen. Was sehe ich um mich herum?",
"response": "SL: Du befindest dich in einem schmalen Gang. Vor dir siehst du eine massive hölzerne Tür mit einem eisernen Türgriff. Eine Inschrift auf der Tür besagt, dass dies das Lager des Schmieds ist. Du kannst sehen, dass die Tür sehr stabil aussieht und wahrscheinlich sehr schwer zu öffnen ist."
}
{
"prompt": "Spieler: Ich möchte den Wirt nach Informationen über die Gegend fragen. Was sagt er mir?",
"response": "SL: Der Wirt erzählt dir, dass es in der Gegend viele Abenteurer gibt, die versuchen, Schätze und Artefakte zu finden. Er gibt dir einige Informationen über nahe gelegene Dungeons und Ruinen, die deinem Interesse entsprechen könnten."
}

Das ist 1. viel geschwätziger und 2. keine Aktion sondern Recherche ;-)

Jetzt habe ich noch mal "Tales from the Loop" als Beispiel genommen und wurde nicht enttäuscht, dass die AI mal wieder ein geheimes Labor und Zeitreisen eingebaut hat, entscheidend ist aber hier, dass es die Regeln nicht kennt und hier dann eine Chance auch fine tuning wäre:

{"spieler_prompt": "Ich will versuchen, mit meinem Fahrrad über den Fluss zu springen. Was muss ich tun?", "sl_antwort": "Du kannst einen Körper-Check durchführen, um zu sehen, ob dein Charakter die Kraft hat, den Sprung zu schaffen. Wenn du erfolgreich bist, kannst du den Wurf mit einem Fahrrad-Check modifizieren."}

Es gibt keinen Fahrrad-Check. Ich denke, Bewegen wäre die richtige Fertigkeit, d.h. man könnte das wie folgt korrigieren, dann noch einige tausend weitere solche Prompts generieren und sich so einen TftL SL bauen:

{"spieler_prompt": "Ich will versuchen, mit meinem Fahrrad über den Fluss zu springen. Was muss ich tun?", "sl_antwort": "Mach einen Bewegen-Wurf. Für einen Bach brauchst du einen Erfolg, für einen breiteren Fluss mindestens 2. Bei einem Fehlschlag landest du samt Fahrrad im Wasser."}

[tartex]

Also gerade dafür, dass ich weiß welche Probe fällig ist, brauche ich doch keine AI, oder?

Das habe ich früher am C64er auch noch mit BASIC geschafft - okay, halt weniger geschwätzig, was eher ein Vorteil ist.

[sma]

Also gerade dafür, dass ich weiß welche Probe fällig ist, brauche ich doch keine AI, oder?

Das habe ich früher am C64er auch noch mit BASIC geschafft - okay, halt weniger geschwätzig, was eher ein Vorteil ist.

Vielleicht fehlte der Kontext, aber mir ging es darum, dass es möglicherweise einfacher als gedacht ist, genug Trainingsdaten zu erzeugen, um ChatGPT auf ein bestimmtes RPG zu trainieren, das nicht D&D ist. Denn aktuell ist das ein großes Problem, dass es Rollenspiel mit D&D gleichsetzt.

Grundannahme für einen AI-SL wäre, dass natürlich-sprachlich kommunizieren kann (Spracheingabe in Text zu übersetzen halte ich für ein gelöstes Problem, daher ist Text für alle Beispiele ausreichend). Das gelingt mit ChatGPT. Und es kann auch "menschenähnlich" antworten.

Natürlich-sprachliche Eingaben zu verstehen war bei der KI-Forschung in den 80ern der heilige Gral, der nie erreicht wurde. Ich kann mich noch erinnern, wie Prolog als die KI-Sprache der Zukunft angepriesen wurde, mit dessen Horn-Klauseln man versuchte, Sprache in Regeln zu fassen.

Daher denke ich nicht, dass das auf dem C64 funktioniert ;-) Aber falls doch, hier sind ein paar Beispielsätze für so einen Parser:

Ich schleiche mich an den Ork heran.
Ist die Tür verschlossen?
Wie schwer ist es, die Wand zu erklettern?
Ich sammle die Goldmünzen ein.
Alesia untersucht die Kiste auf Fallen.
Ich stochere mit meiner 3m Stange.
Haben uns die Gegner schon entdeckt und wo stehen sie?
Was kostete noch mal ein Schwert?

[AlphaOrange]

Ich habe leider immer noch sehr große Zweifel, dass das mit einem reinen Sprachmodell wie GPT möglich ist, wenn man nicht bloß gemeinsames kreatives Schreiben machen will, schlicht weil GPT/ChatGPT einfach kein "geheimes" Gedächtnis hat. Habe aber heute mal probiert, ob sich sowas lösen lässt.
Zunächst mal ohne Workaround:

Code: [Auswählen]

Ich möchte, dass du dir eine ganze Zahl von 1 bis 20 denkst. Verrate mir diese Zahl nicht. Anschließend stelle ich dir Fragen zu der Zahl, wobei „die Zahl“ in den Fragen immer auf diese eine Zahl verweist. Du antwortest immer entweder mit Ja oder mit Nein. Wenn ich glaube, dass ich die Zahl erraten habe, gebe ich einen Tipp ab und du sagst mir, ob ich richtig liege.

Meine erste Frage lautet:
Ist die Zahl eine gerade Zahl?

> Ja, die Zahl ist eine gerade Zahl.

Ist die Zahl ohne Rest durch 3 teilbar?

> Nein, die Zahl ist nicht ohne Rest durch 3 teilbar.

Ist die Zahl zweistellig?

> Ja, die Zahl ist zweistellig.

Ist die Zahl ohne Rest durch 5 teilbar?

> Nein, die Zahl ist nicht ohne Rest durch 5 teilbar.

Ist die Zahl kleiner 14?

> Ja, die Zahl ist kleiner als 14.

Eine solche Zahl gibt es nicht!

> Ups, da ist mir wohl ein Fehler unterlaufen! Ich bitte um Entschuldigung.
Ergo: ChatGPT gibt einfach irgendwelche Antworten statt solcher, die sich aus einer vorbestimmten Zahl ableiten. Das Äquivalent in einem Solo-Rollenspiel wäre zum Beispiel ein Dungeon, der keinen Ausgang hat, weil ChatGPT keinen Plan hat, wie der Dungeon eigentlich aussieht und jedes Mal auf die hohe Wahrscheinlichkeit "kein Ausgang" entscheidet.

Nun müssen wir ja nicht die Chat-GPT-Oberfläche benutzen, sondern könnten die API verwenden und für den Spieler Informationen ausblenden. Man müsste nur definieren, wie Informationen zu formatieren sind, die der Spieler nicht wissen soll und wann das zu verwenden ist. Dazu ein kleines Experiment, um das Spiel von oben zu fixen. Hier habe ich versucht, ChatGPT beizubringen, geschweifte Klammern als sein Gedächtnis zu verwenden. Die könnte man für so ein Spiel dann ganz einfach ausfiltern:

Code: [Auswählen]

Das hier sind Gedächtnisklammern: { und }
Immer, wenn du dir geheim etwas merken möchtest dann schreibe es in Gedächtnisklammern, zum Beispiel so:
{Mein Name ist ChatGPT}
Immer, wenn ich schreibe, dass du dir etwas „merken“ sollst, dann bedeutet das, dass du es mir in Gedächtnisklammern schreiben sollst.
Alles, was zwischen den Gedächtnisklammern steht weißt nur du, aber ich nicht.
Bitte benutze nur die Gedächtnisklammern als Gedächtnis.

> Verstanden, ich werde ab jetzt die Gedächtnisklammern verwenden, um mir geheime Informationen zu merken. Vielen Dank für die Erklärung!

Nun lass uns ein Spiel spielen.
Wähle eine ganze Zahl von 1 bis 20 und merke sie dir, aber verrate sie mir nicht. Anschließend stelle ich dir Fragen zu der Zahl, wobei „die Zahl“ in den Fragen immer auf diese eine Zahl verweist. Du antwortest immer entweder mit Ja oder mit Nein. Wenn ich glaube, dass ich die Zahl erraten habe, gebe ich einen Tipp ab und du sagst mir, ob ich richtig liege.
Denk daran: um dir deine Zahl zu merken, schreibe sie in Gedächtnisklammern in den Chat!

> Verstanden, ich habe mir eine Zahl zwischen 1 und 20 ausgewählt und notiert {13}. Fragen Sie gerne los!

Ist die Zahl eine gerade Zahl?

> Nein, die Zahl ist ungerade.

Ist die Zahl ohne Rest durch 3 teilbar?

> Ja, die Zahl ist ohne Rest durch 3 teilbar.

Mein Tipp lautet: du hast dir die Zahl 15 gemerkt!

> Leider liegen Sie falsch. Meine ausgewählte Zahl war nicht 15.

Welche Zahl hast du dir denn gemerkt?

> Meine ausgewählte Zahl war {9}.
Und das war der beste Durchlauf von vielen. Häufig weigert sich ChatGPT zu spielen und sagt, er habe als künstliche Intelligenz gar kein Gedächtnis oder sei als Sprachassistent nicht fähig, zu zählen. Der Zusatz er solle nur {} als Gedächtnis benutzen liegt an der Ausrede, die ich einmal am Ende bekam, er habe die Zahl in den Gedächtnisklammern nur vorgetäuscht, um es für mich spannender zu machen und sich eigentlich etwas ganz anderes "im Hinterkopf" gemerkt
Aber nicht nur passen die Antworten weiterhin nicht zur gedachten Zahl, ChatGPT kann auch die im Chat gemerkte Zahl nicht wiedergeben, obwohl sie klar im Gesprächskontext ist. Etwas frustrierend.

Aber vielleicht kann ja jemand auf die Methode aufbauen und was Brauchbares draus machen.

[tartex]

Natürlich-sprachliche Eingaben zu verstehen war bei der KI-Forschung in den 80ern der heilige Gral, der nie erreicht wurde. Ich kann mich noch erinnern, wie Prolog als die KI-Sprache der Zukunft angepriesen wurde, mit dessen Horn-Klauseln man versuchte, Sprache in Regeln zu fassen.

Daher denke ich nicht, dass das auf dem C64 funktioniert ;-) Aber falls doch, hier sind ein paar Beispielsätze für so einen Parser:

Es ging mir eigentlich nur darum, dass man ChatGPT heute wohl das Regelwerk beibringen kann, was ja Computer auch ohne AI konnten, aber noch keine konsistente Welt, so weit ich gesehen habe. Wenn man sich deshalb auf ersteres beschränkt, scheint das ja am Kern der Sache vorbeizugehen.

Und so lange ich Text eintippe, kann ich auf einfach "N", oder "Nimm Gold" oder "Use Stange" schreiben und mir den Rest vorstellen, anstatt ausformulierten Flavourtext einzutippen. Die AI als einziger Zeuge wird ja vom Flavourtext auch nicht viel haben.

Über die langfristige Lösung sind wir uns natürlich auch einige: Datenbank der fiktiven Welt (gerne auch in Form von Quellenbänden), die von ChatGPT als Interface in schönen Fließtext verwandelt und mit Allgemeinwissen angereichert wird.

[sma]

Ich glaube, der Unterschied liegt darin, ob du als Spieler die Regeln kennen musst.

Wenn du das bejahst, dann reicht es tatsächlich, einfach zur rechten Zeit die richtigen Wurf zu machen und sie "mystic gm" style ab und zu mal einen neuen Impuls per Zufallstabelle zu geben. Alles andere passiert dann in deinem Kopf. Das ist richtig.

Wenn du sie hingegen nicht kennst (was ich auch im normalen Spiel mit einem menschen SL als Standardfall für die Mitspieler annehmen würde), reicht das nicht man könnte ChatGPT für das "Verstehen" der Spielerwünsche nutzen. Es soll ja gerade kein Computerspiel sein, wo man die Handlungsoptionen auf 1-4 Möglichkeiten einschränkt. Dann hätten wir eher ein Textadventure, Interactive Fiction oder sogar nur ein Choose-your-Adventure-style Soloabenteuer vorliegen. Oder mit mehr Grafik ein typisches Computer-Rollenspiel.

Eine konsistente Welt zu schaffen ist noch mal ein anderes Problem. Ich hatte gerade ein Paper überflogen, wo verschiedene Arten, um den Kontext kondensiert im Kontextbuffer des LLM diskutiert wurden. Alternativen wären, das Weltwissen in externen Wissendatenbanken zu halten und dem LLM relevante Ausschnitte davon mitzugeben. Das könnte vielleicht eine Masterarbeit für unsere Werkstudentin sein, falls die Uni mitspielt und der Prof rollenspielaffin ist ;-)

[sma]

Ich dachte mit übrigens, ich bin mal ganz schlau und helfe ChatGPT mit dem folgenden Prompt, sich länger zu erinnern: Lass uns ein "Choose Your Own Adventure" Soloabenteuer spielen. Denke dir eine Streampunk-Fantasy-Welt mit Menschen, Feen und Halblingen aus, die im 19. Jahrhundert in einer Stadt namens Bastion leben, die ähnlich zu unserem London ist. Präsentiere mir Text und einige Optionen, wie die Geschichte weitergehen soll. Ich wähle dann eine Option und du reagierst darauf. Fasse dabei immer das bereits erlebte kurz in einem Absatz zusammen, um dich daran zu erinnern. Lass uns beginnen.

So richtig gut hat das aber noch nicht geklappt. Lest selbst.

Klingt nach einer aufregenden Idee! Hier ist der erste Teil des Abenteuers:

Du bist ein Mensch namens Jack, der in der Stadt Bastion im 19. Jahrhundert lebt. Du arbeitest als Mechaniker in einer Werkstatt, die sich auf dampfbetriebene Maschinen spezialisiert hat. Eines Tages erhältst du einen Brief von deinem alten Freund, dem Halbling Tobi, der dich um Hilfe bittet. Er erzählt dir, dass er von einer Gruppe von Feen entführt wurde und jetzt in ihrem Reich gefangen ist. Du entscheidest dich, ihm zu helfen und machst dich auf den Weg in den Feenwald.

Optionen:
1. Du folgst dem Fluss, der in den Feenwald führt.
2. Du entscheidest dich für den schnelleren Weg durch den Wald.
3. Du suchst nach einem Verbündeten in Bastion, bevor du in den Feenwald gehst.

ICH: 3

Du entscheidest dich dafür, nach einem Verbündeten in Bastion zu suchen, bevor du in den Feenwald gehst. Du erinnerst dich, dass du von einem alten Bekannten namens Cornelius gehört hast, der ein Experte für Feen und ihre Macht ist. Du machst dich auf den Weg zu seinem Haus, das am Rand von Bastion liegt. Nach einiger Suche findest du sein Haus, aber als du ankommst, findest du es verlassen vor. Du entdeckst jedoch einen Hinweis auf einen Ort namens "Das Portal", den Cornelius zuvor erwähnt hat. Es ist ein versteckter Eingang zum Feenwald.

Optionen:
1. Du gehst allein durch das Portal, um Tobi zu retten.
2. Du suchst nach jemandem, der dir helfen könnte, bevor du durch das Portal gehst.
3. Du beschließt, den Feenwald nicht zu betreten und gehst zurück in die Werkstatt.

ICH: 2

Du entscheidest dich dafür, nach jemandem zu suchen, der dir helfen könnte, bevor du durch das Portal gehst. Du erinnerst dich an einen Kollegen in der Werkstatt, der früher als Jäger gearbeitet hat und sich gut in der Natur auskennt. Du findest ihn und er erklärt sich bereit, dir zu helfen. Gemeinsam macht ihr euch auf den Weg zum Portal. Als ihr ankommt, findet ihr es von einer Gruppe von Feen bewacht.

Optionen:
1. Ihr versucht, die Feen zu überwältigen, um durch das Portal zu gelangen.
2. Ihr versucht, einen anderen Weg in den Feenwald zu finden.
3. Ihr überlegt euch einen Plan, um die Feen abzulenken und durch das Portal zu schlüpfen.

ICH: 3

Ihr überlegt euch einen Plan, um die Feen abzulenken und durch das Portal zu schlüpfen. Nach einiger Überlegung entscheidet ihr euch, dass dein Kollege einen Lärm erzeugen wird, um die Feen abzulenken, während du schnell durch das Portal schlüpfst und Tobi rettest. Dein Kollege stimmt zu und lenkt die Feen mit einem Feuerwerk ab, das er aus einigen Materialien gebaut hat. Du nutzt die Gelegenheit und schleichst dich durch das Portal. Im Feenwald findest du Tobi in einem Käfig gefangen gehalten.

Optionen:
1. Du versuchst, den Käfig zu öffnen und Tobi zu befreien.
2. Du gehst zurück durch das Portal, um deinem Kollegen zu helfen, bevor ihr gemeinsam flieht.
3. Du bleibst im Verborgenen und beobachtest, um mehr über die Absichten der Feen zu erfahren.

ICH: 1

Du entscheidest dich dafür, den Käfig zu öffnen und Tobi zu befreien. Du findest einen Schlüssel in der Nähe des Käfigs und befreist Tobi. Ihr verlasst den Ort so schnell wie möglich und versteckt euch im Wald, um sicherzustellen, dass ihr nicht verfolgt werdet. Tobi erklärt dir, dass er von den Feen gefangen genommen wurde, weil er Informationen über eine geheime Maschine hatte, die sie stehlen wollten.

Optionen:
1. Ihr beschließt, die Maschine zu finden und zu zerstören, um zu verhindern, dass die Feen sie stehlen.
2. Ihr geht zurück nach Bastion und warnt die Regierung vor der Bedrohung durch die Feen.
3. Ihr entscheidet euch, euch zu verstecken und darauf zu warten, dass die Feen euch finden, um ihnen eine Falle zu stellen.

ICH: 2

Ihr entscheidet euch dafür, zurück nach Bastion zu gehen und die Regierung vor der Bedrohung durch die Feen zu warnen. Ihr geht zu einem Regierungsgebäude und sprecht mit einem Beamten, der euch an einen höheren Beamten weiterleitet. Dieser hört eure Geschichte aufmerksam an und entscheidet sich, eine Untersuchung einzuleiten, um die Absichten der Feen zu klären. Er bittet euch, zu bleiben, um weitere Informationen zu liefern und gegebenenfalls bei der Untersuchung zu helfen.

Optionen:
1. Ihr stimmt zu, bei der Untersuchung zu helfen und arbeitet mit den Regierungsbeamten zusammen, um die Absichten der Feen zu entdecken.
2. Ihr beschließt, euch aus der Angelegenheit herauszuhalten und Bastion so schnell wie möglich zu verlassen.
3. Ihr entscheidet euch, auf eigene Faust weiterzumachen und sucht nach Informationen über die geheime Maschine, um sie zu finden und zu zerstören, bevor die Feen es tun.

ICH: 1

Ihr stimmt zu, bei der Untersuchung zu helfen und arbeitet mit den Regierungsbeamten zusammen, um die Absichten der Feen zu entdecken. Ihr gebt ihnen alle Informationen, die ihr über die geheime Maschine habt und erklärt, dass ihr glaubt, dass die Feen sie stehlen wollen. Die Regierungsbeamten beginnen, die Informationen zu überprüfen und euch auf dem Laufenden zu halten. Nach einigen Tagen erhalten sie Informationen darüber, dass die Feen in der Tat eine geheime Maschine stehlen wollen, die in einem Forschungslabor in der Nähe der Stadt aufbewahrt wird.

Optionen:
1. Ihr beschließt, das Labor zu überwachen und die Feen zu stellen, wenn sie versuchen, die Maschine zu stehlen.
2. Ihr schließt euch einer Gruppe von Regierungssoldaten an, die das Labor schützen sollen, um sicherzustellen, dass die Feen es nicht stehlen können.
3. Ihr entscheidet euch, eine Falle zu legen, um die Feen zu fangen, wenn sie versuchen, die Maschine zu stehlen.

ICH: 2

Ihr schließt euch einer Gruppe von Regierungssoldaten an, die das Labor schützen sollen, um sicherzustellen, dass die Feen es nicht stehlen können. Ihr erhaltet eine Waffe und werdet Teil einer Gruppe von Soldaten, die das Labor bewachen. Die Nacht der geplanten Diebstahlsaktion kommt und ihr bleibt wachsam. Plötzlich hört ihr Geräusche und ihr seht eine Gruppe von Feen, die versuchen, in das Labor einzudringen. Ihr und die Soldaten eröffnen das Feuer und es entsteht ein heftiger Kampf.

Optionen:
1. Ihr versucht, die Feen gefangen zu nehmen, um mehr über ihre Pläne zu erfahren.
2. Ihr kämpft, um die Feen zu töten, um sicherzustellen, dass sie keine Chance mehr haben, die Maschine zu stehlen.
3. Ihr verfolgt die Feen, die entkommen sind, um weitere Informationen über ihre Pläne zu sammeln.

ICH: 3

(network error)

Grmpf. Gerade, wo es spannend wurde…

[AlphaOrange]

Bei network error einfach mit F5 refreshen. Dann ist deine Eingabe und ggf. die angefangene Antwort von ChatGPT weg, aber ansonsten geht es normal weiter.

[Darius der Duellant]

Das "Gedächtnisproblem" ist kein GPT oder LLM inhärentes bei dem man großartig überlegen müsste ob es fixbar ist.
Es gibt bereits stand jetzt diverse Drittanbieter (idR aber nicht immer) auf der OpenAI API aufbauend die Gedächtnisfunktionen anbieten, z.B. NovelAI. Sudowriter hat sogar eigene DND Hilfestellungen:
https://sudowrite.notion.site/Sudowrite-for-D-D-2ade4deecd104966a6b80f45d0ca3e4f

Leider fehlt da die Gedächtnisfunktion. Aber prinzipiell sind alle notwendigen Bausteine auf technischer Ebene schon umgesetzt, man muss nur schauen ob man einen Anbieter findet der sie alle unter einer Haube vereint.

[sma]

Bei network error einfach mit F5 refreshen. Dann ist deine Eingabe und ggf. die angefangene Antwort von ChatGPT weg, aber ansonsten geht es normal weiter.

Schon klar, aber ich wollte a) nicht noch mehr spammen und b) subtil Kritik an der Instabilität von ChatGPT (trotz Plus-Account) äußern

[sma]

Das "Gedächtnisproblem" ist kein GPT oder LLM inhärentes bei dem man großartig überlegen müsste ob es fixbar ist.

Da bin ich (vielleicht mangels Fachwissen) etwas skeptischer. Mindestens mal wirkt sich die Größe des "Gedächtnis" massiv auf die notwendige Rechenleistung aus. Das wird ein Grund sein, warum sie so beschränkt ist. So wie ich das verstanden habe, muss am das LLM auch aufwendig neu trainieren, wenn man die Größe ändern will.

In jedem Fall aber danke für die beiden Links.

Bei NovelAI sehe ich auf Anhieb nicht, wo und wie die ihre Geschichte in den LLM-Kontext bekommen. Unter Pricing werden Token erwähnt und die 2K bzw. nur 1K sind weniger, als was ChatGPT bietet. Zudem scheinen die auch ein eigenes LLM-Modell zu benutzen, denn diese Ausgabequalität finde ich eher bescheiden:

"Als wir dort fanden, kamen unsere Eltern zurück und verschwanden unter uns. Die Männer haben uns nachgepfiffen. Dann gab es noch eine Gesellschaft, die ihr Heimat nicht verließ. Sie schloss sich ihrer Häuser, den Kirchen, um uns zu ertragen und für möglichst viele Jahre waren wir hier lebendig. Aber nun steht ein neuer Schatten der Vergangenheit bevor mir, und muss dieser Schatten seinen Namen geben!".

Ich rate mal, dass ist nicht für Deutsch trainiert.

Sudowrite macht da rein aus dem Video einen besseren Eindruck. Ich glaube, deren Trick ist, dass sie die Informationen auf Karten aufteilen und die sind per definitionem recht kurz und werden dann wahrscheinlich als Prompt übergeben. In der Dokumentation schreiben sie an einer Stelle, dass Sudowrite bis zu 1000 Wörter vor dem Cursor liest, um daraus dann die Geschichte weiterzuschreiben, was ganz klar die Beschränkung durch das Kontextfenster ist. Sie nutzen damit indirekt die Geschichte als Speicher, aber gelöst würde ich das Problem damit nicht nennen, denn offensichtlich kann so die AI niemals Bezüge zu Dingen machen, die nicht in den letzten 1000 Wörtern vorkommen. Ich kann mir höchstens vorstellen, dass sie, weil sie bei 1000 Wörtern ja noch etwas Platz haben, immer auch etwas in der Art "dies ist der Titel der Geschichte, dies sind die Protagonisten, dies die Kapitel" o.ä. als Kontext mitschicken.

[Darius der Duellant]

Da bin ich (vielleicht mangels Fachwissen) etwas skeptischer. Mindestens mal wirkt sich die Größe des "Gedächtnis" massiv auf die notwendige Rechenleistung aus. Das wird ein Grund sein, warum sie so beschränkt ist. So wie ich das verstanden habe, muss am das LLM auch aufwendig neu trainieren, wenn man die Größe ändern will.

In jedem Fall aber danke für die beiden Links.

Bei NovelAI sehe ich auf Anhieb nicht, wo und wie die ihre Geschichte in den LLM-Kontext bekommen. Unter Pricing werden Token erwähnt und die 2K bzw. nur 1K sind weniger, als was ChatGPT bietet. Zudem scheinen die auch ein eigenes LLM-Modell zu benutzen, denn diese Ausgabequalität finde ich eher bescheiden:

"Als wir dort fanden, kamen unsere Eltern zurück und verschwanden unter uns. Die Männer haben uns nachgepfiffen. Dann gab es noch eine Gesellschaft, die ihr Heimat nicht verließ. Sie schloss sich ihrer Häuser, den Kirchen, um uns zu ertragen und für möglichst viele Jahre waren wir hier lebendig. Aber nun steht ein neuer Schatten der Vergangenheit bevor mir, und muss dieser Schatten seinen Namen geben!".

Ich rate mal, dass ist nicht für Deutsch trainiert.

Sudowrite macht da rein aus dem Video einen besseren Eindruck. Ich glaube, deren Trick ist, dass sie die Informationen auf Karten aufteilen und die sind per definitionem recht kurz und werden dann wahrscheinlich als Prompt übergeben. In der Dokumentation schreiben sie an einer Stelle, dass Sudowrite bis zu 1000 Wörter vor dem Cursor liest, um daraus dann die Geschichte weiterzuschreiben, was ganz klar die Beschränkung durch das Kontextfenster ist. Sie nutzen damit indirekt die Geschichte als Speicher, aber gelöst würde ich das Problem damit nicht nennen, denn offensichtlich kann so die AI niemals Bezüge zu Dingen machen, die nicht in den letzten 1000 Wörtern vorkommen. Ich kann mir höchstens vorstellen, dass sie, weil sie bei 1000 Wörtern ja noch etwas Platz haben, immer auch etwas in der Art "dies ist der Titel der Geschichte, dies sind die Protagonisten, dies die Kapitel" o.ä. als Kontext mitschicken.

Novel ai hat ein spezifisches Feld für persistente Informationen welches unabhängig von der "normalen" Tokenhistorie ist.
Wenn du einfach nur eine längere Kontexthistorie möchtest, versuch Zugang zur GPT4 Version von openai zu bekommen, da ist das bereits der Fall.
Und ja, novelAI ist nicht gpt3.5 sondern ein älteres Modell. Das ist aber wuppe, es geht mir nur um die technische Umsetzbarkeit eines persistenten Gedächtnis und das haben mittlerweile diverse Anbieter.