Thema: "I'm afraid I can't do that, Dave" - der LLM und KI Thread

[KhornedBeef]

 In welchem Sinn machen Bezahlkunden das nicht mit?

[Maarzan]

Die Interpretation dass die kostenlosen Accounts zum Upgrade auf einen Bezahlaccount einladen sollen, ist übrigens eine Fehleinschätzung. Die kostenlosen Zugänge verfolgen zwei Zwecke:

1. Nutzerzahlen hoch halten. Denn das ist gut fürs Marketing und für Investorenrunden.
2. Daten sammeln. Das machen Bezahlnutzer nämlich nicht mit. Und diese Interaktionsdaten sind halt für die Betreiber immens wertvoll. Und wiegen bei der Kosten/Nutzenabschätzung deutlich schwerer als die Chance, jemanden zum zahlenden Kunden zu machen.

Was sammeln die denn da bzw. was können die lernen, wenn hier z.B. jemand eine Hexkarte füllen lässt oder eien Abenteueridee haben will?

[Haukrinn]

Daten wie Hexkarten aussehen. Deine Hexkarten. Was nützlich sein könnte, wenn mal wieder jemand ne Hexkarte anfordert.

[Paßwächter]

Und: in welchem Textumfeld hat der Begriff "Hexkarten"(s)einen Platz? Welche Themen begleiten ihn? Welche Begriffe fallen direkt in der Nähe, welche eher in einigen hundert oder tausend "Token" Entfernung?

[schneeland]

Die Diskussion um die Studie, wie sich LLMs auf Textverständnis und Kreativität auswirken habe ich mal in den entsprechenden Thread in Rollenspiel & Gesellschaft verschoben: Link. Bei Bedarf bitte zu diesem Thema dort weiterdiskutieren.

[Feuersänger]

Nach längerer Zeit hier mal wieder ein Bump.

Habe nämlich nach ebenfalls längerer Zeit mal wieder Claude befragt, und dabei ist mir ein signifikanter Unterschied zu cGPT aufgefallen:

Chatty mimt primär den hilfreichen Sekretär, bemüht sich, angeforderte Informationen zu liefern, und schließt seine Antworten meist mit einem weiteren Hilfsangebot ab: "Möchtest du, dass ich dies und das in einer Tabelle zusammenfasse?" oder dergleichen. Ansonsten bleibt es fast immer passiv, mal ganz davon abgesehen dass es generell zu fast allem Ja und Amen sagt was man als Statement hinwirft.

Claude hat zwar ebenfalls diesen Hang zur Speichelleckerei, aber macht eine Sache bedeutend anders: es stellt Rückfragen zur Sache und fragt den User nach dessen Meinung. Wenn es zum Beispiel zu einem diskutierten Problem einen Lösungsansatz liefert, fragt es "would this work? Or does [X] create a [Y] problem?"

Weiss nicht, ob das schon länger so ist, ist mir heute das erste mal aufgefallen.

--

Was wohl prinzipiell auch funktionieren kann: das LLM beauftragen, als Advocatus Diaboli zu agieren, und gezielt Haare in deiner Suppe zu suchen. Das habe ich aber noch nicht probiert. Bislang habe ich lediglich ChatGPT beauftragt, Spekulationen klar als solche zu kennzeichnen, also nicht zu halluzinieren - das klappt so halbwegs.
Was mir aber auch schon aufgefallen ist: zuweilen sitze ich so lange über dem Prompt brütend da, um so klar wie möglich zu fragen und Fehlinterpretationen des LLM auszuschließen, dass ich bei der ganzen Nachdenkerei das Problem schon selbst löse und das LLM gar nicht mehr zum Einsatz kommt.

[Zed]

Bei Zusammenfassungen, Übersetzungen und Strukturierungen gefällt mir aktuell im Verständnis wie auch in den Ergebnissen Claude am besten von den LLMs, die ich regelmäßig parallel befrage (Gemini; Perplexity pro; DeekSeek; Claude).

[Feuersänger]

Der Nachteil bei Claude ist halt das sehr niedrige Token-Limit für Free User. Das ist so der Grund warum ich es eher selten verwende.

Gemini liefert schon in der Google-Suche regelmäßig nur kompletten Rotz, Perplexity kenn ich nicht, Deepseek nutze ich bewusst nicht.

[Zed]

Der Nachteil bei Claude ist halt das sehr niedrige Token-Limit für Free User. Das ist so der Grund warum ich es eher selten verwende.

Gemini liefert schon in der Google-Suche regelmäßig nur kompletten Rotz, Perplexity kenn ich nicht, Deepseek nutze ich bewusst nicht.

Wenn Du Perplexity mit Deinem Paypal-Konto als Zahlungsart verknüpfst, dann erhältst Du Perplexity Pro für ein Jahr gratis - Gegenwert 240€, meine ich.

Du kannst dann außerdem den Comet-Browser von Perplexity nutzen, der einige nette Features hat wie Internetseiten zusammenfassen - gerade für Youtube-Videos sehr praktisch. Wenn man Comet für seine Mails freischaltet, dann soll er sehr hilfreich sein, wichtiges von unwichtigem zu unterscheiden, Subscriptions zu verwalten und Mailantworten vorzuschlagen, habe ich gehört. Das habe ich aber noch nicht gemacht, da habe ich noch eine Privatsphärehemmung...

[Feuersänger]

Es weht ein frischer Wind durch die LLM-Welt: bin auf das Deutsch-Französische Projekt Mistral.ai gestoßen und bin gerade dabei, es auszuprobieren. So auf Anhieb - erst wenige Prompts getestet - würde ich sagen, es funktioniert mindestens so gut wie ChatGPT. Der Chatbot "Le Chat" verspricht fundierte und durch Quellen belegbare Resultate. Man darf gespannt sein!
Vor allem kommt man damit gleich mal von dem ganzen amerikanischen und chinesischen Kram weg und kann europäische Lösungen unterstützen.

https://chat.mistral.ai/

[Mithras]

Ich nutze Mistral schon seit Anfang 2025 und bin sehr zufrieden, ich habe aber auch keinen Vergleich zu ChatGPT. Allerdings bin ich heilfroh das ich die Werbefalle von ChatGPT umgangen bin. (Kack US Produkt! Buy european!)

[sma]

Mistral gibt es schon lange. Aber auch ihr neustes Modell von diesem Monat ist den Flagship-Modellen hoffnungslos unterlegen. Vergleiche die Benchmarks von Artificial Analysis, die einen guten Überblick über die AI-Welt geben.

Und auch Mistral selbst sieht das. Daher fokussieren sie sich auf kleinere Modelle, die man selbst hosten kann und dann immer noch gut sind, wenn von Nvidia keine modernen KI-Chips (die Blackwell B200er) kaufen darf. Sich nicht von den in den USA gehosteten und von US-Konzernen entwickelten Modellen abhängig machen zu müssen, ist ja ein Wert – gerade auch wenn man sich wie Europa als ehemaliger Verbündeter nicht mehr auf die USA verlassen kann. Nur stehen sie damit natürlich mit chinesischen Openweight-Modellen in Konkurrenz und die sind leider auch fast alle besser.

Dennoch finde ich wichtig, dass das einzige europäische Unternehmen nicht aufgibt.

Witzigerweise sind die größten Anteilseigner von Mistral ASML und Nvidia. Letzteren wirft man ja vor, dass sie durch ihre Investition gerade auch in OpenAI die KI-Bubble am Leben halten, weil sie damit ja den Unternehmen das Geld geben, mit dem sie dann Nvidia-Chips kaufen und so die Aktienkurse künstlich hoch gehalten werden. ASML ist weltweit einzige Hersteller der Belichtungsmaschinen für die KI-Superchips. Während ASML aus den Niederlanden ist, sind die anderen Investoren US-Firmen (u.a. auch Microsoft und A16Z) sowie der Saudische Staatsfond, meine ich.

Wie auch immer, Mistral ist okay, aber kein Vergleich zu Claude Opus 4.5 oder OpenAI GPT 5.2-max.

Besondere beim kreativen Geschichtenschreiben ist es schlecht. Auffällig ist, dass das jedes mal eine Elara oder Elena vorkommt und nur so 3-5 Namen überhaupt. Auch sind Ideen wenig kreativ. Dafür ist Mistral eines der besten Modelle, wenn es um das OCRen von Dokumenten geht. Wenig Halluzinationen. Das neue Gemini 3 Flash im Gegensatz dazu, halluziniert mit 93% bei Dingen, die es nicht weiß. Das ist schlecht für Wissensabfragen! Aber gut für Geschichten. War es bei einem ersten Test allerdings nicht. Zu kurz angebunden. Wie auch immer.

Kimi K2 (von Moonshot AI, einem chinesischen Startup) wäre noch ein Tipp, was Texterzeugung angeht, und ist sogar mit MIT Lizenz noch freier als Mistral mit seiner Apache 2 Lizenz. Hier ein one-shot Beispiel. Es ist aber hauptsächlich auf Englisch und Chinesisch trainiert, nicht so sehr Deutsch.

(Klicke zum Anzeigen/Verstecken)

please create an adventure for the pen & paper game vaesen

Vaesen 
Year: 1854 
Place: The Åland Islands, Baltic Sea 
Title: “The Last Light of Föglö” 

Adventure Type: Investigation / Folk-horror / Isolation 
Intended for 3–5 investigators, 2–3 sessions, winter season rules. 
Mood: Cold, Lutheran guilt, lighthouse superstition, guilt that walks on two legs.

Core Question 
What is willing to die to keep a secret that was never meant to be spoken?

PREMISE 
The oil-lamp in the 200-year-old Föglö lighthouse was extinguished on the longest night of the year. 
A week later the keepers are found frozen stiff at their posts—eyes open, wicks still unlit. 
Shipping traffic is paralysed; the Crown offers 500 riksdaler and free passage to anyone who re-lights the beacon. 
The investigators are travelling on the ice-breaker *Hjortron* when she is stopped by pack-ice within sight of the dark tower. 
The Captain begs the party to go ashore: “Better you than my crew. Sailors know that a dead lighthouse is a mouth that has already swallowed.”

HOOKS (pick one per player) 
1. One investigator’s late mother kept a childhood sketch of this exact lighthouse, signed “L. M. 1799”. 
2. The Bishop of Uppsala has asked the party to retrieve the parish register that was kept inside the tower. 
3. A player is heir to the lighthouse patent; if the beacon is not relit within ten days the Crown will seize it. 
4. A player’s Mystical Talent activates the moment the ship enters the lantern-room’s line of sight (see “The Curse”, below).

THE ISLAND 
Föglö is two kilometres of wind-polished granite, joined to the archipelago only by winter ice. 
The lighthouse stands on the northern bluff; below it a boathouse, a turf-roofed cottage for the keepers, and a tiny chapel whose bell still rings at dusk though no one pulls the rope. 
Temperatures drop to –30 °C at night; exposure causes 1 physical damage per hour without heat. 
The snow is knee-deep; every scene outside adds 1 Fatigue unless the group uses snow-shoes (equipment, 1 slot).

THE CURSE 
The lighthouse lens was ground from an Åland beach-stone that once sealed a Neolithic grave. 
Inside the stone sleeps a Vaesen known as the Glimmer-Mother, a creature of light and memory. 
When the beacon burns, she dreams. When it is dark, she wakes—and remembers every sin ever confessed beneath its glare. 
Her children are the Refractions: glassy, man-shaped silhouettes that step out of mirrors and lantern-panes at night. 
They cannot be fought; weapons pass through them like light. They can be banished only by rekindling the lamp (see “Ritual of Relighting”).

KEY NPCs 
Name – Secrets – What they want 
1. Keeper Alf Orrgård (dead) – Hid his bastard daughter in the lantern room during the 1832 famine. 
2. Keeper’s Widow “Old Sig” – Age 92, blind, eats only lamp-oil. Knows the Ritual but speaks only in psalms. 
3. Pastor Emanuel Blom – Lutheran priest who arrived last autumn to catalogue “superstitions”. Has already broken two Commandments here. 
4. Alf’s bastard daughter “Lena M.” – Now 42, she is the Glimmer-Mother’s chosen vessel. She believes the lighthouse must stay dark so the world will finally listen to the crimes committed in its glow. 
5. Refractions – 1 per investigator; they mimic voices and memories, asking questions the target never dared ask themselves.

TIMELINE (adjust to pacing) 
Day 1 – Ship trapped; party reaches cottage; find Alf’s corpse at the kitchen table, pupils reflecting the lighthouse. 
Night 1 – First Refraction appears; it knows the worst thing a random investigator has ever done. 
Day 2 – Blizzard blocks return to ship; chapel bell rings at 15:00 though no tracks lead to it. Inside: parish register torn out 1799–1801. 
Night 2 – Temperature plummets; any investigator who sleeps alone must resist a haunting (Terror 2). 
Day 3 – Sig reveals (in riddles) that the lens must be anointed with blood of the same line that first lit it. Alf’s line. 
Night 3 – If Lena is still alive she tries to smash the lens; if she dies the Glimmer-Mother manifests physically as a 3-metre glass woman whose heart is a flame. 
Day 4 – Ship may leave with the morning tide if the beacon is lit; otherwise the ice breaks too late and the crew mutinies, stranding everyone for the winter.

CLUES 
A. Alf’s diary (under floorboard, written in cipher – Decipher 1): 
   “1799 – Crown paid twin keepers to extinguish lamp one night. Wreck of *Maria* carried gold and my grandfather’s shame.” 
B. Lens fracture: a hairline crack forms the rune *Algiz* reversed – protection turned inward. 
C. Chapel fresco: medieval mural of a woman holding a burning fish; fish’s eye is a mirror. Looking into it shows the viewer’s earliest memory of guilt. 
D. Parish register (hidden inside pulpit) lists every child born to the keepers; last entry: “Lena M., father unknown, 1812”. 
E. Sig’s hymn book: margins contain the Ritual of Relighting (see below).

RITUAL OF RELIGHTING 
Time: dusk 
Components: fresh seal-oil, rye-straw, a drop of blood from Alf’s line (Lena or any illegitimate heir), the original 1799 flint. 
Skill: Ritual 2 (or Religion 2 with hymn-singing) 
Failure: Glimmer-Mother fully awakens; campaign-level threat. 
Success: beacon ignites; Refractions shatter into harmless rainbows. All investigators present lose 1 Mental Damage as decades of repressed island guilt flood them in a single moment.

ENDING CHOICES 
1. Relight the lamp – the shipping lane is saved, but every secret confessed within its future glare will one day return as new Refractions. 
2. Smash the lens – the Vaesen is freed; the islands are safe from her, but the Baltic gains a wandering ghost-light that lures sailors to their deaths. 
3. Take Lena’s place – one investigator willingly becomes the new dreamer inside the lens, ageing one year per night, keeping the world safe at the cost of their own mortality.

STAT BLOCKS 
Refraction 
Attributes: Agility 5, Force 2, Wits 4, Empathy 3 
Skills: Deception 3, Insight 3 
Powers: Immune to physical damage; may copy a single investigator’s Talent for one scene. 
Weakness: Cannot enter full sunlight or true firelight. 

Glimmer-Mother (if manifested) 
Attributes: Agility 3, Force 6, Wits 5, Empathy 5 
Skills: Ritual 4, Persuasion 3, Medicine 2 
Powers: Controls all glass within sight; deals 2 physical damage per round to anyone looking at her. 
Weakness: A mirror broken against her body forces her back into the lens for one hour.

NEW TALENT (for investigators who survive) 
LIGHT-KNOWN 
Once per mystery you may ask the GM “What guilt does this place remember?” Receive a truthful, if poetic, answer. Each use ages you one week.

HANDOUTS (read aloud) 
When the investigators first open the lantern-room door: 
“A brass staircase spirals up into a crystal heart. The air smells of hot iron and old confessions. Somewhere inside the glass you see your own child-face, crying in a darkness you had forgotten.”

When the beacon finally catches: 
“The flame is white, not yellow. It makes every snow-crystal on the island sing like a glass harp. For a moment the night itself seems to repent.”

Übrigens, wenn es um die Privatsphäre geht, kommt es nur darauf an, wo das Modell betrieben wird, nicht wer es erstellt hat. Da sind chinesische Modelle kein Problem. Ein Mistral, das auf Azure läuft, weil Microsoft als Investor dabei ist, ist damit auch nicht besser als ein GPT-5.1, das auf Azure läuft, in beiden Fällen kann die US-Regierung weltweit die Daten abfließen lassen.

Gibt es überhaupt Modelle, die auf von europäischen Firmen auf europäischer Hardware betrieben werden und diese Dienste dann für andere anbieten? Auch der größte Dispatcher, openrouter.ai, ist ja ein US-Unternehmen. Ebenso die Infrastrukturprovider Groq und Cerebras.

(Klicke zum Anzeigen/Verstecken)

Ich hoffe hier ja auf Lidl, also die Schwarz-Gruppe, die eine europäische Alternative zu Amazon aufbauen wollen und dann auch KI-Rechenleistung anbieten werden. Ob sie's schaffen, gegen den sicherlich noch aufkeimenden Widerstand der Anwohner in Brandenburg bis 2027 ihr neues Rechenzentrum zu bauen, wird sich zeigen. 11 Mrd € Investition klingt nicht schlecht, allerdings hat X.AI (bäh) bereits $18 Mrd allein für die Hardware von Colossus 2 ausgegeben, das Gesamtprojekt wird auf $40 Mrd geschätzt. 100 Superpods mit jeweils 8 GB200 NVL72 -Schränken kosten meines Wissens ca. $1 Mrd. Gehen wir davon aus dass die damit 500 Pods kaufen werden, wären das knapp 300.000 Blackwell-Superchips. Das Forschungszentrum Jülich besitzt derzeit 24.000 GH200 (Vorläufer des GB200) und 9.000 GB200. Das galt als groß und in den Top 10, wenn man denn alles zu einem System zusammenschalten würde.

[Feuersänger]

Habe jetzt Mistral ein wenig ausprobiert, gerade auch mit Themen mit denen ich mich schon auskenne und/oder die ich schon von cGPT habe durchkauen lassen. Leider muss mein Verdikt sehr hart ausfallen: "Mist-ral" trifft es ganz gut. Das Ding hat selbst bei relativ einfachen, googelbaren Fragen einen derartigen SCHWACHSINN ausgespuckt, der dann auch bei Rückfragen nur immer schlimmer wurde, dass ich mich auf weniger leicht nachprüfbare Infos gleich dreimal nicht verlassen würde.

Was hatte ich da zB gerade letztens -- ich gebe den Dialog natürlich stark verkürzt, aber sinngemäß wieder:
ich: "wie groß und schwer wäre ein Gastank für 1kg Helium-3, unter Druck gespeichert?"
Mistral [nach seitenweise Rechnerei und Vergleichen mit anderen Werten]: "300kg."
ich: "Kann nicht stimmen, mach mal einen reality check mit handelsüblichen Tanks."
Mistral: "Helium 50l Tank für 200 bar wiegt 60-80kg. Daraus folgt, ein moderner Tank aus Verbundmaterialien für 1kg Helium hat 600-800kg."
[Anm.: 50l Helium bei 200bar sind knapp 2kg]
ich: "Das kann ja wohl nicht stimmen, wenn ein Stahltank 60-80kg wiegt, dass ein Tank aus modernen Verbundmaterialien 10mal schwerer wäre."
Mistral: [wortwörtlich] "Du hast vollkommen recht – das war ein Fehler in meiner Argumentation. Lass mich das korrigieren und präzisieren, basierend auf realen Daten und physikalischen Prinzipien."
[es folgen wieder seitenweise Berechnungen]
"Fazit:
400–450 kg Tank pro 1 kg ³He (bei 300 bar) ist realistisch für heutige Technologie.
250–300 kg/kg ³He (bei 700 bar) ist machbar, aber technisch anspruchsvoll**."

An der Stelle habe ich dann aufgegeben, aus Mistral irgendeine sinnvolle Antwort zu dem Thema rausbekommen zu wollen, und nach einigen anderen Anläufen auch überhaupt zu irgendeinem Thema. Was für ein Rotz. Was für ein Müll. Wenn das der Stand der europäischen Technik ist, dann aber echt gute Nacht.

[sma]

Ich habe deine Frage ebenfalls bei LeChat eingegeben und bekomme exakt diese Antwort:

Um 1 kg Helium-3 unter Druck zu speichern, würden Sie einen Tank benötigen, der etwa 37,3 Liter Volumen hat. Ein typischer Stahl-Gastank für dieses Volumen wiegt etwa 60 kg. Das Gesamtgewicht des Tanks mit dem Helium-3 wäre daher etwa 61 kg.

Da war dann so ein Hover-Link, um herauszubekommen, wie hoch hoch der Druck für 37,3 Liter sein müsste: Um 1 kg Helium-3 in einem Volumen von 37,3 Litern bei 25°C zu speichern, müsste der Druck im Tank etwa 221.45 bar betragen. Aha!

Das wiederum scheint Industriestandard zu sein – sagte mir Claude Opus 4.5. Der schlug nämlich zuerst vor, zwischen 200, 300 und 700 bar zu entscheiden. Ich wählte 700 bar und bekam zu hören, dass ich einen 12L Typ-4-Komposite-Tank für etwa 7 kg brauche, plus 1 kg Helium sind das also 8 kg. Die 12L hat er bei 20°C aus der molare Masse errechnet.

Beim 200 bar Standard-Stahltank wären es etwa 60–80 kg, sagte die KI. Da liegt LeChat doch also gar nicht so falsch, wenn ich einmal den Ausgaben von Claude glaube.

Ich sagte zwar selbst, das LeChat nicht mit den Flagship-Modellen mithalten kann, aber in diesem Fall ist es bei mir (und ich nutze die freie Version) doch auch okay. Denn weiter nach der 700 bar Lösung gefragt meint LeChat:

Bei einem Druck von 700 bar würde 1 kg Helium-3 in einem Tank mit einem Volumen von etwa 11.8 Litern gespeichert werden. Das Gewicht des Tanks selbst würde etwa 14.16 kg betragen, sodass das Gesamtgewicht des Tanks mit dem Helium-3 etwa 15.16 kg betragen würde.

Das ist doch zwar merkwürdig spezifisch, aber konsistent mit der Antwort von Claude.

[Feuersänger]

Und was ist deine Theorie, warum es bei dir sinnvolle Antworten gibt und bei mir nur völligen Hirnriss? Ich könnte gerne den kompletten Verlauf posten - ist aber echt viel.

[sma]

Und was ist deine Theorie, warum es bei dir sinnvolle Antworten gibt und bei mir nur völligen Hirnriss? Ich könnte gerne den kompletten Verlauf posten - ist aber echt viel.

Ich habe die Webseite geöffnet, den Frage in einen neuen Chat kopiert und die Antwort gelesen. Und ich habe natürlich "Thinking" aktiviert. Du auch? Vielleicht hast du im Verlauf einer längeren Diskussion davor schon deine unsichtbare aber bestimmt vorhandene Quota aufgebraucht und die KI war nur noch kurz angebunden? Leider ist das ja alles hochgradig nicht-deterministisch und abhängig davon, wann und wo du fragst, denn ich rate mal, die haben einen festen Rechencluster, dessen Kapazität für alle Chats ausreichen muss.

[Feuersänger]

Ich hatte "Think" in der Tat nicht aktiviert; in der App geht das wohl auch gar nicht, nur im Web. Die Antworten kamen auch immer sehr schnell, wie aus der Pistole geschossen, nicht allmählich aufbauend wie bei cgpt. Aber wie gesagt, kurz angebunden kann man die Ausgaben nicht nennen, geschwafelt hat sie wie ne Große.

[postkarte]

Das hier ist das Ende der Antwort von Mistral-3 14b (also meinem lokalen installierten Modell ohne Server) ohne Reasoning.

(Klicke zum Anzeigen/Verstecken)

5. Zusammenfassung
Speicherart   Volumen   Gewicht (Tank)   Anmerkungen
Gas bei 1 bar   ~7.6 m³   ~50–100 kg   Praktisch unbrauchbar
Gas bei 300 bar   ~25 Liter   ~10–20 kg   Realistisch für Transport
Flüssig (0.3 K)   ~16 Liter   ~50–100 kg   Erfordert Kryostatechnik
Empfehlung
Für 1 kg Helium-3 unter Druck wäre ein hochfester Stahl- oder CFK-Tank mit 20–30 Litern Volumen bei 200–300 bar die praktikabelste Lösung.

Gewicht: ~15–25 kg (inkl. Tank).
Sicherheit: Spezielle Dichtungen und Druckregelung erforderlich.
Falls du spezifischere Anforderungen hast (z. B. Temperatur, Material), kann ich die Berechnung anpassen!

Dabei hatte ich den Prompt "wie groß und schwer wäre ein Gastank für 1kg Helium-3, unter Druck gespeichert?" aus dem Posting kopiert und in einen neuen leeren Chat gepostet.

Aufgabenkritisch muss man aber sagen, der Prompt ist sehr vage und ich würde das unter Nischenwissen im Spezialbereich einordnen, was bei einem kleinen Modell, wie meinem lokalen auch wesentlich schlechter oder gar nicht sinnvolle Ergebnisse geben kann und vielleicht sogar sollte.

[Feuersänger]

Ich halte Einstiegsprompts gerne erstmal bewusst vage, um den gefallsüchtigen LLMs keinen Hint zu geben, was für eine Antwort ich mir möglicherweise wünschen würde. Wenn es damit eine vernünftige Ausgabe zurande bringt, gut, wenn nicht, kann ich normalerweise immer noch präziser werden.
Aber dieser Totalausfall, den Le Chat da bei mir hingelegt hat, ist durch nichts zu entschuldigen, und auch dass es bei dir bessere Ergebnisse liefert hilft mir Nullkommanull weiter. Ich werde aber bei etwaigen zukünftigen Versuchen mal dran denken, "Think" zu aktivieren. Fragt sich nur, warum das nicht Standardeinstellung ist, wenn es ohne "Think" nur derartigen Müll absondert.

[postkarte]

Ich bekomme auch in der App die richtigen Antworten. Ich halte es für wahrscheinlich, dass Du "Erinnerungen" angeschaltet hast oder in den Einstellungen "Anweisungen" hinzugefügt hast, die Dein Ergebnis verfälscht haben. Es ist aber sicher nicht verkehrt mal über sich selbst und die Strategie beim Benutzen von LLMs zu reflektieren, wenn man immer was anderes herausbekommt als andere.

[Feuersänger]

Was bitte sollen die "Erinnerungen" bitte damit zu tun haben, dass ich hier so einen Quatsch ausgeworfen bekomme?
Mal davon abgesehen dass es halt mein vierter Chat oder so insgesamt mit dem Ding war, also was für Erinnerungen sollen das gewesen sein?
Und woher in Dreiteufelsnamen soll ich WISSEN, dass "Erinnerungen aktiviert" gleichbedeutend ist mit "Maschine wirft irgendwelchen hirnrissigen Gargabe aus"?
Ist ja nett dass du LeChat hier beispringen willst, aber für mich reitet das das System nur immer tiefer in die Scheisse.

[KhornedBeef]

Ich halte Einstiegsprompts gerne erstmal bewusst vage, um den gefallsüchtigen LLMs keinen Hint zu geben, was für eine Antwort ich mir möglicherweise wünschen würde. Wenn es damit eine vernünftige Ausgabe zurande bringt, gut, wenn nicht, kann ich normalerweise immer noch präziser werden.
Aber dieser Totalausfall, den Le Chat da bei mir hingelegt hat, ist durch nichts zu entschuldigen, und auch dass es bei dir bessere Ergebnisse liefert hilft mir Nullkommanull weiter. Ich werde aber bei etwaigen zukünftigen Versuchen mal dran denken, "Think" zu aktivieren. Fragt sich nur, warum das nicht Standardeinstellung ist, wenn es ohne "Think" nur derartigen Müll absondert.

Ich mutmaße mal, das man auch ohne die Option erledigen kann, wenn man nicht von einem LLM eine funktionierende Mondbasis braucht. Und warum es nicht dauernd an ist hängt vielleicht mit der Frage zusammen, warum für KI jetzt extra neue Kernkraftwerke gebaut werden.

[gilborn]

Ich möchte demnächst Haus bauen.
Vergleich macht reich, heißt es, weshalb ich mittlerweile mehrere Angebote eingeholt habe.

Meine 2 Fragen sind nun:

• Welche KI eignet sich am besten, um Angebote zu vergleichen?
  Bei welchen kann ich die Angebote direkt hochladen?
• Welche KI eignet sich um AGBs nach unerwünschten Klauseln im Kleingedruckten abzuklopfen?

[sma]

Und warum es nicht dauernd an ist hängt vielleicht mit der Frage zusammen, warum für KI jetzt extra neue Kernkraftwerke gebaut werden.

Um diese Kritik einzuordnen.

KI erfordert viel Rechenleistung und diese erfordert viel Energie.

Aber wenn wir wollen, können wir uns das als Gesellschaft leisten, denn relativ zu anderem Energiebedarf (z.B. Verkehr) ist das immer noch sehr wenig. Es ist nur aktuell so, dass dort, wo man gerne Rechenzentren bauen möchte, nicht die Energie verfügbar ist. Und man möchte die Rechenzentren in Monaten errichten, nicht in Jahren.

Ein NVidia GB200 Superchip (das ist aktuell das Beste auf dem Markt) braucht ca. 2700W, davon steckt man 36 in ein 19" Rack, wodurch wir bei ca. 100kW ankommen. 8 Racks montiert man in SuperPOD genannten Containern, die nach oben abgeschätzt 1MW brauchen, weil da auch noch Kühlung, Überwachung, Feuerschutz und was sonst noch so zu einem Rechenzentrum gehören, dranhängt. Läuft die Anlage 24/7 durch (und alles andere wäre unwirtschaftlich, denn so ein SuperPOD kostet in der Größenordnung von $100 Mio), verbraucht das ca. 9GWh pro Jahr.

Das entspricht der Leistung einer kleinen Onshore-3MW-Windkraftanlage bei angenommenen 3000 Betriebsstunden (typischer Wert). Deren Baupreis von ca. $10 Mio spielt bei den Hardware-Kosten eigentlich kaum eine Rolle. In Deutschland gibt es höchstens das Problem, dass die Genehmigung extrem lange dauert und außerdem zu viele den Lügen von AfD und Co aufsitzen und Windenergie ablehnen.

Um jetzt schnell Energie zu bekommen, will man keine langen Genehmigungsverfahren. X.AI hat daher für Colossus 2 ein stillgelegtes Gaskraftwerk wieder in Betrieb genommen, nachdem sie Turbinen in Europa gekauft und in die USA verschifft haben, weil auch der Bau dieser Turbinen Jahre gedauert hätte. Gas zu verbrennen ist natürlich Scheiße für das Klima. Daher hat sich Microsoft ein altes AKW gekauft und will das wieder in Betrieb nehmen. Neu bauen (Google hat solche Pläne) ist bei geschätzten 10 Jahren Bauzeit keine Option. Und ehrlicherweise ist ein bestehendes Kraftwerk zu verwenden besser für das Klima, den dann fällt kein CO2 beim Bau an, und ansonsten ist Kernkraft CO2-neutral. Erkauft man sich natürlich mit dem Betriebsrisiko, das bequem auf die Allgemeinheit abgewälzt wird. Dafür kann ein AKW 1 TWh im Jahr produzieren, was für 100 SuperPODs reicht und dem entspricht, was man auch gerne so in einem Giga-Rechenzentrum verbauen möchte.

Aber was bekommen wir jetzt für die Energie einer Windkraftanlage?

576 GPUs mit ca. 3 ExaFLOPs Rechenleistung (FP8) und 41472 ARM-Kerne als Beifang, plus 108 TB VRAM und 17 TB RAM für die CPUs.

Die GPU-Leistung entspricht dabei ca. 83.000 RTX 3090 Consumer-Grafikkarten (je 36 TeraFLOPS), wenn ich mich nicht in den Einheiten vertan habe. Und ja, es gibt inzwischen bessere Grafikkarten, aber die Rechenleistung variiert nicht so stark.

Würden damit jetzt 83.000 Leute non-stop GTA6 spielen, verbraucht das 290 GWh im Jahr. Das ist mehr als 30x so energieverschwenderisch wie der SuperPOD. Und es gibt weit mehr Leute da draußen, die GTA6 spielen werden – wobei die es natürlich nicht 8760 Stunden im Jahr machen. Es soll aber auch nur ein Beispiel sein, dass wir für andere Dinge weit aus mehr Energie verbrauchen. Über 15 Mio Leute haben sich z.B. Baldurs Gate 3 gekauft und vielleicht im Schnitt 100h gespielt (Abschätzung nach unten). Das entspricht 600 GWh, wenn man 400W für die Grafikkarte zugrunde legt. Und dann kommt da noch der Strom für den Rechner selbst dazu. Mit der Energie kann ich auch 66 SuperPODs betreiben.

Was bedeuten 3 ExaFLOPS? Das sind 3000 PetaFLOPs. Eine KI-Chat-Anfrage liegt in der Größenordnung von 1 PetaFLOP.

Sagen wir, es dauert 6 sek, diese zu berechnen. Manchmal wartet man Minuten, aber da laut OpenRouter das Gros der Anfragen zum Bereich "Roleplay" gehören, wo man also mit der KI zum Spaß chattet, wo meist sofort die Antworten kommen, nehme ich mal 10 Anfragen pro Minute an. Ich glaube, in der Praxis geht da mehr, aber so haben wir eine worst case Abschätzung.

Mein SuperPOD kann damit 1.800.000 Anfragen pro Stunde beantworten, bzw. knapp 16 Mrd pro Jahr.

Was kostet also eine Anfrage? Will ich die Kosten in 5 Jahren (weil man inzwischen schon den Nachfolger BG300 bei Nvidia bestellen kann, obwohl Leute noch gar nicht ihre BG200 bekommen haben) wieder drin haben und meine Investition von $110 Mio mit 25% Rendite zurück bekommen, kostet jede Anfrage 0,172 Cent.

Und der Energiebedarf? 0,56 Wh (9GWh/16Mrd) gemäß meiner kruden Rechnung.

Google selbst behauptet übrigens, dass eine Anfrage bei ihnen 0,24 Wh kostet, was glaubwürdig ist, Gemini auf ihre Spezialchips abgestimmt ist und sie ihre Flash-Modelle nicht ohne Grund so nennen. Auch Amazon behauptet, ihre Inferentia Architektur halbiert die Kosten.

Ich schreibe an diesem Text bereits über eine Stunde und das Licht ist an: 5x4,9W Energiesparlampen macht 24,5Wh oder 44 KI-Anfragen.

Und wenn ich meinen CO2-Footprint klein halten will? Nutze auf jeden Fall nicht Grok! (Nutze am besten gar nix von Musk) Eher etwas, das bei Microsoft gehostet wird, Claude oder Mistral oder ChatGPT. Wie der Footprint bei Google ist, weiß ich nicht. Aber definitiv nicht so schlecht wie bei Musks Unternehmen. Microsoft wollte ja eigentlich schon 2025 Klimaneutral sein und hat das Ziel nach hinten geschoben, weil KI. Tja.

Wenn du noch ein Auto mit Verbrennungsmotor hast, verbrauchst du pro KM das Äquivalent von 600-800 Wh. Und der CO2-Ausstoß ist in jedem Fall höher als bei allem, was Strom erzeugt. Und von Feinstaub wollen wir gar nicht erst reden. Daher ist das hier eine Abschätzung nach unten: Spare also 1 KM Fahrt ein und du kannst dir ohne schlechtes Gewissen 1.200 KI-Anfragen gönnen.

Weil Elektroautos effizienter sind, müsstest du hier auf 3 KM Fahrt verzichten.

Eine Flugreise hin und zurück von Frankfurt nach London hat pro Person eine Energieäquivalenz von ~700kWh (basierend auf dem Energiegehalt des Kerosins und der Angabe der Lufthansa, dass 5,47L/100km pro Passagier verbraucht werden). Dafür kann ich 1,2 Mio KI-Anfragen stellen. Dazu kommt, die CO2-Bilanz bei Kerosin ist in jedem Fall um ein vielfaches schlechter als bei allem, was Strom erzeugt. Wer täglich 1h mit einer KI chattet und 2 Anfragen pro Minute schafft (man muss das ja auch noch lesen und antworten) kann das jetzt 27 Jahre lang machen. Oder einmal nach London fliegen. Ist eine tolle Stadt.

Falls jemand das tatsächlich alles gelesen hat, Danke

Ich hatte jedenfalls Spaß daran, die Zahlen mal herauszusuchen, weil immer mal wieder die Diskussion aufkommt, dass KI so viel Energie verschwendet, ohne dass das irgendwie belegt wird. Und es wird nicht einfacher dadurch, dass sich Infrastruktur-Anbieter sehr bedeckt halten, was den Energieverbrauch angeht und die Flagship-Modellanbieter aufgehört haben, die Größe ihre Modell anzupreisen und auch inzwischen alles Agenten sind, die mehr machen, als einfach eine Antwort errechnen. Und die Technik macht natürlich auch Fortschritte, sodass Zahlen von vor einem Jahr nicht unbedingt mehr gelten müssen.

Ein interessanter Aspekt ist auch, dass KI-Antworten, die Zeit sparen, damit auch Energie sparen. Wenn ich z.B. statt 8h vor meinem Rechner zu sitzen, der sagen wir mal 800Wh dabei verbraucht, jetzt nur 4h brauche, weil ich die in 10min generierte KI-Antwort schneller überprüfe als ich sie selbst schreiben könnte, haben wir 56Wh für die KI-Antwort (hochgerechnet) minus 400Wh für die gesparte Zeit, also 344Wh Energie gespart. Dafür kann ich dann 500m mit dem Auto fahren…

[sma]

• Welche KI eignet sich am besten, um Angebote zu vergleichen?
  Bei welchen kann ich die Angebote direkt hochladen?
• Welche KI eignet sich um AGBs nach unerwünschten Klauseln im Kleingedruckten abzuklopfen?

Zu dem Thema kann ich konkret leider gar nix sagen, außer, dass 20€ Monatsgebühr im Vergleich zum Hauspreis quasi nix sind, es sich daher lohnt, einfach Google Gemini, OpenAI ChatGPT und Anthropic Claude alle mit dieser Aufgabe zu füttern. Beachte, dass du durch den Einwurf kleiner Münzen bessere Ergebnisse bekommst, als wenn du die KIs kostenlos nutzt. Daher, für 60€ hast du sie alle.

Mit T3.chat gibt es auch einen Anbieter, der dir Zugang zu 30+ KIs für pauschal (mit Quota) $8 gibt, wenn es für dich OK ist, dass deine Daten in den USA durch mehrere Hände wandern. Meines Wissens nutzt T3 openrouter.ai, das könntest du ohne Chat-UI natürlich dann auch selbst machen. T3 ist nett, hat aber so weit ich weiß (noch) keine Feature wie das Verstehen und Erzeugen von Word- oder PDF-Dateien.

Für das systematische Vergleichen könnte auch Google's Notebook ML interesant sein, weil die seit ein paar Tagen jetzt auch mit Tabellen arbeiten können. Kannst du kostenlos probieren.