Heiß oder Eis? Was die Temperatur bei KI-Antworten wirklich verändert.

Mal antwortet eine KI nüchtern, präzise und fast schon verdächtig vernünftig. Ein anderes Mal wird sie kreativ, überrascht mit ungewöhnlichen Formulierungen oder schlägt gedanklich einen Weg ein, mit dem niemand gerechnet hat.

Doch warum? Ein Teil der Antwort steckt in einem Parameter, der eher nach Wetterbericht als nach Künstlicher Intelligenz klingt: der Temperatur.

Sie beeinflusst, wie ein Sprachmodell aus möglichen nächsten Wörtern beziehungsweise Tokens auswählt. Vereinfacht gesagt: Je niedriger die Temperatur, desto stärker konzentriert sich das Modell auf wahrscheinliche Fortsetzungen. Je höher sie ist, desto mehr Raum bekommen auch weniger wahrscheinliche Alternativen.

Doch bevor wir am digitalen Thermostat drehen, beginnt die Geschichte an einer ganz anderen Stelle: beim MAE.

Es war einmal der MAE…

Der Mean Absolute Error, kurz MAE, ist eine Kennzahl, mit der sich messen lässt, wie weit Vorhersagen im Durchschnitt von den tatsächlichen Werten entfernt liegen.

Klingt trocken? Dann nehmen wir die Ankunftszeit im Büro. Angenommen, eine Vorhersage liegt an einem Tag zehn Minuten zu früh und am nächsten zehn Minuten zu spät. Würden wir beide Abweichungen einfach miteinander verrechnen, kämen wir auf null.

Statistisch perfekt pünktlich. Die Realität würde vermutlich widersprechen.

Genau deshalb betrachtet der MAE die absoluten Abweichungen. Ob eine Vorhersage über oder unter dem tatsächlichen Wert liegt, spielt keine Rolle. Entscheidend ist lediglich die Größe des Fehlers. Aus minus zehn und plus zehn Minuten werden also zweimal zehn Minuten Abweichung.

Der MAE zeigt anschließend, wie weit die Vorhersagen durchschnittlich danebenliegen. Einfach, nachvollziehbar und deutlich ehrlicher als ein Durchschnitt, bei dem sich Fehler gegenseitig aufheben können.

Wenn aus MAE plötzlich „Männer“ werden.

Bei der Arbeit mit solchen Begriffen zeigt sich schnell, wie entscheidend Kontext für KI-Systeme ist. Im ursprünglichen Beispiel sollte mit verschiedenen Prompts getestet werden, wie sich der MAE unterschiedlich erklären lässt: wissenschaftlich, mathematisch, verständlich für Einsteiger oder mit etwas Humor.

Dann mischte sich allerdings ein anderes intelligentes System ein: die Autokorrektur. Aus „MAE“ wurde „Männer“.

Plötzlich stand sinngemäß die Frage im Raum: „In welcher Weise ist die Größe der Männer als statistisches Maß relevant?“ Isoliert betrachtet wäre das eine ziemlich merkwürdige Frage.

Im vorherigen Gespräch ging es jedoch bereits um Machine Learning und statistische Kennzahlen. Das Sprachmodell konnte diesen Kontext nutzen und erkennen, dass mit hoher Wahrscheinlichkeit weiterhin der MAE gemeint war. Damit landen wir bei einer grundlegenden Eigenschaft großer Sprachmodelle.

Sie schlagen nicht einfach ein Lexikon auf und suchen dort nach der einzig richtigen Antwort. Bei der Textgenerierung bewerten sie mögliche nächste Tokens anhand von Wahrscheinlichkeiten und erzeugen daraus Schritt für Schritt eine Antwort. Genau hier kommt die Temperatur ins Spiel.

Kalt, warm oder heiß: Was verändert sich?

Die Grundidee lässt sich recht einfach zusammenfassen:

• bei niedriger Temperatur konzentriert sich das Sampling stärker auf wahrscheinlichere Tokens. Antworten tendieren dadurch zu konservativeren und weniger variantenreichen Formulierungen.
• bei höherer Temperatur wird die Wahrscheinlichkeitsverteilung flacher. Dadurch steigt die Chance, dass auch weniger wahrscheinliche Tokens ausgewählt werden. Antworten können abwechslungsreicher und überraschender werden.

Das bedeutet jedoch nicht: niedrige Temperatur = richtig und hohe Temperatur = falsch.

Temperatur ist nicht der einzige Regler

Wer über APIs oder Entwicklungsumgebungen mit Sprachmodellen arbeitet, begegnet neben der Temperatur häufig weiteren Parametern.

Einer davon ist Top-P, auch Nucleus Sampling genannt.

Statt die gesamte Wahrscheinlichkeitsverteilung gleich zu behandeln, beschränkt Top-P die Auswahl auf eine Gruppe besonders wahrscheinlicher Tokens, deren kumulierte Wahrscheinlichkeit einen festgelegten Wert erreicht. Ein kleinerer Top-P-Wert schränkt die möglichen Kandidaten entsprechend stärker ein.

Temperatur und Top-P greifen damit auf unterschiedliche Weise in das Sampling ein. Welche Parameter verfügbar oder sinnvoll sind, hängt allerdings vom jeweiligen Modell und Anbieter ab.

Hinzu kommen bei modernen Reasoning-Modellen Einstellungen wie Reasoning Effort oder vergleichbare Thinking-Parameter. Sie steuern, vereinfacht gesagt, den Aufwand, den ein Modell für bestimmte Aufgaben einsetzen kann. Das ist jedoch etwas anderes als die Temperatur: Mehr Reasoning bedeutet nicht automatisch mehr Kreativität, und eine höhere Temperatur bedeutet nicht, dass ein Modell „länger nachdenkt“.

Die Temperatur beeinflusst also die Variation einer Antwort nicht automatisch deren Wahrheitsgehalt.  Ein kaltes Modell ist nicht. Es ist zunächst nur weniger experimentierfreudig.

Was bedeutet das für die Praxis?

Einen universellen Temperaturwert für jede Aufgabe gibt es nicht. Modelle, APIs und Sampling-Verfahren unterscheiden sich, weshalb feste „Sweet Spots“ schnell zu pauschal werden.

Die grundsätzliche Richtung lässt sich trotzdem nachvollziehen.

Szenario 1: Code prüfen

Ein Fehler im Code sollte gefunden und nicht kreativ uminterpretiert werden. Hier ist meist eine eher kontrollierte und wenig zufällige Ausgabe sinnvoll. Ziel ist keine möglichst originelle Antwort, sondern eine nachvollziehbare Analyse. Bei solchen Aufgaben kann eine niedrigere Temperatur, sofern das verwendete Modell diesen Parameter unterstützt, die Variation reduzieren.

Szenario 2: Ideen und Claims entwickeln

Beim Brainstorming sieht die Sache anders aus. Wenn zehn Vorschläge möglichst unterschiedlich sein sollen, kann mehr Variation durchaus hilfreich sein. Ein breiteres Sampling erhöht die Chance auf ungewöhnlichere Formulierungen und Kombinationen.

Das heißt nicht, dass jede davon gut sein wird. Aber beim Brainstorming ist genau das oft erwünscht: erst Möglichkeiten öffnen, anschließend auswählen.

Szenario 3: Ein langes Meeting zusammenfassen

Hier zählt vor allem eines: Der Inhalt darf sich nicht verändern.

Eine Zusammenfassung soll Informationen verdichten, nicht neue hinzufügen. Ob und wie stark Temperatur dafür angepasst werden sollte, hängt vom eingesetzten Modell ab. Wichtiger sind klare Anweisungen, ein sauberer Ausgangstext und gegebenenfalls Vorgaben dazu, welche Informationen übernommen werden sollen.

Damit zeigt sich bereits: Temperatur allein löst keine Aufgabe. Prompt, Kontext, Modell und weitere Parameter arbeiten zusammen.

Fazit: Die Mischung macht’s

Die Temperatur ist weder Kreativitätsknopf noch Halluzinationsschalter. Sie ist ein technischer Parameter, der beeinflusst, wie stark ein Sprachmodell bei der Generierung auf besonders wahrscheinliche Tokens fokussiert oder auch weniger wahrscheinliche Alternativen berücksichtigt.

Niedrigere Werte können Antworten stärker bündeln. Höhere Werte können mehr Variation ermöglichen. Ob das Ergebnis dadurch besser wird, entscheidet jedoch die Aufgabe.

Bei Fakten, Analysen oder Code sind klare Vorgaben und nachvollziehbare Ergebnisse wichtiger als maximale sprachliche Vielfalt. Beim Brainstorming darf es dagegen ruhig etwas experimenteller werden.

Daher liegt gelegentlich das eigentliche Problem ohnehin nicht an der Temperatur, sondern am Prompt, am fehlenden Kontext oder schlicht daran, dass eine KI keine Garantie für Wahrheit liefert. Wer das verstanden hat, muss am digitalen Thermostat nicht blind herumdrehen. Dann wird aus „heiß oder Eis?“ eine deutlich sinnvollere Frage:

Wie viel Spielraum braucht die KI für genau diese Aufgabe?