Wie Prompts Gewichte bewegen – Lernen ohne Feintuning

LLMs können neue Aufgaben meistern, ohne nachtrainiert zu werden – aber wie?
Eine neue Studie zeigt: Beim In-Context Learning wirken Prompts wie temporäre Gewichtsänderungen im Modell. Tokens agieren quasi wie Lernschritte in einem virtuellen Training – ganz ohne Optimierer oder Backpropagation.
🔍 Das Spannende:

• Prompts erzeugen implizite Updates in den MLP-Schichten
• Diese Anpassungen funktionieren wie „virtuelles Fine-Tuning“
• Der Effekt verschwindet nach dem Prompt – das Modell selbst bleibt unverändert
  Das erklärt, warum KI-Modelle so flexibel sind und scheinbar „on the fly“ lernen.
  👉 Hier geht’s zur Studie: https://arxiv.org/pdf/2507.16003