Das Thema Logging ist ein allgemeines Sicherheitsprinzip der IT-Sicherheit. Logging und das aggregieren des Logging ist entscheidend um die Entscheidungen des KI-Agenten zu verstehen. Schlussendlich hat aber immer der Mensch/Institution/Unternehmen die Verantwortung. Wir leben noch nicht in einer Welt wo Autonome Systeme eigene Gesetze haben. 😉

Rechtlich und regulatorisch verbleibt die Verantwortung unverrückbar beim Unternehmen bzw. dessen Geschäftsführung, ganz gleich, ob ein KI-Agent genutzt werden oder mehrere. Man kann die Haftung nicht an eine Software delegieren. Um im Schadensfall Licht ins Dunkel zu bringen, müssen detaillierte, manipulationssichere Protokolle (Audit Logs) unbestreitbar aufzeichnen, welcher Agent wann welchen Impuls gegeben hat.

Tracing und Telemetrie. Gerade bei kritischen Agentic Systemen, hat es sich bewährt, *sämtliche* Payloads (also auch die System/User/Agent Payloads) zumindest kurzfristig zu archivieren. Ich sage bewusst Payloads und nicht nur die einzelnen Antworten.

Aufgrund des Nicht-Determinismus moderner LLMs würde ich sogar noch einen Schritt weiter gehen. Bei Modellen, die einen Temperatur Parameter (top_p = 0) akzeptieren, lautet der Rat oft, diese auf "0" zu setzen und dann "ein streng deterministisches Verhalten" zu erzeugen. Das entspräche einem top_k = 1. Ist aber so nicht ganz korrekt. Auf der einen Seite reduziert man mit top_p = 0 auch die "Kreativität" von Modellen ... also etwas, was man eigentlich oft nicht möchte. Effizienter ist es, den random_seed nicht vom Modell erstellen zu lassen, sondern (dynamisch) selber zu erzeugen, beim Request mitzuschicken und entsprechend zu speichern.

"Eigentlich" sollte dann auch bei top_p > 0 und top_k > 0 deterministische Antworten rauskommen. Wenn das nicht das böse Problem mit der nicht verlässlichen Anwendung des Assoziativgesetz der Multiplikation auf GPUs (Stichwort Matrix Multiplikation und IEEE 754 Ungenauigkeit) geben würde ...