Vielleicht ein bisschen ausgeführt: Mein Verständnis von Technologien ist, das sie Probleme lösen. Probleme sind nichts anderes als Anforderungen die wir neu definiert haben. Wenn ein KI-Agent neue Lösungswege für ein Problem suchen soll, geben wir ihm die macht auch dies zu tun. Das heißt, jegliche Tools die ihm zur Verfügung stehen, kann er benutzen. Das ist insgesamt also ein sehr autonomes System. Innerhalb der Informatik ist der Satz "Teile und herrsche" sehr etabliert und so agiert ein KI-Agent auch. Ein neuen Lösungsweg zu etablieren ist ein riesiges Problem. Er würde also versuchen das große Problem zu teilen. Die kleinere Probleme haben vllt bereits Muster die der KI-Agent kennt und würde dann entsprechend die Technologien einsetzen die dafür notwendig sind. 

Daraus folgt => Der Agent macht sich selbständig und reist jegliche Möglichkeiten an sich. Das ist ein Problem. Es kommt also immer darauf an, was man für Anforderungen hat und wie man diese Formuliert. Gibt man einem Menschen ein großes Problem, wird er auch jegliche Möglichkeiten betrachten... 

IMHO kommen wir hier auch in den "das hab ich zwar so gesagt, aber nicht so gemeint" Bereich. Obwohl Deutsch eine Low-Kontext-Kultur ist (an dieser Stelle ein Buchtipp: "The Culture Map" von Erin Meyer), haben wir (zumindest im Vergleich zu US-Amerikanern) noch die Tendenz, "zwischen den Zeilen" zu lesen und auch anzunehmen, dass das Gegenüber (in diesem Fall eine KI) das tut.

Leider sind LLMs durch die Bank weg eher "englischsprechende Niederländer" (als Einstieg ist https://shav.dev/blog/cultural-bias und https://academic.oup.com/pnasnexus/article/3/9/pgae346/7756548 ganz interessant). Man könnte also sagen so Low-Kontext wie nur möglich.

Man muss sich also klar sein, dass ein Agent das tut, was man ihm schreibt … oft ohne zwischen den Zeilen zu lesen. Wenn man einem Agenten also sagt, er soll etwas tun, riskiert man, dass er es auf eine Weise tut, die man nicht erwartet. Also die Diskrepanz zwischen "geschrieben" und "gemeint". Ein "amüsantes" Beispiel ist https://x.com/sluongng/status/2060746160558543217, in dem der Agent fehlende Berechtigungen dadurch umgangen hat, indem er einen Docker-Container mit root-Rechten gestartet hat. Zielerfüllung im Sinne der *geschriebenen* Anweisung ... wahrscheinlich aber nicht im Sinne der *gemeinten* Anweisung.

Auch aktuelle Fälle, wo ein Modell Benchmarks lösen sollte und diese Aufgabe dadurch gelöst hat, dass es die Ergebnisse durch Hacking "gestohlen" hat, passen in dieses Schema.

Und der allgemeine Hype um `/goal` macht die Sache nicht besser … Agenten/Modelle arbeiten nun so lange, bis das Ziel erreicht ist … egal wie. "Yak shaving deluxe" sozusagen ...