Verlässliche AI Workflows & Context Engineering

KI-Agenten wie GitHub Copilot, OpenAI Codex oder Claude Code sind fester Bestandteil der Softwareentwicklung geworden – doch der Schritt von experimentellem Prompting zu verlässlichen, nachvollziehbaren AI-Workflows erfordert systematische Methoden. In diesem zweitägigen Praxisseminar lernen Sie, wie Sie mit Agentic Primitives und Context Engineering AI-Workflows aufbauen, die konsistent, überprüfbar und wartbar sind.

Agentic Primitives sind wiederverwendbare, versionierte Bausteine in Markdown:
Projektanweisungen (AGENTS.md, .instructions.md), Prompt-Templates (.prompt.md), Custom Agents (.agent.md) und Agent Skills (SKILL.md). Sie legen fest, welchen Kontext ein Agent sieht, welche Werkzeuge er nutzen darf und wie er vorgeht. Da es sich um offene Standards handelt, funktionieren sie in GitHub Copilot ebenso wie in Codex oder Claude Code.

Ein Schwerpunkt liegt auf der Überprüfbarkeit:
Hält sich der Agent tatsächlich an seine Vorgaben? Sie lernen, Regeln über Tool-Berechtigungen und Hooks durchzusetzen, das tatsächliche Verhalten anhand von Logs und Traces nachzuvollziehen und Workflows mit Evals in der CI/CD-Pipeline abzusichern.

Warum ist dieses Seminar wertvoll für Sie?
Die Integration von KI-Agenten in Entwicklungsprozesse bietet großes Potenzial – von automatisierten CodeReviews über die Pflege von Dokumentation bis zu Workflows in GitHub Actions. Ohne klare Struktur und Kontrolle bleiben Agenten jedoch schwer vorhersehbar:
Anweisungen werden übergangen, Tests übersprungen, Erfolgsmeldungen nicht belegt. Dieses Training vermittelt Ihnen Methoden und Werkzeuge, um AIWorkflows aufzubauen, deren Verhalten Sie prüfen, messen und im Team teilen können. Sie arbeiten durchgehend praktisch an einem gemeinsamen Repository, das über beide Tage wächst.

Einführung: Von Ad-hoc zu verlässlicher AI

• Warum Agenten unterschiedlich reagieren: Kontextfenster, Context Rot, ToolRauschen, implizite Annahmen
• Die Drei-Schichten-Strategie: Markdown-Struktur, Agentic Primitives, Kontextmanagement
• Kontext gezielt steuern: immer geladen, bei Bedarf geladen, isoliert

Projektanweisungen: AGENTS.md und Instructions

• AGENTS.md als werkzeugübergreifender Standard
• .github/copilot-instructions.md und dateispezifische .instructions.md mit applyTo
• Was in Anweisungen gehört – und was nicht
• Regeln überprüfbar formulieren

Praktische Umsetzung: Prompt-Templates, Custom Agents und Tools

• .prompt.md: Parameter, Tool-Auswahl, Modellwahl
• Custom Agents (.agent.md, vormals Chat Modes): Rollen, Tool-Freigaben, Handoffs
• Subagents zur Kontext-Isolation: Recherche, Planung, Umsetzung, Review
• MCP-Server anbinden und pro Agent einschränken

Agent Skills

• Aufbau von SKILL.md, Frontmatter und Progressive Disclosure
• Skripte und Referenzdateien: Deterministisches in Code, Ermessensfragen in Markdown
• Beschreibungen, die zuverlässig auslösen
• Entscheidungshilfe: Instruction, Prompt, Custom Agent oder Skill?

Specs, Pläne und Memory

• Spec → Plan → Tasks als Markdown-Artefakte
• Übergaben zwischen Sessions und Memory-Dateien
• Validierungspunkte: menschliche Freigaben, Tests als Abnahmekriterien

Überprüfbarkeit: Tut der Agent, was er soll?

• Typische Abweichungen: übersprungene Tests, ignorierte Konventionen, Scope Creep, unbelegte Erfolgsmeldungen Vor der Ausführung: Tool-Freigaben, Read-only-Agents, Pfadbeschränkungen, Freigabemodi
• Während der Ausführung: Hooks (preToolUse, agentStop), Linter und Formatter nach jeder Änderung
• Nach der Ausführung: Tests, Typprüfung und Schema-Validierung als harte Gates
• Belege statt Behauptungen: Test-Logs, Kommandos und Diffs statt Zusammenfassung des Agenten
• Trajektorien prüfen: gelesene Dateien, geladene Skills, aufgerufene Tools
• Unabhängige Prüfung: Review-Agent ohne Schreibrechte, menschliches Diff-Review
• Hands-on: Hooks zur Durchsetzung und Adherence-Report für einen Agent-Lauf

Vertiefung: Evals und Regressionstests

• Deterministische Prüfungen: Frontmatter-Validierung, skills-ref validate, Link-Checks
• Eval-Suites mit promptfoo: feste Testfälle, Assertions, modellbasierte Bewertung
• Adherence-Evals: ein Testfall pro Regel, geprüft gegen Diff und Kommando-Log
• Agent-Evals: Trajektorien, Skill-Auslösung, Turn- und Kostenlimits
• Umgang mit Nichtdeterminismus: Wiederholungen, Erfolgsquoten, Baselines

Betrieb: Observability, Kosten und Distribution

• OpenTelemetry-Export aus Copilot Chat und Copilot CLI; Traces als Audit-Trail
• Metriken: Erfolgsquote, Konsistenz, Latenz, Tokens und Credits pro Aufgabe
• Primitives teilen: Git, Vorgaben auf Organisationsebene, GitHub Copilot Plugins und Marketplaces
• Agent Package Manager (APM): apm.yml, Lockfile, install, compile, audit

Agenten in CI/CD-Pipelines

• GitHub Copilot CLI und OpenAI Codex CLI im nicht-interaktiven Modus
• Copilot Cloud Agent: vom Issue zum Pull Request
• GitHub Agentic Workflows: Markdown-Workflows, Safe Outputs, Read-only als Standard
• Verifikations-Gates: Required Checks, Belege im Pull Request, nachvollziehbare Urheberschaft
• Fehlerbehandlung: Timeouts, Budgets, Retries, Fallback auf menschliches Review

Security & Best Practices

• Bedrohungsmodell: OWASP Top 10 for Agentic Applications
• Prompt Injection über Issues, Pull Requests, Dokumentation und Tool-Ausgaben
• Least Privilege: Tool-Freigaben, Tokens mit minimalen Rechten, Sandboxing
• Supply Chain: Skills und Plugins Dritter prüfen, Versionen pinnen, versteckte Unicode-Zeichen erkennen
• Hooks zur teamweiten Policy-Durchsetzung und Audit-Protokollierung

• Entwicklerinnen und KI-Ingenieurinnen, die verlässliche und überprüfbare AI-Workflows aufbauen möchten
• DevOps- und Plattform-Teams, die KI-Agenten in CI/CD-Pipelines integrieren wollen
• Technische Leads, die Standards für den Einsatz von KI-Agenten im Team etablieren möchten

• Gute Python-Kenntnisse werden empfohlen (das Seminar-Repository ist in Python umgesetzt)
• Erfahrung mit Git, Pull Requests und den Grundlagen von GitHub Actions ist von Vorteil
• Erfahrung mit VS Code und KI-Assistenten ist nützlich, aber nicht zwingend erforderlich