QA-Tests mit Codex und Playwright

Was Codex für QA-Tests erledigt

• Schreibt End-to-End-Tests für die Abläufe, auf die es ankommt: Anmeldung, Checkout, die wichtigsten Screens.
• Führt die Suite aus, liest die Fehlschläge und korrigiert den Test oder den Code, und sagt, welches von beiden.
• Steuert einen echten Browser, um eine Änderung von Hand zu prüfen, und erfasst Bugs mit Schritten und Screenshots.
• Findet flaky Tests und stellt sie mit einem Issue unter Quarantäne, statt sie so lange zu wiederholen, bis sie durchlaufen.

Funktionen von Codex für QA-Tests

So richtest du Codex für QA-Tests ein

1. Verbinde die Tools

   Füg den Playwright-MCP-Server mit einem Befehl hinzu oder trag dieselbe Tabelle in die config.toml ein. Wenn die Tests eine Staging-Website erreichen müssen, schalte den Netzwerkzugriff für die Sandbox ein.

   # Ein echter Browser für explorative Checks
   codex mcp add playwright npx "@playwright/mcp@latest"
   
   # Oder in ~/.codex/config.toml
   [mcp_servers.playwright]
   command = "npx"
   args = ["@playwright/mcp@latest"]

2. Schreib die Regeln in die AGENTS.md

   Codex liest die AGENTS.md vor jeder Arbeit: zuerst ~/.codex/AGENTS.md, dann die Dateien vom Root des Repositorys bis zu dem Ordner, in dem es arbeitet. Schreib die Regeln der Aufgabe dort hinein oder, wenn sie lang sind, in einen Skill unter .agents/skills/. Siehe den AGENTS.md-Leitfaden.

   ## QA-Regeln
   - Teste gegen die lokale oder die Staging-App, nie gegen Produktion.
   - Nutze die Testkonten aus .env.example, nie echte.
   - Ein fehlschlagender Test ist ein Befund: Sag, ob der Test oder der
     Code falsch ist, bevor du eins von beiden änderst.
   - Jeder Bug-Report: Schritte, erwartet, tatsächlich, ein Screenshot
     und der Commit, den du getestet hast.
   - Lösch oder überspring keinen Test, damit die Suite durchläuft.

3. Führ es ohne die interaktive Oberfläche aus

   codex exec führt eine Aufgabe aus und beendet sich. Der Fortschritt geht nach stderr, die letzte Nachricht nach stdout; -o schreibt sie zusätzlich in eine Datei, und --json streamt Events. Die Sandbox ist schreibgeschützt, außer du gibst --sandbox workspace-write an.

   # Die Ausgabe der fehlschlagenden Tests an Codex übergeben
   npm test 2>&1 | codex exec "fasse die fehlschlagenden Tests zusammen und schlag den kleinsten wahrscheinlichen Fix vor"

4. Bring es in einen Zeitplan

   Leg eine geplante Aufgabe in der ChatGPT-Desktop-App oder im Web an (die CLI verwaltet keine) oder starte codex exec per cron. Siehe Codex proaktiv machen.

Quelle: Dokumentation von Codex (Englisch)

Grenzen und Sicherheit

• Es testet, was es erreichen kann: eine lokale oder Staging-App mit Testdaten, nicht die Produktion.
• Eine grüne Suite deckt nur die Abläufe ab, für die jemand Tests geschrieben hat. Lass es auflisten, was nicht abgedeckt ist.
• Browser-Läufe sind langsam und verbrauchen mehr von deinem Plan. Lass die volle Suite nach Zeitplan laufen und bei jeder Änderung einen Smoke-Test.
• Codex führt Befehle standardmäßig in einer Sandbox aus: Schreibzugriffe bleiben im Workspace, das Netzwerk ist aus. Nutze danger-full-access nur auf einem isolierten Runner oder in einem Container.

Claude Code oder Codex für QA-Tests?

Die Regeln lassen sich mitnehmen. Schreib sie einmal in die AGENTS.md und setz @AGENTS.md in die CLAUDE.md, dann lesen beide Agenten dieselbe Datei.

Schritt für Schritt für den anderen Agenten: QA-Tests mit Claude Code.

Mach QA-Tests zur festen Aufgabe

Befehle laufen, wenn jemand daran denkt, sie auszuführen. Crewmark macht aus deinem eigenen Codex einen KI-Mitarbeiter mit Rolle, einem Ziel in Zahlen, Arbeitszeiten und einem Heartbeat, damit die Arbeit nach Zeitplan passiert und auf einem Board sichtbar wird.

1. Fang mit der Rolle an

   Der KI-Softwareentwickler, mit diesen Regeln in seiner Rollenbeschreibung.

2. Bring die Arbeit auf sein Board

   Leg die Aufgabe als wiederkehrendes Issue an. Der Mitarbeiter wacht per Heartbeat auf, erledigt sie und berichtet in einem Kommentar.

3. Mehr dazu

   GitHub-Issues zeigt, was mit den Bugs passiert, die es erfasst.

FAQ