Codex와 Playwright로 하는 QA 테스트

QA 테스트에서 Codex가 하는 일

• 가입, 결제, 주요 화면처럼 중요한 흐름에 엔드투엔드 테스트를 씁니다.
• 스위트를 실행하고 실패를 읽은 뒤 테스트나 코드를 고치고, 어느 쪽을 고쳤는지 말합니다.
• 실제 브라우저를 조작해 변경을 사람처럼 확인하고, 재현 단계와 스크린샷을 담아 버그를 올립니다.
• 불안정한 테스트를 찾아, 통과할 때까지 재시도하는 대신 이슈와 함께 격리합니다.

QA 테스트에 쓰는 Codex 기능

QA 테스트용 Codex 설정 방법

1. 도구 연결하기

   명령어 하나로 Playwright MCP 서버를 추가하거나, config.toml에 같은 테이블을 넣으세요. 테스트가 스테이징 사이트에 접속해야 한다면 샌드박스의 네트워크 접근을 켜세요.

   # 탐색적 점검용 실제 브라우저
   codex mcp add playwright npx "@playwright/mcp@latest"
   
   # 또는 ~/.codex/config.toml에
   [mcp_servers.playwright]
   command = "npx"
   args = ["@playwright/mcp@latest"]

2. AGENTS.md에 규칙 쓰기

   Codex는 일을 시작하기 전에 AGENTS.md를 읽습니다. 먼저 ~/.codex/AGENTS.md를, 이어서 저장소 루트부터 작업 중인 폴더까지의 파일을 읽습니다. 이 일의 규칙을 여기에 넣거나, 길다면 .agents/skills/ 아래 스킬로 만드세요. AGENTS.md 가이드를 참고하세요.

   ## QA 규칙
   - 프로덕션이 아니라 로컬이나 스테이징 앱에서 테스트하세요.
   - 실제 계정이 아니라 .env.example의 테스트 계정을 쓰세요.
   - 실패한 테스트는 발견 사항입니다. 테스트와 코드 중 어느 쪽이
     틀렸는지 먼저 말하고 나서 고치세요.
   - 버그 리포트에는 항상: 재현 단계, 기대 결과, 실제 결과,
     스크린샷, 테스트한 커밋.
   - 스위트를 통과시키려고 테스트를 지우거나 건너뛰지 마세요.

3. 대화형 화면 없이 실행하기

   codex exec 명령은 작업 하나를 실행하고 종료합니다. 진행 상황은 stderr로, 최종 메시지는 stdout으로 나옵니다. -o는 최종 메시지를 파일에도 쓰고 --json은 이벤트를 스트리밍합니다. --sandbox workspace-write를 넘기지 않으면 샌드박스는 읽기 전용입니다.

   # 실패한 테스트 출력을 Codex에 넘기기
   npm test 2>&1 | codex exec "실패한 테스트를 요약하고 가장 작은 수정안을 제안해 줘"

4. 일정에 올리기

   ChatGPT 데스크톱 앱이나 웹에서 예약 작업을 만들거나(CLI로는 관리할 수 없습니다), cron에서 codex exec 명령을 실행하세요. Codex를 능동적으로 만드는 방법을 참고하세요.

출처: Codex 문서

한계와 안전

• 닿을 수 있는 것만 테스트합니다. 프로덕션이 아니라 테스트 데이터가 있는 로컬이나 스테이징 앱입니다.
• 스위트가 통과해도 누군가 테스트를 써 둔 흐름만 확인된 것입니다. 다루지 않는 부분을 나열하게 하세요.
• 브라우저 실행은 느리고 플랜 사용량을 더 씁니다. 전체 스위트는 일정에 맞춰, 스모크 테스트는 변경마다 돌리세요.
• Codex는 기본적으로 명령을 샌드박스 안에서 실행합니다. 쓰기는 워크스페이스 안에서만 되고 네트워크는 꺼져 있습니다. danger-full-access는 격리된 러너나 컨테이너에서만 쓰세요.

QA 테스트에는 Claude Code와 Codex 중 무엇을 쓸까요?

규칙은 그대로 옮겨 쓸 수 있습니다. AGENTS.md에 한 번 쓰고 CLAUDE.md에 @AGENTS.md를 넣으면 두 에이전트가 같은 파일을 읽습니다.

다른 에이전트용 단계별 안내: Claude Code에서 하는 QA 테스트.

QA 테스트 담당자 두기

명령어는 누군가 기억해서 실행할 때만 돌아갑니다. Crewmark는 내 Codex 세션을 역할, 숫자로 된 목표, 근무 시간, 하트비트를 갖춘 AI 직원으로 바꿔, 일이 일정에 맞춰 진행되고 보드에 올라오게 합니다.

1. 역할에서 시작하기

   AI 소프트웨어 엔지니어의 브리프에 이 규칙을 넣으세요.

2. 일을 보드에 올리기

   이 일을 반복 이슈로 추가하세요. 직원이 하트비트에 깨어나 일을 하고 댓글로 보고합니다.

3. 관련 페이지

   에이전트가 올린 버그가 어떻게 처리되는지는 GitHub 이슈에서 다룹니다.

자주 묻는 질문