부록 C. 시험 당일 가이드
시험 전날. 각 장의 "한눈에 정리"와 "자주 틀리는 지점"을 다시 읽습니다. 특히 다음 다섯 쌍을 구분할 수 있는지 확인하세요. 정밀도와 재현율, 출시 차단 기준과 개선 목표, 역량 평가와 회귀 평가, 섀도 테스트와 카나리, 사전 고지와 결과물 표시.
시험 기본 정보. 35문항, 60분이며, 2점(원칙 확인·적용)과 3점(분석형) 문항을 100점 만점으로 환산해 75점 이상이면 합격입니다.
시간 배분. 35문항을 60분에 풀므로 문항당 평균 1분 40초쯤입니다. 처음 40분 안에 모든 문항을 한 번 풀고, 확신이 없는 문항은 표시해 두었다가 남은 시간에 돌아오세요. 3점 분석형 문항은 상황이 길고 숫자가 많으니, 숫자부터 표로 옮겨 적는 습관이 시간을 줄입니다.
상황을 읽는 순서.
- 굵게 표시된 조건을 먼저 찾는다. 처리량, 되돌릴 수 있는지, 데이터가 있는지, 마감, 사람의 검토 여력, 계약 조건이 대부분 여기 있다.
- 질문이 무엇을 고르라는지 확인한다(구현 방식, 채점 방식, 출시 방식, 지금 할 일).
- 보기를 읽기 전에 "이 조건이면 무엇이 맞을까"를 한 줄로 떠올린다.
- 보기마다 "어느 조건 때문에 틀렸는가"를 말할 수 있는지 확인한다.
같은 보기, 다른 상황. 이 시험은 같은 보기 목록을 서로 다른 상황에 씁니다. 보기만 보고 가장 책임감 있어 보이는 것을 고르지 마세요. "모든 결과를 사람이 승인한다", "평가 세트를 실제 요청으로 다시 꾸린다", "단계적으로 출시한다"는 상황에 따라 정답도 오답도 됩니다. 정답의 근거는 항상 상황 속 조건에 있습니다.
형식별 요령.
| 형식 | 요령 |
|---|---|
| 단일 선택 | 정답 후보가 둘 남으면, 굵은 조건 가운데 한쪽 보기가 어기는 것을 찾는다 |
| 복수 선택 | 보기마다 독립적으로 판정하고, 개수를 맞추려고 억지로 고르지 않는다 |
| 진술 판정 | 결론과 이유를 따로 판정한다. 이유가 틀리면 No |
| 순서 배열 | 각 단계가 무엇을 입력으로 쓰는지 적고, 입력이 먼저 만들어지는 순서로 세운다 |
| 매칭 | 확실한 짝부터 지우고, 쓰이지 않는 선택지가 하나 있음을 기억한다 |
마지막 점검표.
- 계산 문항에서 "고객에게 실제로 나간 비율"이나 "이미 차단된 건"을 빼먹지 않았는가.
- 사람이 최종 결정한다는 이유로 고영향 검토를 건너뛰지 않았는가.
- 일관성이나 면책 문구를 근거나 대응으로 착각하지 않았는가.
- 표본이 부족한데 확대나 되돌리기를 고르지 않았는가.
- 출시 전 상황에서 운영 로그나 A/B 실험을 고르지 않았는가.
시험이 끝난 뒤. 연습 세트의 오답은 해설과 함께 "어느 조건을 놓쳤는가"를 한 줄로 적어 두세요. 같은 조건을 두 번 놓쳤다면 그 조건이 나오는 장의 "자주 틀리는 지점"을 다시 읽습니다.