목요일마다 빨개지는 CI, 날짜에 매인 테스트 세 건 초안
2026년 8월 말 목요일, 테스트 파일 하나에서 검사 6개가 한꺼번에 실패해 그날 배포가 막혔다.
커뮤니티용 텔레그램 봇은 main에 머지하면 CI가 테스트를 돌리고, 통과해야 배포된다. 먼저 변경을 빼고 깨끗한 main을 그대로 돌려 봤다. 같은 6개가 똑같이 실패했다. 방금 넣은 코드 탓은 아니었고, 며칠 전까지 통과하던 main이 지금은 실패한다는 얘기였다. 그 사이에 바뀐 것은 날짜뿐이다.
코드는 그대로인데 날짜가 바뀌어서 깨지는 테스트는 그 뒤로 두 번 더 만났다. 9월 말에는 다른 테스트가 월요일마다 실패했고, 10월 말에는 또 다른 테스트가 어느 날 새벽부터 계속 실패했다. 11월 중순에는 반대 방향의 문제도 하나 찾았다. 아예 돌지 않는데 통과로 찍히던 테스트 파일이다.
목요일부터 일요일까지만 실패했다
봇에는 기간 한정 주간 알림 기능이 있다. “이번 주 일요일까지, 화요일과 수요일 19시에” 같은 식으로 요일과 마감일을 준다. 마감일까지 남은 기간 안에 해당 요일이 하루도 없으면 요청을 거절한다. 울릴 일이 없는 알림을 만들지 않으려는 정상 동작이다.
테스트는 요일을 화·수(파이썬 weekday() 기준 1, 2)로, 마감일을 “이번 주 일요일”로 박아 두고 있었다. 마감일은 오늘 날짜에서 계산했지만 요일은 고정이었다. 월·화·수에 돌리면 이번 주 일요일까지 화·수가 남아 있어서 통과한다. 목·금·토·일에는 이미 지났으니 생성이 거절되고 검사 6개가 실패한다.
화요일에 머지할 때는 통과하고 목요일부터 일요일까지는 매주 CI를 막는 테스트였던 셈이다. 제품은 설계대로 동작했다. 틀린 것은 테스트의 입력이었다.
요일도 오늘 기준으로 만들게 고쳤다.
def _upcoming_two() -> tuple[list[int], str]:
"""앞으로 남은 이틀의 요일 번호와 그 둘을 담는 마감일(ISO) — 어느 요일에 돌려도 창 안."""
today = datetime.datetime.now(tz=TZ).date()
d1 = today + datetime.timedelta(days=2)
d2 = today + datetime.timedelta(days=3)
return sorted({d1.weekday(), d2.weekday()}), d2.isoformat()
이틀 뒤와 사흘 뒤의 요일을 쓰고 마감일은 사흘 뒤로 잡는다. 어느 요일에 돌려도 두 날짜가 항상 기간 안에 있다. 검사하는 내용은 바꾸지 않았다. 알림 2건이 저장되는지, id가 겹치지 않는지, 시각 두 개가 각각 들어갔는지를 그대로 본다. “두 건 모두 화·수인가”라는 단정만 “두 건 모두 방금 넘긴 그 두 요일인가”로 바뀌었다.
월요일은 폴백하는 요일이었다
9월 말에 걸린 것은 하루에 두 번, 앞 시각과 뒤 시각에 나눠 메시지를 보내는 기능의 테스트다. “뒤 시각이 되기 전에는 앞 시각의 메시지만 나간다”를 검사한다.
이 기능에는 요일별 예외가 있다. 뒤 시각이 따로 설정되지 않은 요일에는 뒤 시각이 앞 시각으로 폴백하고, 그런 날에는 두 메시지가 같은 시각에 함께 나가는 것이 맞다. 테스트는 이 폴백을 몰랐고 월요일이 그런 요일이었다. 그래서 월요일마다 “앞 시각 것만 나가야 하는데 둘 다 나갔다”며 실패했다.
수정은 세 줄이었다. 오늘이 폴백하는 요일이면 그 검사를 건너뛴다. 이 테스트에는 이미 “특정 시간대에는 이 검사를 건너뛴다”는 조건이 붙어 있었고, 거기에 요일 조건이 하나 더 붙었다.
첫 번째만큼 깔끔한 수정은 아니다. 건너뛰는 날에는 그 검사가 아무것도 확인하지 않는다. 시계를 주입해서 폴백하는 날과 아닌 날을 둘 다 검사하는 편이 더 낫고, 그건 아직 하지 않았다.
03시 55분부터
10월 말의 실패는 원인이 가장 단순했다. 테스트 파일 위쪽에 “지금”으로 쓸 시각이 상수로 박혀 있었다.
# 수정 전
NOW = datetime.datetime(2026, 10, 29, 21, 55, tzinfo=TZ)
# 수정 후
NOW = datetime.datetime.now(TZ)
이 테스트가 다루는 로직에는 대기 중인 항목이 6시간 뒤 만료되는 TTL이 있다. 박아 둔 시각은 10월 29일 21시 55분이었고, 테스트는 정확히 6시간 뒤인 30일 03시 55분부터 실패하기 시작했다.
첫 번째 것은 일주일 주기로 통과와 실패를 오가서 가끔 깨지는 테스트처럼 보였다. 이번 것은 한 번 넘어가면 다시는 통과하지 않는다. 대신 실패가 시작된 시각이 분 단위로 설명돼서 찾기는 쉬웠다.
한 달 가까이 초록색이던 빈 테스트
11월 중순에는 다른 기능을 고치다가, 그 모듈의 테스트 파일이 CI에서 한 번도 실행된 적이 없다는 것을 알았다. 결과는 계속 통과로 찍히고 있었다.
이 저장소의 CI는 pytest를 쓰지 않고 테스트 파일을 python tests/파일.py로 하나씩 실행한다. 대부분의 테스트 파일은 최상위에서 바로 검사를 실행하는 스크립트 형태라 이 방식에 맞는다. 문제의 파일만 def test_...() 함수를 모아 둔 pytest 형태였다. 이런 파일을 python으로 실행하면 함수를 정의만 하고 종료 코드 0으로 끝난다. CI가 보기에는 통과다.
파일 끝에 실행 진입점을 붙였다. 아래는 간추린 것이다.
if __name__ == "__main__":
# CI는 pytest 없이 `python 파일`로 돈다. 직접 부른다.
import inspect
for name, fn in list(globals().items()):
if name.startswith("test_") and callable(fn):
mp = _MonkeyPatch() # pytest monkeypatch 의 간단한 대역
try:
fn(mp) if inspect.signature(fn).parameters else fn()
finally:
mp.undo()
print("ok", name)
몇몇 테스트 함수가 pytest의 monkeypatch 픽스처를 인자로 받고 있어서 setattr와 undo만 흉내 내는 작은 클래스를 같이 넣었다. 이 파일은 10월 중순에 추가됐으니 한 달 가까이 아무것도 검사하지 않은 채 통과 숫자에 포함돼 있었다. 앞의 세 건은 테스트가 틀려서 빨간색이 됐고, 이 건은 테스트가 없는 것과 같은데 초록색이었다. 배포를 막지 않으니 눈에 띄지도 않는다.
그 뒤로 하는 것
- CI가 빨간데 내 변경과 관계없어 보이면 깨끗한 main부터 그대로 돌린다. 이번에는 그 한 번으로 조사 범위가 테스트 파일 하나로 줄었다.
- 실패가 시작된 요일과 시각을 적어 둔다. 목요일부터, 월요일마다, 03시 55분부터라는 정보가 세 번 모두 원인을 거의 그대로 가리켰다.
- 새 테스트 파일을 넣으면 통과 여부보다 먼저, 검사가 실제로 실행됐다는 출력이 있는지 본다.