같은 435MB 영상을 124번 올린 durable job 초안
2026년 7월 7일부터 13일 사이에 영상 호스팅 쪽에 같은 435MB 영상이 124개 쌓였다. 합치면 약 54GB다. 봇이 재시작할 때마다 하나씩 늘었다.
커뮤니티용 텔레그램 봇에는 채팅에 올라온 영상을 영상 호스팅에 올리고 다른 서비스에 등록하는 파이프라인이 있다. 124번을 올린 것은 이 파이프라인의 작업 하나였다.
재시작하면 처음부터 다시 도는 작업
영상 하나를 처리하는 데는 내려받기, 호스팅 업로드, 인코딩 대기, 등록까지 여러 단계가 있고 시간이 걸린다. 봇은 배포가 잦아 하루에도 여러 번 재시작하므로, 처리 도중에 프로세스가 죽는 일을 전제로 설계했다.
작업을 시작할 때 작업 내용을 JSON 파일 하나로 디스크에 남기고, 끝까지 가면 그 파일을 지운다. 봇이 부팅하면 남아 있는 작업 파일을 전부 읽어 각 작업을 처음부터 다시 돌린다. 코드에서는 이런 작업을 durable job이라고 불렀다.
처음부터 다시 돌려도 괜찮으려면 각 단계가 멱등이어야 한다. 업로드 단계는 호스팅에 같은 제목의 영상이 이미 있는지 먼저 찾고, 있으면 업로드를 건너뛰고 그 영상을 그대로 쓴다. 멱등 키 역할을 제목이 했다.
여러 줄짜리 요약이 영상 제목이 됐다
이 파이프라인은 영상이 설명 없이 올라오면, 같은 대화에 이어서 온 텍스트를 제목으로 쓴다. 7월 7일에는 그 자리에 봇이 남긴 여러 줄짜리 요약 메시지가 들어갔다. 줄바꿈이 섞인 수백 자짜리 텍스트가 영상 제목이 됐다.
이 제목이 두 군데를 동시에 망가뜨렸다. 마지막 단계인 등록 API가 이 제목을 받고 500을 냈다. 작업은 끝까지 가지 못했고 작업 파일은 지워지지 않았다. 호스팅의 제목 기반 중복 확인도 이 제목을 맞히지 못해서, 방금 올린 영상이 있는데도 “없음”으로 판정했다.
그래서 재시작할 때마다 작업 파일이 남아 있으니 다시 돌고, 중복 확인이 빗나가니 435MB를 새로 올리고, 등록에서 500으로 실패하고, 작업 파일은 그대로 남았다.
이 반복을 멈출 장치는 없었다. 부팅 때 작업을 되살리는 코드는 실패한 작업을 “다음 시작 때 다시 시도”로만 처리했고, 몇 번째 시도인지는 세지 않았다. 재시작이 드문 서비스라면 영영 실패하는 작업도 가끔 한 번 헛돌 뿐이다. 배포가 잦으면 재시도 횟수가 곧 배포 횟수가 된다. 일주일에 124번이면 하루 평균 열여덟 번꼴이다.
제목은 첫 줄 100자, 실패는 세 번까지
제목으로 쓸 텍스트는 첫 줄만 남기고 100자에서 자른다.
_TITLE_MAX = 100
def _clean_title(text: str) -> str:
"""자유 텍스트를 제목으로 쓸 수 있게 다듬는다: 첫 줄만, 길이 상한."""
first = next((ln.strip() for ln in (text or "").splitlines() if ln.strip()), "")
return " ".join(first.split())[:_TITLE_MAX]
이 함수를 두 자리에 넣었다. 사용자의 텍스트를 제목으로 받아들이는 입력 시점, 그리고 파이프라인이 작업 파일에서 제목을 읽는 시점이다. 뒤쪽이 없으면 이미 디스크에 여러 줄 제목으로 저장된 옛 작업은 고쳐진 코드에서도 똑같이 실패한다. 입력 검증만 고쳐서는 끝나지 않았고, 이미 저장된 데이터가 새 코드를 지나갈 때도 같은 정규화를 거치게 해야 했다.
재시도에는 상한을 뒀다. 작업 파일에 실패 횟수를 새기고, 상한(기본 3회)에 닿으면 작업을 버린다. 아래는 부팅 때 도는 루프를 줄여 적은 것이다.
_MAX_ATTEMPTS = int(os.getenv("DURABLE_JOBS_MAX_ATTEMPTS", "3"))
async def resume_pending(ctx) -> None:
for job in _pending():
try:
await handler_for(job)(ctx, job)
except Exception:
n = _bump_attempt(job) # 실패 횟수를 작업 파일에 기록
if n >= _MAX_ATTEMPTS:
clear(job["id"]) # 포기: 작업 파일 삭제
log.exception("resume failed, giving up after %d attempts", n)
else:
log.exception("resume failed (%d/%d), retry next start",
n, _MAX_ATTEMPTS)
횟수는 작업 파일 안에 적는다. 재시도가 프로세스를 넘어 일어나므로 카운터도 프로세스를 넘어 남아야 한다. 메모리에 두면 재시작마다 0이 된다.
이 상한이 세는 것은 예외로 끝난 실패다. 업로드 도중에 배포로 프로세스가 죽은 경우는 except Exception에 걸리지 않으므로 횟수가 늘지 않는다. 그런 작업은 중단됐을 뿐이니 다시 도는 것이 맞다. 석 달 뒤에 문제가 드러난 곳이 바로 이 중단된 작업을 되살리는 경로였다.
10월에는 제목이 맞았는데 객체가 비어 있었다
10월 초, 업로드가 진행되던 중에 재배포가 있었고 작업이 끊겼다. 재시작한 봇이 작업을 되살렸고, 제목으로 중복 확인을 했다. 이번에는 제목이 정확히 맞았다. 맞은 대상이 문제였다. 끊긴 업로드가 호스팅에 남긴 객체는 업로드 실패 상태였고 용량이 0이었다.
중복 확인은 제목만 보고 “이미 있음”으로 판정했다. 파이프라인은 그 빈 객체를 다음 단계에 연결했고, 마지막 정리 단계에서 채팅에 있던 원본 영상까지 지웠다.
빈 객체에 다시 올리는 길은 막혀 있었다. 한 번 실패한 객체는 같은 ID로 다시 업로드를 보내도 “already uploaded”로 거부됐다.
두 군데를 고쳤다. 먼저 중복 확인에서 바이트가 들어가지 않은 상태의 객체는 건너뛴다.
for item in resp.json().get("items", []):
# 0 = Created, 6 = UploadFailed: 바이트가 없는 객체는 재사용하지 않는다
if (item.get("title") or "") == title and item.get("status") not in (0, 6):
return item.get("guid")
같은 제목의 객체가 실패 상태뿐이면 “없음”으로 보고 새로 올린다. 그리고 정리 단계에서는 호스팅 쪽 상태가 그 두 가지 중 하나이면 원본을 지우지 않는다. 그때는 원본이 유일한 사본이다. 인코딩 중인 상태는 바이트가 이미 들어간 것이므로 지워도 된다고 봤다.
7월의 수정과 10월의 수정은 방향이 반대다. 7월에는 중복 확인이 있는 것을 못 찾아서 계속 새로 올렸고, 10월에는 쓸 수 없는 것을 찾아서 올리지 않았다. 둘 다 “같은 제목이 있는가”라는 질문 하나로 멱등을 판정한 데서 나왔다.