하루 10~35번 재시작하는 봇, 메모리 상태를 디스크로 초안

“아까 실패했다”는 제보를 받고 트레이스백을 찾으려 했는데 직전 로그가 통째로 없었다.

커뮤니티용 텔레그램 봇을 도커 컨테이너 하나로 운영한다. 배포가 잦아서 컨테이너가 하루에 10~35번 새로 만들어지고, 그때마다 프로세스 메모리에 있던 것들이 사라졌다. 오류 메시지가 뜨는 종류의 문제는 아니었다. 재시작이 끼어든 자리에서 일이 조용히 빠졌다.

커밋 기록에 남아 있는 것만 해도 여럿이다. 봇이 미리보기를 보여 준 직후 배포가 있었고, 8초 뒤에 온 사용자의 짧은 긍정 답이 빈 세션으로 들어가서 봇은 무엇에 대한 답인지 알지 못했다. 초안을 보여 준 뒤 받은 “확정”이라는 답이 재시작 뒤에는 “확정”이라는 내용의 새 초안 요청으로 해석된 적도 있다. 2026년 7월부터 11월까지, 이런 걸 발견할 때마다 하나씩 디스크로 옮겼다.

재시작을 없앨 수는 없었다

원인은 전부 같다. 대기 상태, 대화와 세션을 잇는 표, 앨범 묶음 정보가 모듈 전역 dict에만 있었고, 프로세스가 바뀌면 빈 dict로 시작한다.

로그만 이유가 조금 달랐다. 도커의 기본 json-file 로그는 컨테이너에 붙어 있다. 컨테이너를 재시작하면 남지만, 배포처럼 컨테이너를 새로 만들면 이전 컨테이너의 로그는 같이 사라진다.

재시작 자체를 없애는 방법도 따져 봤다. 새 컨테이너를 먼저 띄우고 옛 컨테이너를 내리는 블루그린 방식이다. 그런데 이 봇은 롱 폴링으로 update를 받는다. 텔레그램은 같은 토큰으로 두 프로세스가 동시에 폴링하면 409 Conflict를 돌려주므로 두 컨테이너가 겹치는 구간을 만들 수 없다.

폴링 방식에는 이점도 하나 있다. 봇이 내려가 있는 동안 사용자가 누른 버튼은 텔레그램 서버에 남아 있다가 봇이 다시 뜨면 배달된다. update는 잃지 않는다. 배달된 update를 받아 줄 상태가 없었을 뿐이다. 남은 길은 상태가 재시작을 넘어 살게 만드는 것이었다.

7월, 로그와 입력 격자

가장 먼저 로그를 옮겼다. 표준 출력은 그대로 두고, 호스트 디렉터리를 바인드 마운트한 볼륨 안의 파일에도 같은 로그를 쓴다.

handlers: list[logging.Handler] = [logging.StreamHandler()]
try:
    log_dir = pathlib.Path("/app/data/logs")       # 호스트 바인드 볼륨
    log_dir.mkdir(parents=True, exist_ok=True)
    handlers.append(RotatingFileHandler(
        log_dir / "bot.log", maxBytes=10 * 1024 * 1024, backupCount=5,
        encoding="utf-8"))
except OSError:
    pass   # 볼륨이 없으면 stdout만. 로깅 때문에 봇이 안 뜨면 안 된다
logging.basicConfig(level=logging.INFO, handlers=handlers,
                    format="%(asctime)s [%(levelname)s] %(name)s: %(message)s")

10MB짜리 파일 5개로 회전한다. except OSError: pass는 이후 모든 저장 코드에 반복된다. 저장에 실패하면 예전처럼 동작하면 되고, 저장소가 봇을 멈추는 원인이 되면 안 된다.

같은 커밋에서 입력 격자 세션도 옮겼다. 사용자가 버튼으로 채우던 격자가 재배포 뒤 “세션 만료, 처음부터 다시”가 되던 자리다. 이 세션은 python-telegram-bot의 user_data에 있었으므로 라이브러리가 제공하는 PicklePersistence를 볼륨 안의 파일에 붙이는 것으로 끝났다. bot_data와 callback_data는 저장 대상에서 뺐다. 주기적으로 도는 작업들은 각자 원장 파일로 상태를 관리하고 있어서 피클에 담을 이유가 없었다.

하루 뒤에 눌리는 리액션

7월 말에는 앨범을 옮겼다. 파일 여러 개를 한 묶음으로 올린 글에 하루 뒤 확인 리액션이 달렸는데, 묶음 전체가 가지 않고 리액션이 달린 메시지 1개만 전달됐다.

텔레그램에서 앨범은 메시지 여러 개이고 리액션 update는 그중 하나만 가리킨다. 그래서 봇은 어떤 메시지 번호들이 한 묶음인지 기억해 두는데, 이 기억이 메모리에만 있었다. 확인 리액션은 파일이 올라온 지 하루 뒤에 눌리는 일이 흔했으니 그 사이에 재시작이 끼지 않기가 더 어려웠다.

묶음 표를 JSON 파일로 옮기고 최근 200개만 남기게 했다. 하나를 더 고쳐야 했다. 전달 여부를 판정하는 원장이 “묶음의 모든 메시지가 이미 나갔는가”만 보고 있었는데, 이대로면 예전에 1개만 나간 묶음은 다시 리액션을 달았을 때 이미 나간 파일까지 한 번 더 전송된다. 아직 안 나간 메시지 번호만 골라 보내도록 판정을 바꿨다.

표와 세션 파일이 따로 사라지고 있었다

10월에는 대화를 잇는 표를 옮겼다. 봇은 일부 요청을 외부 CLI에 subprocess로 넘기고, 같은 대화가 이어지도록 CLI의 세션 id를 대화별로 기억한다. 상태가 두 군데 있었다. 대화와 세션 id를 잇는 표는 봇의 메모리에 있었고, 세션 파일 자체는 CLI가 쓰는 디렉터리에 있었는데 그 디렉터리가 볼륨에 마운트돼 있지 않았다. 둘 다 재시작마다 사라졌다.

한쪽만 고치면 소용이 없다. 표만 남기면 파일 없는 id를 들고 있게 되고, 파일만 남기면 아무도 가리키지 않는 파일이 된다. 표를 JSON 파일로 저장하고(14일 보관) CLI의 세션 디렉터리를 볼륨 안으로 옮겼다.

그래도 어긋날 수 있어서 한 겹을 더 뒀다. CLI가 그 세션을 찾을 수 없다고 답하면 표에서 해당 항목을 지우고 새 세션으로 한 번 더 실행한다. 사용자에게 오류를 보여 주는 것보다, 맥락은 잃더라도 대화가 계속되는 편이 낫다.

옮기다 걸린 값들

10월 초에 대기 상태 전체를 조사했고 위험도가 높은 5곳부터 옮겼다. 곳마다 저장 코드를 따로 쓰지 않고 공용 저장소를 두 종류 만들었다. TTL이 있는 dict 하나, 그리고 이미 d[key] = (값, 만료시각) 형태로 쓰이던 전역 dict를 호출부를 고치지 않고 감싸는 래퍼 하나다. 저장은 둘 다 같은 방식이다.

def _save(self) -> None:
    data = {k: {"at": at.isoformat(), "value": v}
            for k, (at, v) in self._items.items()}
    try:
        self._path.parent.mkdir(parents=True, exist_ok=True)
        tmp = self._path.with_suffix(".tmp")
        tmp.write_text(json.dumps(data, ensure_ascii=False), encoding="utf-8")
        tmp.replace(self._path)          # 임시 파일에 쓰고 이름을 바꾼다
    except (OSError, TypeError, ValueError):
        log.warning("저장 실패: 이번 실행 동안만 기억", exc_info=True)

임시 파일에 다 쓴 다음 이름을 바꾸므로, 쓰는 도중에 프로세스가 죽어도 반쯤 쓰인 파일이 원래 파일을 대신하지 않는다. 읽을 때도 같은 태도다. 파일이 깨져 있으면 로그를 남기고 빈 상태로 시작한다.

옮기면서 걸린 것은 모두 프로세스가 바뀌면 뜻이 달라지는 값이었다.

기존 코드는 만료를 time.monotonic()으로 쟀다. 단조 시계의 값은 한 프로세스 안에서 두 시점의 차이를 잴 때만 의미가 있고, 다른 프로세스가 읽으면 비교할 수 없다. 저장하는 만료 시각은 time.time()으로 바꿨다.

같은 본문에 다시 반응하지 않으려고 hash(text)를 기억하던 곳도 있었다. 파이썬의 문자열 해시는 프로세스마다 달라지므로 저장해 봐야 다음 프로세스에서 맞지 않는다. sha1으로 바꿨다.

텔레그램 메시지 객체를 통째로 들고 있던 대기 상태는 to_dict()로 저장하고, 꺼낼 때 Message.de_json(data, bot)으로 되살린다. 파일 바이트는 저장하지 않고 file_id만 남긴다.

래퍼는 d[key] = value 대입이 일어날 때 저장한다. 꺼낸 값을 제자리에서 고치기만 하던 코드는 파일에 반영되지 않아서, 고친 뒤 다시 대입하도록 바꿨다.

큐도 있었다. 처리 대기 중인 작업 목록만 저장하면 재시작 때 이미 끝난 작업을 한 번 더 보낼 수 있다. 완료한 번호 목록도 같이 저장하고, 부팅 때 남은 작업만 다시 큐에 넣는다.

같은 날 중간 위험도의 대기 상태도 같은 저장소로 옮겼고, 11월에는 봇이 보낸 메시지 번호를 기억하는 자리에도 적용했다. 이쪽은 방마다 한 줄씩 덧붙이다가 보관 개수의 두 배를 넘으면 최근 것만 남겨 다시 쓰는 방식이다.

암호는 디스크에 쓰지 않았다

모든 대기 상태를 디스크에 쓴 것은 아니다. 잠긴 파일의 암호를 답장으로 기다리는 자리가 9곳 있었는데, 파일 바이트와 암호를 디스크에 남기지 않으려고 이쪽은 메모리에 그대로 뒀다.

대신 잊었다는 사실을 말하게 했다. 봇의 암호 요청에 단 답장인데 어느 대기 목록에도 없으면, 재시작으로 잊었으니 다시 올려 달라고 한 번 답한다. 전에는 아무 반응이 없어서 사용자가 기다리기만 했다.