콘텐츠로 이동
개발 기록
← 전체 글

352번 중 두 번, 열리지 않은 목록

부하 시험에서 요청 기록 36,000건의 수집과 판정은 모두 끝났다. 하지만 입력이 이어지는 동안 이벤트 목록을 조회한 352회 중 두 번이 5초 안에 응답하지 못했다. 성공한 응답 대부분이 빨라도, 간헐적으로 목록을 열지 못하는 문제는 남아 있었다.

그 두 번의 원인은 파악해야겠다고 생각했다. 왜 그 두 번은 넘지 못했는지 알면, 내가 뭔가 잘못 구성한 부분을 찾을 수도 있었다.

조회에는 이벤트가 어떤 판정에 연결됐는지 확인하는 함수가 들어 있었다. 그 내부를 살펴보니, 연결된 판정이 없는 이벤트를 확인할 때도 다른 이벤트의 참조와 판정을 대량으로 읽고 있었다. 수치는 당시 검증 기록에서 가져왔다.

결과가 없다는 사실도 조회해야 했다

섹션 제목: “결과가 없다는 사실도 조회해야 했다”

신고 후보를 고른 글에서는 요청의 종류와 반복 조건을 확인하고, 판정과 함께 근거가 된 요청 기록을 연결했다. 이벤트 목록에서도 이 관계를 읽어야 했다. 어느 요청이 판정의 근거에 포함됐는지, 검사를 마쳤지만 해당하는 판정이 없는지 구분해 보여 주기 위해서다. 판정이 근거 자료를 가리키는 연결 기록을 여기서는 참조라고 부르겠다.

이 글에서 찾으려는 판정 결과는 해당 이벤트에 연결돼 있고, 조회 기준에도 맞는 판정이다. 이벤트 기록이 존재하는 것만으로는 이 결과를 알 수 없다. 이벤트와 판정을 연결한 자료를 확인해야 한다.

예를 들어 이벤트 A에 연결된 판정이 하나도 없다고 하자. A의 연결을 먼저 찾아보고 없으면 확인을 끝낼 수 있다. 그런데 다른 이벤트의 판정 연결까지 넓게 읽은 뒤 A에 해당하는 것을 찾는다면, 같은 답을 얻더라도 더 많은 작업이 필요 할 것이다.

실제 조회에는 연결이 있는지를 확인하는 EXISTS 조건이 들어 있었다. 하지만 존재 여부만 묻는다고 해서 적은 자료를 읽는 것은 아니었다. 어떤 자료부터 찾아 서로 연결하는지에 따라, 아무것도 찾지 못했다는 결론까지 많은 행을 확인할 수 있었다. 이 연결 순서를 살펴봐야 했다.

목록 바깥에서 보이지 않던 작업

섹션 제목: “목록 바깥에서 보이지 않던 작업”

실패한 요청은 이벤트 목록 API였다. 데이터베이스 로그에는 목록 조회가 호출한 event_detection_result 함수 안에서 SQL이 취소된 기록이 남았다. 문제가 생긴 위치를 좁힐 수 있었지만, 이 로그만으로 어떤 자료를 얼마나 읽었는지까지 알 수는 없었다.

쿼리가 예상보다 느리면 실행 계획부터 확인해야 한다. 그래서 데이터베이스에 실제로 설치된 함수의 SQL을 추출하고, 실제 인덱스를 복제한 격리 표본에서 EXPLAIN ANALYZE로 실행 계획을 확인했다. 목록을 호출하는 쿼리의 계획만 보면 함수 내부 작업이 가려질 수 있어, 내부 SQL을 따로 살폈다.

EXPLAIN ANALYZE는 쿼리를 실행하면서 각 단계에서 실제로 처리한 행 수와 시간을 보여 준다. 이번에는 응답 시간뿐 아니라, 결과를 얻기 위해 무관한 자료를 얼마나 방문하는지 확인하는 데 사용했다. 명령이 보여 주는 추정치와 실제 실행값의 차이는 PostgreSQL의 실행 계획 문서에서도 확인할 수 있다.

로컬 표본에서는 판정으로 이어지는 연결이 없는 이벤트를 분류하는데도 참조 524,352개와 판정 8,195개를 읽었다. 데이터 분포를 알려 주는 통계를 수집한 뒤에도, 연결이 하나뿐인 표본에서 참조 524,289개를 읽는 계획이 남았다.

필요한 역방향 인덱스는 이미 있었다. 문제는 EXISTS 내부의 조인 순서였다. 조인 순서에 따라 성능이 달라지는 건 충분히 있을 수 있는 일이라, 의외는 아니었다. 해당 이벤트의 연결을 좁혀 가기 전에 무관한 참조와 판정을 넓게 읽는 작업이 생겼다. 목록 필터가 이 확인을 이벤트마다 반복하므로, 결과를 찾지 못하는 경우의 비용도 누적됐다.

서버에서 발생한 5초 시간 초과를 이 행 수만으로 환산하거나, 같은 비율의 응답 시간 개선을 기대할 수는 없었다. 내부 작업을 줄인 다음 실제 부하에서도 다시 확인해야 했다.

해당 이벤트의 연결부터 확인하기

섹션 제목: “해당 이벤트의 연결부터 확인하기”

수정의 중심은 해당 이벤트와 판정을 잇는 연결 자료를 먼저 찾고, 그 연결에 해당하는 참조와 판정만 따라가도록 하는 것이었다. 연결이 없다면 다른 이벤트의 자료까지 넓게 탐색할 이유가 없었다.

SQL에서는 해당 이벤트의 연결을 찾는 중간 조회를 MATERIALIZED로 분리해 별도로 계산하도록 했다. 이후에는 먼저 찾은 연결 값을 사용해 관련 참조와 판정을 인덱스로 조회하도록 바꿨다. 이 방법은 에이전트가 제안했다. EXPLAIN은 써 봤지만 MATERIALIZED는 이때 처음 써 봤다. 중간 조회를 별도로 계산하는 동작은 PostgreSQL의 CTE 문서를 참고했다. 수정 뒤에는 실제 실행 계획에서 해당 이벤트의 연결부터 조회하는지 확인했다.

수정 뒤에는 연결이 드물거나 없는 표본에서 무관한 참조·판정 방문이 0~1개로 줄었다. 통계 수집 전후와 삭제 후의 상태를 나눠 확인했고, 판정 대기·과거 이력·서로 다른 근거 저장 방식도 함께 검사했다. 조회 순서를 바꾸면서 분류 결과까지 달라지지 않는지 확인하기 위해서였다.

일반 목록의 페이지 크기와 필터 조건은 그대로 두었다. 결과를 적게 반환하거나 시간 제한을 늘리는 대신, 같은 결과를 얻는 데 필요하지 않은 탐색을 줄였다.

실제로 연결된 자료는 계속 확인해야 했다

섹션 제목: “실제로 연결된 자료는 계속 확인해야 했다”

연결부터 찾도록 바꿨다고 해서 결과가 없는 모든 조회가 짧아지는 것은 아니었다. 연결은 있지만 조회 기준에 맞지 않는 경우에는 그 연결을 확인해야 한다.

검증에는 한 이벤트에 연결된 판정이 8,192개 있지만, 이번 조회의 기준에 맞는 것은 하나도 없는 사례도 있었다. 이 경우에는 연결된 참조와 판정을 각각 8,192개씩 확인했다. 조회에 포함할 결과가 없다는 결론은 같지만, 실제 연결이 없는 경우와 필요한 작업량은 달랐다.

그래서 회귀 시험에서도 반환값만 비교하지 않았다. 연결이 없을 때 무관한 자료까지 읽지 않는지 확인하고, 연결이 많을 때는 필요한 검사를 빠뜨리지 않는지 함께 살폈다. 해당 이벤트와 관계없는 탐색은 줄이면서, 결과를 판단하는 데 필요한 연결은 유지해야 했다.

로컬 실행 계획과 API 시험을 확인한 뒤에는 실제 센서부터 수집·판정·조회까지 이어지는 경로를 다시 시험했다. OCI ARM64 서버에서 PostgreSQL은 1 GB/1 CPU, 앱 프로세스는 각각 256 MB/1 CPU 제한을 유지했다.

최종 시도의 일반 이벤트 목록 결과는 다음과 같았다. p95는 관측한 응답의 95%가 그 시간 이내에 들어왔다는 뜻이다.

입력 조건 입력 중 일반 목록 조회 오류 응답 시간 p95
초당 20건 목표로 30분, 총 36,000건 359회 0회 9.234 ms
초당 200건 목표로 60초, 총 12,000건 12회 0회 244.370 ms

두 최종 시도 모두 일반 목록의 5초 시간 제한, 오류 0회, p95 1초 이하 기준을 통과했다. 수집과 판정도 입력 건수만큼 완료됐다. 수정 전 지속 시험의 목록 시간 초과와 급증 시험의 p95 기준 초과를, 수정 뒤 최종 시도에서는 관측하지 않았다.

이 문제에서는 반환된 결과의 수보다, 결과가 없다는 것을 확인하기까지 읽은 자료의 범위가 중요했다. 한 이벤트의 연결을 확인하려고 다른 이벤트의 참조까지 반복해서 읽고 있었고, 목록에서는 그 비용이 쌓였다.

함수 내부 SQL을 따로 확인하고 실제 연결부터 따라가도록 바꾼 뒤, 로컬 표본의 불필요한 방문이 줄고 최종 부하 시험의 일반 목록 기준도 통과했다. 실제로 연결된 자료가 많으면 그만큼의 검사는 여전히 필요했다.

이 일로 성능 시험은 적어도 한 번은 반드시 해 봐야 한다는 걸 깨달았다. 갑자기 사용량이 늘어났을 때 가장 크게 영향을 받는 곳은 데이터베이스라고 생각한다.