리디렉션 규칙 한 줄이
발행글을 가렸습니다

글을 쓰고, 검수하고, 발행했습니다. 목록에도 보이고 관리 화면에도 있습니다. 그런데 그 주소를 직접 열면 다른 페이지가 뜹니다.

화면만 보면 이상한 걸 못 느낍니다. 멀쩡한 페이지가 떠 있으니까요. 응답 코드를 봐야 보입니다.

규칙이 글보다 189일 먼저 있었습니다. 그래서 「어느 날부터 안 되기 시작했다」가 아니라 발행 첫날부터 막혀 있었다고 봅니다.

다만 이건 규칙이 먼저 있었다는 사실에서 나온 판단입니다. 로그로 직접 확인한 구간은 11일이고, 그 사이 배포나 설정이 바뀌었는지까지 대조하지는 않았습니다.

서버가 보관하는 접근 기록을 날짜별로 세어 봤습니다. 보관 기간이 지나 그 이전은 남아 있지 않지만, 남아 있는 11일 동안 정상 응답이 한 건도 없습니다. 이 구간에 Googlebot 요청이 8건 있었고 전부 301이었습니다.

리디렉션 규칙은 두 종류로 쓸 수 있습니다. 주소를 통째로 맞춰 보는 평문과, 모양을 맞춰 보는 패턴입니다. 둘은 다루는 방식이 달라서, 규칙을 읽을 때 어느 쪽인지 먼저 갈라야 합니다.

저희는 그 판정을 맨 앞 글자로 하고 있었습니다. 그런데 갈림 조건 안에 슬래시가 들어 있었습니다. 주소는 원래 슬래시로 시작합니다. 그래서 모든 평문 경로가 패턴으로 분류됐습니다.

한 건으로 끝날 문제가 아니었습니다. 평문으로 적은 경로 12개가 전부 부분 일치로 돌고 있었습니다. 나머지가 아직 문제가 드러나지 않은 건 우연히 겹치는 주소가 없었기 때문입니다.

고치는 방법은 간단했습니다. 패턴으로 볼 조건을 좁히면 됩니다. 진짜 패턴은 모양을 나타내는 기호로 시작하거나 그런 기호를 품고 있습니다. 그것만 패턴으로 보고 나머지는 평문으로 되돌렸습니다.

글 하나를 되살리려고 시작한 점검이었는데, 같은 방법으로 점검하니 다른 종류의 어긋난 곳이 함께 나왔습니다.

내부 링크가 301을 거치면 한 번에 갈 길을 두 번에 갑니다. 저희 규모에서 19건이 크롤 총량에 큰 영향을 준다고 보기는 어렵습니다 — 구글도 크롤 예산은 대형 사이트의 문제라고 설명합니다. 이번 19건에서 신호가 실제로 갈렸는지는 따로 확인하지 않았습니다. 확실한 손해는 불필요한 이동과 내부 주소 표기의 불일치입니다. 관리 위생의 문제로 보는 편이 맞습니다. 그 구조는 앞선 기록인 canonical과 트레일링 슬래시 실록에 정리해 두었습니다.

사이트맵은 색인해 달라고 내미는 목록입니다. 거기에 다른 곳으로 넘어가는 주소가 들어 있으면, 검색엔진은 그 주소를 색인 대상에서 빼고 넘어간 곳을 봅니다. 목록과 실제가 어긋나는 셈입니다.

구글이 알려준 게 아닙니다. 사이트맵에 올린 주소를 하나씩 전부 요청해 응답 코드를 세다가 확인됐습니다. 사람이 페이지를 하나씩 여는 방식으로는 놓치기 쉽습니다. 최종 화면만 보면 멀쩡해 보이기 때문입니다. 주소창이나 내용이 달라진 것을 알아채면 찾을 수도 있습니다.

핵심은 리디렉션을 따라가지 않는 것입니다. 따라가면 최종 결과가 200이라 정상으로 보입니다. 첫 응답만 봐야 중간에 끼어든 이동이 드러납니다.

저희는 이 절차를 스크립트로 만들어 발행할 때마다 실행합니다. 사람이 틀려도 스크립트가 먼저 잡게 하려는 것입니다.

덧붙이자면 이 점검에서 나온 것은 두 가지 다른 사고였습니다. 글이 열리지 않은 것은 규칙을 읽는 조건의 문제였고, 내부 링크 19건이 301을 타고 있던 것은 사람이 손으로 주소를 쓰면서 형태를 맞추지 않은 문제였습니다. 원인이 다르니 막는 방법도 다릅니다 — 앞은 조건을 좁혀서, 뒤는 기계가 검사하게 해서 막습니다.

화면이 뜨는 것과 그 주소가 살아 있는 것은 다릅니다. 발행 후 54일이 지나 문제를 발견했습니다. 그 주소를 열면 다른 페이지가 대신 떴습니다.

그래서 저희는 점검할 때 눈으로 보는 대신 응답 코드를 셉니다. 그리고 고친 뒤에는 검색 크롤러가 실제로 어떤 응답을 받아 갔는지 서버 기록으로 확인합니다. 순위가 올랐는지는 저희가 정하지 못하지만, 크롤러가 정상 응답을 받아 갔다는 사실은 기록으로 남습니다.

보장과 관측은 다릅니다. 저희가 드리는 리포트에 무엇을 언제 어떻게 측정했는지가 함께 들어가는 이유입니다. 그 경계는 측정의 경계에 적어 두었습니다.