크롤러가 필터 링크를 긁으면 왜 Vercel Hobby 팀 전체가 멈추나

필터 주소는 robots.txt에서 막는다

필터·정렬·더 보기가 만든 주소는 robots.txt의 Disallow: /explore? 한 줄로 막습니다.

robots 규칙은 적어 둔 값으로 시작하는 주소를 모두 막습니다. 제 앱 voopo라면 둘러보기 첫 화면 /explore는 열리고, /explore?cat=게임,툴&sort=likes처럼 물음표 뒤에 필터가 붙은 주소만 막힙니다. 쿼리 링크를 단 목록마다 원래 있던 disallow에 한 줄씩 더합니다.

1// app/robots.ts
2export default function robots() {
3  return {
4    rules: {
5      userAgent: "*",
6      allow: "/",
7      disallow: [
8        "/explore?",
9        "/community?",
10      ],
11    },
12  };
13}

필터 링크에는 <Link rel="nofollow">도 답니다. nofollow를 따르는 크롤러만 건너뛰는 힌트라서, 막는 것은 robots.txt 한 줄입니다.

voopo를 긁은 Anthropic의 크롤러 ClaudeBot은 robots.txt를 따릅니다. 방화벽에서 봇을 막을 때도 /robots.txt는 규칙에서 뺍니다.

사건 뒤에 걸어 둔 차단 규칙에서 robots.txt를 빼자, 2주 동안 이어지던 필터 주소 요청이 한 시간쯤 뒤 끊겼습니다.

robots 403robots 통과

1vercel firewall rules add "block ClaudeBot" --project voopo \
2  --condition '{"type":"user_agent","op":"sub","value":"ClaudeBot"}' \
3  --condition '{"type":"path","op":"eq","neg":true,"value":"/robots.txt"}' \
4  --action deny --yes
5vercel firewall publish --project voopo --confirm-name voopo

필터를 누를수록 주소가 번진다

필터 링크마다 지금 고른 필터가 그대로 붙어 있어서, 켜는 조합과 순서마다 다른 주소가 생깁니다.

켠 순서에 정렬·더 보기까지 곱하면 이 페이지의 주소는 2조 개가 넘습니다. 링크를 만들 때 값을 정렬해 켠 순서를 하나로 모아도 786만 개라, robots.txt 한 줄은 그대로 필요합니다.

서버에서 searchParams를 읽는 Next.js 페이지는 데이터 조회를 캐시해도 요청마다 Vercel 함수가 새로 그립니다. Hobby는 이 함수 호출을 30일에 100만 번까지 줍니다.

요청마다 미들웨어인 proxy.ts도 함께 돌아, 함수 호출은 필터 주소 요청의 두 배가 됐습니다. 로그인 상태를 쓰지 않는 목록이면 proxy의 matcher에서 그 경로를 빼 늘어난 절반을 없앱니다.

Hobby 팀은 계정마다 하나만 둘 수 있는 무료 작업 공간이고, 팀의 앱이 무료 사용량을 함께 씁니다. 크롤링 날 팀은 함수 호출·계산 시간·메모리 세 한도를 넘겨 앱 11개가 모두 멈췄습니다. 함수 호출의 88%는 voopo가, 메모리는 대부분 같은 팀의 MCP 서버가 썼습니다.

Hobby에선 방화벽 기록으로 범인을 찾는다

앱별 함수 호출은 /v2/usage로 보고, 그 요청을 보낸 봇과 경로는 vercel firewall traffic list로 좁힙니다.

1Q="teamId=$ORG&from=$FROM&to=$TO"
2vercel api "/v2/usage?type=requests&granularity=day&$Q" | jq -c '.data[] |
3  {date, calls: .function_invocation_successful_count,
4   apps: [.breakdown.function_invocations[:3][] | "\(.name) \(.percent)%"]}'
5vercel firewall traffic list --project voopo

$ORG에는 .vercel/project.json의 orgId를, $FROM·$TO에는 ISO 시각을 넣습니다. projectId 없이 부르면 날마다 앱별 몫이 붙어, 크롤링 날 voopo가 98%로 나옵니다. /v2/usage는 공식 문서에 없는 주소라 바뀔 수 있습니다.

Hobby에서는 vercel metrics가 막히고 런타임 로그는 1시간만 남지만, 방화벽 기록은 최근 24시간까지 남습니다. 사용량이 튄 날 바로 엽니다.

1async function refuseListen(req: Request) {
2  if (req.method !== "POST") return null;
3  const msg = await req.clone().json().catch(() => null);
4  if (msg?.method !== "subscriptions/listen") return null;
5  return Response.json({
6    jsonrpc: "2.0", id: msg.id ?? null,
7    error: { code: -32601, message: "subscriptions/listen is not supported" },
8  });
9}
10
11export async function POST(req: Request) {
12  return (await refuseListen(req)) ?? handler(req);
13}