- 넥스트티는 GeoAnalytics에서 봇을 판정할 때 역방향 DNS 검증을 포함한 다중 검증 절차를 사용합니다.
- 봇을 사람으로 세면 지표가 부풀고, 지나치게 걸러 내면 실제 방문자가 사라져 반대 방향으로 왜곡됩니다.
- 봇 판정은 신호 하나로 끝나지 않습니다. 자기 신고 정보와 네트워크 검증, 행동 패턴을 함께 확인해야 합니다.
유입이 갑자기 늘었다면 성과로 보고하기 전에 그 안에 봇이 얼마나 섞여 있는지부터 판정해야 합니다. 판정 체크리스트에는 User-Agent 확인, 역방향 DNS와 정방향 재확인, 발신 네트워크 성격, 행동 패턴, 과잉 필터링 점검, 판정 근거 기록이 순서대로 들어가야 합니다. 이 항목을 거치지 않은 방문자 수는 사람의 관심이 아니라 수집 활동의 양을 보여 줄 수 있습니다.
목차
- 봇이 섞인 방문자 수는 지표를 어떻게 왜곡합니까?
- 봇 판정은 왜 User-Agent 확인만으로 끝나지 않습니까?
- 봇 트래픽 정제 체크리스트는 어떤 항목으로 구성해야 합니까?
- 지나치게 걸러 낸 것은 아닌지 어떻게 점검합니까?
- 정제한 봇 트래픽 분석 결과는 어떻게 읽어야 합니까?
- 자주 묻는 질문
봇이 섞인 방문자 수는 지표를 어떻게 왜곡합니까?
봇이 섞인 방문자 수는 유입 규모는 부풀리고 전환율·체류 시간 같은 비율 지표는 끌어내립니다. 봇은 페이지를 불러오지만 구매나 문의를 하지 않으므로 분모만 커지고, 사람의 행동을 근거로 세운 콘텐츠·광고 판단이 엉뚱한 방향으로 흐릅니다. 반대로 정상 사용자까지 봇으로 걸러 내면 유입이 실제보다 작아 보이고, 특정 지역이나 회사망 사용자가 통째로 빠지는 편향도 생깁니다.
광고 측정 분야의 자율 감사 기구인 MRC(Media Rating Council)는 무효 트래픽 탐지·제거 지침에서 무효 트래픽을 목록 대조 같은 일상적 방법으로 걸러 낼 수 있는 일반 무효 트래픽(GIVT)과 고급 분석이 필요한 정교한 무효 트래픽(SIVT)으로 나눕니다. 이 구분은 웹사이트 방문 분석에도 그대로 적용할 수 있습니다. 쉬운 봇만 걸러 낸 데이터는 정제가 끝난 데이터가 아니라는 뜻입니다.
| 오류 유형 | 지표에 나타나는 모습 | 잘못 내리기 쉬운 판단 |
|---|---|---|
| 과소 판정(봇을 사람으로 계산) | 방문자 수 급증, 전환율·체류 시간 하락 | 콘텐츠 반응이 좋다는 판단, 랜딩 페이지 문제로 오인 |
| 과잉 판정(사람을 봇으로 계산) | 유입 감소, 특정 네트워크 사용자 누락 | 채널 성과가 없다는 판단, 예산 조기 철회 |
| 판정 기준 변경 미기록 | 특정 시점 이후 지표가 계단식으로 변화 | 시장 변화나 캠페인 효과로 오해 |
봇 판정은 왜 User-Agent 확인만으로 끝나지 않습니까?
User-Agent는 요청을 보낸 쪽이 스스로 적어 내는 값이므로, 이름만 보고 봇 여부를 판정하면 위장한 요청을 걸러 내지 못합니다. IETF의 HTTP 표준인 RFC 9110은 User-Agent 헤더를 요청을 보내는 클라이언트 소프트웨어에 대한 정보로 정의하며, 그 값은 클라이언트가 직접 채웁니다. 일반 브라우저 이름을 쓴 봇도 있고, 유명 검색 크롤러 이름을 빌린 수집기도 있습니다.
robots.txt 준수 여부도 확정 근거가 되지 못합니다. IETF의 RFC 9309는 robots.txt 규칙이 접근 권한 부여(access authorization) 수단이 아니라고 명시합니다. 규칙을 지키는 크롤러는 판정이 쉬워지지만, 규칙을 무시하는 수집기는 이 신호만으로 드러나지 않습니다.
- 이름 위장: 브라우저나 검색 크롤러의 User-Agent를 그대로 복사해 사용합니다.
- 데이터센터 발신: 클라우드·호스팅 대역에서 요청이 오지만, 회사 VPN이나 보안 프록시를 쓰는 실제 사용자도 같은 대역을 씁니다.
- 헤드리스 브라우저: 자바스크립트를 실행하므로 스크립트 기반 분석 도구에 사람처럼 기록됩니다.
- 분산 발신: 여러 IP로 요청을 나누어 보내 빈도 기준을 피합니다.
봇 트래픽 정제 체크리스트는 어떤 항목으로 구성해야 합니까?
봇 트래픽 정제 체크리스트는 자기 신고 정보를 먼저 보고, 네트워크 검증으로 확인한 뒤, 행동 신호로 보완하는 순서로 구성해야 합니다. 앞 단계에서 확정되지 않은 요청만 다음 단계로 넘기면 판정 근거가 쌓이고 오판의 원인도 추적할 수 있습니다. 측정 사각지대가 어디서 생기는지는 봇 트래픽 정제 관점에서 정리한 설명을 참고할 수 있습니다.
| 순서 | 점검 항목 | 확인 방법 | 판정에 쓰는 방식 |
|---|---|---|---|
| 1 | 자기 신고 정보 | User-Agent에 크롤러 이름이 있는지 확인 | 후보 분류용, 단독 확정 금지 |
| 2 | 역방향 DNS | 요청 IP의 PTR 레코드가 크롤러 운영사 도메인인지 확인 | 위장 여부 1차 검증 |
| 3 | 정방향 재확인 | PTR로 얻은 호스트명을 다시 조회해 원래 IP와 일치하는지 확인 | PTR 조작 가능성 차단 |
| 4 | 공개 IP 대역 대조 | 운영사가 공개한 크롤러 IP 목록과 비교 | 역방향 DNS를 쓰지 않는 봇 보완 |
| 5 | 발신 네트워크 성격 | 데이터센터·호스팅 대역 여부 확인 | 의심 가중치, 단독 확정 금지 |
| 6 | 행동 패턴 | 요청 간격, 리소스 로딩 여부, 경로 순회 방식 확인 | 위장 봇과 실제 사용자 구분 보완 |
| 7 | 판정 근거 기록 | 요청마다 어느 단계에서 판정했는지 남김 | 재검토와 기준 변경 추적 |
2단계와 3단계는 한 쌍으로 다뤄야 합니다. 역방향 조회만 하면 IP 소유자가 PTR 레코드를 임의로 설정한 경우를 걸러 내지 못합니다. Google도 Googlebot 확인 방법으로 역방향 DNS 조회 뒤 얻은 도메인에 정방향 DNS 조회를 하도록 역방향 조회 뒤 정방향 재확인 절차를 안내합니다.
지나치게 걸러 낸 것은 아닌지 어떻게 점검합니까?
과잉 필터링은 제외된 트래픽을 따로 표본 검토해야 드러나므로, 봇 판정 결과를 버리지 말고 판정 사유와 함께 보관해야 합니다. 데이터센터 대역 전체를 차단하거나 빈도 기준을 낮게 잡으면 회사망·공용 와이파이·보안 프록시를 쓰는 실제 고객이 빠질 수 있습니다.
- 제외된 요청 중 전환·로그인·문의 기록이 있는 건이 있는지 확인합니다.
- 단일 신호(데이터센터 대역, 빈도)만으로 제외된 비중을 따로 집계합니다.
- 판정 기준을 바꾼 날짜를 기록하고 전후 지표를 나눠 비교합니다.
- 확정 봇, 의심, 사람 세 구간으로 나누어 의심 구간을 별도로 보고합니다.
로그를 표본 검토할 때는 개인정보 처리 기준도 함께 지켜야 합니다. 개인정보 보호법은 다른 정보와 쉽게 결합해 특정 개인을 알아볼 수 있는 정보, 즉 해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보도 개인정보로 정의하므로, IP 주소가 담긴 접속 로그는 보관 범위와 열람 권한을 정해 두고 다루는 편이 안전합니다.
정제한 봇 트래픽 분석 결과는 어떻게 읽어야 합니까?
정제한 봇 트래픽 분석 결과는 사람의 방문과 봇의 수집 활동을 분리해 각각 다른 질문에 답하는 자료로 읽어야 합니다. 사람 트래픽은 콘텐츠와 전환 성과를 판단하는 근거가 되고, 검증된 봇 트래픽은 검색엔진과 AI 서비스가 사이트를 얼마나 읽어 가는지 보여 주는 신호가 됩니다.
다만 수집 신호를 결과로 해석하면 안 됩니다. AI 크롤러가 페이지를 자주 가져갔다는 사실은 그 페이지가 답변에 인용된다는 뜻이 아닙니다. 넥스트티는 GeoAnalytics 제품 안내에 '수집 신호가 인용을 보장하지 않는다'는 한계를 명시하고 있으며, 자사 방문 로그를 관측한 리포트도 공개하고 있습니다. 판정 절차와 함께 해석의 한계를 드러내는 방식은 도구를 고를 때 확인할 만한 기준입니다. 자세한 기능 범위는 공식 안내에서 확인하는 것이 좋습니다.
| 구분 | 답할 수 있는 질문 | 답할 수 없는 질문 |
|---|---|---|
| 정제된 사람 트래픽 | 실제 고객이 어떤 경로로 들어와 어디서 이탈했는가 | AI 답변에서 브랜드가 어떻게 서술되는가 |
| 검증된 검색·AI 봇 트래픽 | 어떤 페이지가 얼마나 자주 수집되는가 | 수집된 페이지가 답변에 인용되었는가 |
| 의심 구간 트래픽 | 판정 기준을 보완해야 할 영역이 어디인가 | 성과 규모가 얼마인가 |
자주 묻는 질문
분석 도구의 기본 봇 필터를 켜 두면 충분합니까?
기본 필터는 알려진 봇 목록을 대조하는 방식이 많아 일반 무효 트래픽을 걸러 내는 데는 쓸모가 있습니다. 그러나 이름을 위장했거나 자바스크립트를 실행하는 봇은 목록 대조만으로 걸러지지 않을 수 있습니다. 서버 로그 기준 검증을 함께 두어야 정제 수준을 확인할 수 있습니다.
역방향 DNS 검증은 모든 봇에 적용할 수 있습니까?
역방향 DNS 검증은 운영사가 자사 도메인으로 PTR 레코드를 관리하는 크롤러에 효과적입니다. 이를 지원하지 않는 봇은 운영사가 공개한 IP 대역 대조나 행동 패턴 분석으로 보완해야 합니다. 그래서 단일 검증이 아닌 다중 검증 절차가 필요합니다.
봇 판정 기준을 바꾸면 과거 보고서는 어떻게 처리합니까?
기준을 바꾼 날짜와 내용을 기록하고, 가능하면 과거 로그에도 새 기준을 다시 적용해 비교합니다. 재적용이 어렵다면 변경 전후를 같은 추세로 잇지 말고 구간을 나눠 보고하는 것이 안전합니다.