웹 크롤링으로 SEO 데이터 수집하는 실무자 노하우 완전 공개

작년 12월쯤이었나… 클라이언트가 "경쟁사 분석을 위해 데이터를 수집해달라"고 하더군요. 손으로 하나씩 체크하기엔 너무 많은 사이트들이었어요. 그때부터 본격적으로 웹 크롤링을 공부하기 시작했는데, 생각보다 복잡하면서도 재미있더라고요.

지금은 SEO 업무에 크롤링을 거의 매일 쓰고 있어서, 실무에서 정말 도움되는 내용들을 정리해봤습니다.

웹 크롤링은… 음, 쉽게 말하면 인터넷을 자동으로 돌아다니면서 정보를 긁어오는 거예요.

검색엔진이 웹사이트들을 인덱싱할 때 쓰는 방식이기도 하고요. 구글봇이 우리 사이트에 와서 데이터를 가져가는 것도 크롤링의 한 종류죠.

• 여러 페이지를 자동으로 돌아다니면서 데이터 수집
• 링크를 타고타고 이동하면서 정보를 모음
• 검색엔진이 하는 방식

• 특정 페이지에서 원하는 데이터만 쏙쏙 뽑아내기
• 가격비교사이트가 상품 가격만 가져오는 것처럼

실무에서는 두 개를 섞어서 쓰는 경우가 대부분이에요.

크롤링 과정을 단계별로 나누면 이렇습니다:

1. 시작점 설정 - 어디서부터 시작할지 정하기

2. 페이지 요청 - HTTP로 페이지 내용 가져오기

3. 데이터 파싱 - HTML에서 필요한 정보만 추출

4. 링크 찾기 - 다음에 갈 페이지들 수집

5. 반복 - 계속 돌면서 데이터 모으기

단순해 보이지만… 실제로는 예외 처리나 속도 조절 같은 게 생각보다 까다로워요.

• HTML 파싱용으로 가장 많이 씀
• 문법이 직관적이라 배우기 쉬워요
• 다만 속도는… 음, 그럭저럭?

• 대용량 크롤링할 때 진짜 좋음
• 설정만 잘하면 엄청 빨라요
• 근데 처음엔 좀 복잡할 수 있어요

• 자바스크립트 많은 사이트에선 이거 써야 함
• 브라우저를 실제로 띄워서 작동
• 느리긴 한데 동적 페이지엔 필수

• SEO 하는 사람들은 다 아는 그 도구
• 무료로 500개 URL까지 크롤링 가능
• 유료버전은 좀 비싸긴 한데… 그만한 값어치는 해요

• 드래그 앤 드롭으로 크롤링 설정
• 비개발자들이 쓰기 좋음
• 클라우드에서 돌릴 수도 있어서 편해요

지난주에 클라이언트 사이트 분석할 때 썼던 코드를 조금 수정해서 보여드릴게요.

import requests
from bs4 import BeautifulSoup
import time
from urllib.parse import urljoin

def simple_crawl(start_url, max_pages=50):
    """간단한 크롤링 함수"""
    visited = set()
    to_visit = [start_url]
    results = []
    
    while to_visit and len(visited) < max_pages:
        current_url = to_visit.pop(0)
        
        if current_url in visited:
            continue
            
        try:
            # 요청 보내기 (너무 빨리 요청하면 차단당할 수 있어서 딜레이 추가)
            time.sleep(1)
            response = requests.get(current_url, timeout=10)
            
            if response.status_code != 200:
                continue
                
            soup = BeautifulSoup(response.text, html.parser)
            
            # 페이지 정보 수집
            title = soup.title.string if soup.title else "제목 없음"
            meta_desc = ""
            if soup.find(meta, attrs={name: description}):
                meta_desc = soup.find(meta, attrs={name: description})[content]
            
            results.append({
                url: current_url,
                title: title.strip(),
                meta_description: meta_desc.strip(),
                status_code: response.status_code
            })
            
            # 새로운 링크 찾기
            for link in soup.find_all(a, href=True):
                next_url = urljoin(current_url, link[href])
                if next_url.startswith(start_url) and next_url not in visited:
                    to_visit.append(next_url)
            
            visited.add(current_url)
            print(f"크롤링 완료: {current_url}")
            
        except Exception as e:
            print(f"오류 발생 ({current_url}): {e}")
            continue
    
    return results

# 사용 예시
results = simple_crawl("https://example.com")
for result in results:
    print(f"제목: {result[title][:50]}...")

이 코드는 실제로 돌려보면서 여러 번 수정한 거라 실무에서도 쓸 만해요.

코딩이 부담스럽다면 Screaming Frog를 추천해요. 설치하고 URL만 넣으면 끝이거든요.

1. 공식 사이트에서 다운로드 (무료버전으로도 충분함)

2. URL 입력창에 사이트 주소 넣기

3. Start 버튼 클릭

4. 커피 한잔 마시고 오면 분석 완료

• 모든 페이지 URL과 상태코드
• 제목태그, 메타설명 분석
• 이미지 ALT 태그 체크
• 내부/외부 링크 구조
• H1, H2 태그 사용 현황

특히 404 에러 페이지나 리다이렉션 체크할 때 정말 편해요.

웹사이트마다 "이 부분은 크롤링하지 말아달라"고 명시해놓은 파일이 있어요. example.com/robots.txt 이런 식으로 들어가보면 볼 수 있습니다.

무시하고 크롤링하면 법적 문제가 생길 수 있어요.

초당 수십 번씩 요청하면 사이트 서버에 부담을 줄 뿐더러, IP 차단당할 가능성이 높아요. 저는 보통 1-2초 간격으로 설정해둡니다.

이메일, 전화번호, 주소 같은 개인정보를 크롤링해서 저장하면 개인정보보호법 위반이에요. 특히 요즘은 더 엄격해졌으니까 조심하세요.

각 사이트마다 크롤링에 대한 정책이 다를 수 있어요. 큰 포털사이트들은 대부분 상업적 목적의 크롤링을 금지하고 있습니다.

웹 크롤링은 SEO 분석이나 시장조사에 정말 유용한 도구예요. 하지만 기술적인 부분보다 윤리적, 법적 측면을 더 신경써야 한다는 게 제 생각입니다.

처음 시작한다면 Screaming Frog 같은 GUI 도구부터 써보시고, 더 복잡한 작업이 필요할 때 Python을 배워보시는 걸 추천해요.

아 참, 그리고 크롤링한 데이터는 주기적으로 업데이트해야 해요. 웹사이트들이 계속 바뀌니까요. 저는 보통 월 1회 정도는 다시 돌리는 편입니다.

*혹시 크롤링 관련해서 궁금한 게 있으시면 언제든 문의해주세요. 실무에서 겪은 경험들을 바탕으로 도움드릴 수 있을 것 같아요.*