파이썬으로 웹에서 데이터를 자동으로 수집하려는 사람이라면 누구나 한 번쯤 BeautifulSoup과 Selenium이라는 이름을 마주치게 됩니다. 둘 다 "웹 크롤링" 튜토리얼에 자주 등장하지만, 사실 이 둘은 경쟁 관계가 아니라 서로 다른 층위에서 동작하는 도구입니다. 이 글에서는 두 라이브러리의 기본 개념부터 실무에서의 장단점, 그리고 어떤 상황에 어떤 도구를 골라야 하는지까지 정리해 보겠습니다.
1. 기본/개요
BeautifulSoup(bs4)은 HTML이나 XML 문서를 파싱해 원하는 데이터를 쉽게 찾아낼 수 있게 해주는 파이썬 라이브러리입니다. 문서를 트리 구조로 만들어주기 때문에 태그, 클래스, 속성 등을 기준으로 원하는 요소를 탐색할 수 있습니다. 다만 BeautifulSoup 자체는 웹 페이지에 접속하는 기능이 없기 때문에, 보통 requests나 urllib 같은 HTTP 클라이언트와 함께 사용해 HTML 문서를 먼저 내려받은 뒤 파싱하는 방식으로 활용됩니다.
반면 Selenium은 원래 웹 애플리케이션 테스트 자동화를 위해 만들어진 브라우저 자동화 프레임워크입니다. 실제 크롬, 파이어폭스 같은 브라우저를 코드로 직접 구동해 클릭, 텍스트 입력, 스크롤 같은 사람의 조작을 그대로 재현할 수 있습니다. 브라우저가 자바스크립트를 실행하고 페이지를 완전히 렌더링한 뒤의 결과물(DOM)에 접근할 수 있다는 점이 핵심 특징입니다.
정리하면, 서버가 응답으로 보내주는 HTML 안에 원하는 데이터가 이미 들어 있는 정적인 페이지라면 requests와 BeautifulSoup 조합만으로 충분하고, 자바스크립트가 데이터를 나중에 그려 넣는 동적인 페이지라면 Selenium으로 먼저 페이지를 로딩시킨 뒤 필요하면 그 결과물을 BeautifulSoup에 넘겨 파싱하는 방식이 흔히 쓰입니다.
2. 기능/스펙
BeautifulSoup의 주요 기능은 다음과 같습니다.
- html.parser, lxml, html5lib 등 여러 파서를 선택적으로 사용할 수 있어, 속도와 오류 허용도 사이에서 균형을 잡을 수 있습니다.
- find, find_all, select 같은 메서드로 태그명, 클래스, id, CSS 선택자 기준의 탐색이 가능합니다.
- 파싱 대상이 이미 문자열로 존재하는 HTML이기 때문에 브라우저를 띄우지 않아 자원 소모가 적고 처리 속도가 빠른 편입니다.
Selenium의 주요 기능은 다음과 같습니다.
- WebDriver API를 통해 브라우저를 직접 제어하며, find_element / find_elements 계열 메서드로 요소를 찾고 클릭·입력 등의 동작을 수행합니다.
- 명시적 대기(Explicit Wait), 암묵적 대기(Implicit Wait) 기능으로 자바스크립트 렌더링이 끝날 때까지 기다렸다가 데이터를 추출할 수 있습니다.
- Selenium Grid를 이용하면 여러 대의 브라우저 인스턴스를 분산 실행할 수 있고, headless 모드로 화면 없이 서버에서 구동하는 것도 가능합니다.
- Python, Java, JavaScript, C#, Ruby 등 다양한 언어를 지원합니다.
실무에서 자주 쓰이는 조합은 "Selenium으로 페이지를 로딩하고 필요한 상호작용을 수행한 뒤, driver.page_source로 렌더링된 HTML을 가져와 BeautifulSoup으로 파싱하는" 하이브리드 방식입니다. 이렇게 하면 Selenium의 자바스크립트 처리 능력과 BeautifulSoup의 간결한 탐색 API를 동시에 활용할 수 있습니다.
3. 장단점
BeautifulSoup 장점
- 설치와 사용법이 간단해 입문자도 빠르게 익힐 수 있습니다.
- 브라우저를 구동하지 않으므로 속도가 빠르고 서버 자원을 적게 씁니다.
BeautifulSoup 단점
- 자바스크립트로 렌더링되는 콘텐츠는 애초에 받아올 수 없습니다.
- 파싱 전용 도구라 로그인, 클릭 같은 상호작용은 스스로 처리하지 못합니다.
Selenium 장점
- 동적 웹페이지, 로그인이 필요한 사이트, 버튼 클릭 후에야 나타나는 데이터도 수집할 수 있습니다.
- 사람이 브라우저를 쓰는 것과 동일한 방식으로 동작하기 때문에 디버깅 시 눈으로 확인하기 쉽습니다.
Selenium 단점
- 실제 브라우저를 띄우기 때문에 속도가 느리고 메모리 소모가 상당히 큽니다.
- 드라이버 버전과 브라우저 버전을 맞춰야 하는 등 초기 설정이 다소 번거로울 수 있습니다(다만 최근 버전은 이 과정을 자동화하는 기능이 추가되었습니다).
개인적으로 정리해 보면, 이 둘의 비교는 "누가 더 우월한가"의 문제가 아니라 "레이어가 다른 도구"라는 인식이 더 정확하다고 생각합니다. BeautifulSoup은 파싱 계층, Selenium은 브라우저 자동화 계층을 담당합니다. 초보자용 콘텐츠 상당수가 두 도구를 대립 구도로 설명하는 경향이 있는데, 이는 실제 업무 흐름과는 다소 거리가 있는 설명 방식이라고 봅니다. 또한 최근에는 Selenium 대신 Playwright를 선택하는 사례도 늘고 있어, 동적 크롤링 도구를 고를 때 Selenium만이 유일한 선택지는 아니라는 점도 함께 고려할 만합니다.
4. 추천대상
- 뉴스 기사, 가격 정보, 게시판 글처럼 정적인 HTML 안에 데이터가 그대로 노출되는 사이트를 다루는 사람이라면 requests와 BeautifulSoup 조합을 우선 추천합니다.
- 로그인이 필요하거나, 무한 스크롤·버튼 클릭으로 콘텐츠가 추가로 로딩되는 사이트, 혹은 UI 테스트 자동화가 목적이라면 Selenium이 적합합니다.
- 대규모 크롤링 파이프라인을 구축해야 한다면 두 도구 외에 Scrapy 같은 전용 프레임워크도 함께 검토해 볼 가치가 있습니다.
5. FAQ
Q. BeautifulSoup만으로 동적 페이지를 크롤링할 수 없나요?
A. 원칙적으로는 어렵습니다. BeautifulSoup은 이미 받아온 HTML 문자열을 파싱할 뿐, 자바스크립트를 실행하지 않기 때문입니다. 다만 페이지가 내부적으로 API를 호출해 JSON 데이터를 받아오는 구조라면, 그 API를 직접 requests로 호출해 우회하는 방법도 있습니다.
Q. Selenium이 항상 더 안전한 선택 아닌가요?
A. 그렇지는 않습니다. 정적 페이지에 Selenium을 쓰면 불필요하게 느리고 자원을 많이 소모하게 되므로, 페이지 특성에 맞춰 도구를 고르는 것이 합리적입니다.
Q. 두 라이브러리를 함께 쓰는 것이 일반적인가요?
A. 예, 실무에서 흔히 쓰이는 패턴입니다. Selenium으로 페이지 렌더링과 상호작용을 처리하고, 추출은 BeautifulSoup의 탐색 API로 처리하는 방식이 널리 사용됩니다.
Q. 크롤링 시 법적, 윤리적으로 주의할 점은 없나요?
A. 대상 사이트의 robots.txt와 이용약관을 확인하고, 서버에 과도한 부하를 주지 않도록 요청 간격을 조절하는 것이 좋습니다. 이 부분은 사이트별로 정책이 다르므로 일괄적으로 답할 수 있는 사안은 아니며, 개별적으로 확인이 필요합니다.
6. 출처
- ZenRows, "Selenium vs. BeautifulSoup in 2026: Which Is Better?"
- BrowserStack, "BeautifulSoup vs. Selenium: A Detailed Comparison for Web Scraping and Automation"
- ByteTunnels, "BeautifulSoup vs Selenium: Choosing the Right Python Scraping Tool"
- tali.kr, "바이브코딩 브라우저 자동화 도구 셀레니움"