[Python] 웹 스크래핑 기초 (BeautifulSoup4, CSS Selectors)

728x90

※ SK 쉴더스 루키즈 24기 (클라우드기반 스마트 융합보안 과정) 교육을 들으면서 작성한 내용입니다.

1️⃣ 웹 스크래핑(Web Scraping) 개념

웹 스크래핑은 인터넷에 존재하는 웹페이지에서 데이터를 자동으로 추출하는 과정을 뜻함
주로 HTML 페이지에서 유용한 정보를 추출 및 이를 활용하는데 사용
웹 스크래핑의 과정은 다음과 같음:
1. 웹 페이지 요청: 웹 서버에 HTTP 요청을 보내어 HTML 페이지를 가져옴
2. HTML 분석: 가져온 HTML 페이지에서 데이터를 추출할 수 있도록 HTML 구조를 분석
3. 데이터 추출: 필요한 데이터를 찾고, 그것을 추출
4. 데이터 가공 및 저장: 추출한 데이터를 가공하거나 저장할 수 있는 형태로 변환

🔹1. 웹 크롤링과 웹 스크래핑의 차이점

구분	웹크롤링 (Web Crawling)	웹 스크래핑 (Web Scraping)
📌 정의	웹 페이지들을 자도응로 순회하며 링크를 따라가는 작업	웹 페이지에서 원하는 정보를 추출하는 작업
🧭 핵심 목적	데이터의 탐색/수집 범위 확대	특정 데이터 추출
🛠 주요 역할	웹 사이트 구조 파악 및 페이지 자동 탐색	페이지 내 특정 정보 추출
📄 결과물	URL 목록, 페이지 HTML 전체	구조화된 데이터 (텍스트, 숫자, 표 등)
🕵️‍♂️ 예시	검색 엔진 봇이 웹 페이지 수집	쇼핑몰에서 상품명, 가격만 추출하

🔹2. 웹 스크래핑 기본 프로세스

① HTML 가져오기 (requests)

웹 페이지는 결국 HTML 문서로 구성되어 있기 때문에, 우선 해당 페이지의 HTML 코드를 요청(request)해서 가져와야 함

import requests

url = 'https://example.com'
response = requests.get(url)
html = response.text

``requests.get()`` : 지정한 URL의 HTML 데이터를 요청
``response.text`` : HTML 전체 소스코드 문자열로 저장

BeautifulSoup 객체 생성 (파싱)

가져온 HTML은 단순 문자열이기 때문에, 태그 구조를 이해하고 원하는 요소를 찾기 위한 파싱(Parsing) 작업이 필요

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')

``html.parser`` : HTML 구조를 이해하는 파서(parser)
``soup`` 객체를 통해 HTML 요소들을 탐색할 수 있게 됨

데이터 추출 (find, select, get_text)

이제 ``soup`` 객체를 통해 원하는 요소만 선택하여 데이터를 추출

title = soup.find('h1').get_text()
links = [a['href'] for a in soup.find_all('a')]

``find()``, ``find_all()`` : 태그 탐색
``get_text()`` : 텍스트만 추출
``['href']`` : 속성값 추출

2️⃣ BeautifulSoup4

BeautifulSoup4 = HTML과 XML 문서를 파싱/탐색하고 데이터를 추출할 수 있는 Python 라이브러리
주요 기능:
- HTML 문서의 구조를 파싱하고, 특정 태그나 데이터를 쉽게 찾을 수 있음
- ``find()``, ``find_all``, ``select()`` 등의 메서드를 통해 HTML 요소를 검색하고 추출 가능

🔹1. 라이브러리 설치

pip install beautifulsoup4

🔹2. HTML 문서 파싱

HTML 문서 파싱 → 특정 태그 검색 → 내용 수정

from bs4 import BeautifulSoup

# 간단한 HTML 문서
html_doc = """<html> <head> <title> ... </title> </head> <body>"""

# HTML 문서를 Beautiful Soup 객체로 변환
# html.parser 사용
soup = BeautifulSoup(html_doc, 'html.parser')

# 문서 출력
print(soup.prettify())

🔹3. BeautifulSoup 메서드

find() 메서드 - 하나만 찾기

soup.find('태그명', 속성조건)

역할: 조건에 가장 먼저 일치하는 태그 1개를 반환
반환값: ``Tag`` 객체 또는 ``None``
사용 예시:

soup.find('div', class_='title')

➡️ 해당 조건을 만족하는 첫 번째 ``<div class="title">`` 요소만 반환

활용 상황:
- 페이지 구조가 일관되고, 특정 요소가 하나만 존재할 때
- ex) 뉴스 기사 제목, 대표 이미지 등

find_all() 메서드 - 모두 찾기

soup.find_all('태그명', 속성조건)

역할: 조건에 맞는 모든 태그를 리스트 형태로 반환
반환값: ``ResultSet`` 객체 (리스트처럼 동작)
사용 예시:

soup.find_all('a')

➡️ 페이지 내 모든 ``<a>`` 태그를 찾아 리스트로 반환

활용 상황:
- 반복되는 항목(댓글, 제품 리스트, 링크 목록 등)을 가져올 때
- 조건에 맞는 태그가 여러 개 존재할 경우

get_text() 메서드 - 텍스트만 뽑기

element.get_text(strip=True)

역할: 태그 내부의 텍스트 내용만 추출
반환값: ``str`` (문자열)
사용 예시:

title = soup.find('h1').get_text()

➡️ ``<h1>뉴스 제목입니다</h1> → ``"뉴스 제목입니다"``

활용 상황:
- 태그 안의 글자만 추출하고 싶을 때
- HTML 태그는 필요 없고 순수한 텍스트만 필요한 경우

3️⃣ CSS Selectors

Beautiful Soup 및 Tag 객체는 ``.css`` 속성을 통해 CSS 선택자를 지원

🔹1. CSS Selecotrs 메서드

select() 메서드 - 여러 개 선택

soup.select('CSS 셀렉터')

역할: CSS 셀렉터 조건에 맞는 모든 요소를 찾아 리스트로 반환
반환값: list of Tag
예시:

soup.select('div.post')

➡️ ``<div class="post">`` 요소를 모두 찾아 리스트로 반환

select_one() 메서드 - 하나만 선

soup.select_one('CSS 셀렉터')

역할: CSS 셀렉터 조건에 처음 일치하는 요소 하나만 반환
반환값: Tag 객체 또는 None
예시:

soup.select_one('h1.title')

➡️ 가장 처음 나오는 ``<h1 class="title">`` 태그 하나 반환

728x90

'🧩 Language > Python' 카테고리의 다른 글

파이썬 엑셀 문서 자동화 (OpenPyXL) (0)	2025.01.16
Python 웹 스크래핑 (2) Requests 라이브러리 (0)	2025.01.16
[Python] 파이썬을 활용한 이메일 자동화 방법 (1)	2025.01.16
[Python] 데이터 표현을 위한 정규표현식 정리 (0)	2025.01.15
[Python] 파일 및 디렉터리 제어 (1)	2025.01.14

1️⃣ 웹 스크래핑(Web Scraping) 개념

🔹1. 웹 크롤링과 웹 스크래핑의 차이점

🔹2. 웹 스크래핑 기본 프로세스

2️⃣ BeautifulSoup4

🔹1. 라이브러리 설치

🔹2. HTML 문서 파싱

🔹3. BeautifulSoup 메서드

3️⃣ CSS Selectors

🔹1. CSS Selecotrs 메서드

'🧩 Language > Python' 카테고리의 다른 글

티스토리툴바