TIL(크롤링)

💡크롤링

 

 

의의

 

크롤링은 인터넷에 있는 웹 페이지를 자동으로 탐색하고, 그 페이지의 내용을 수집하는 것으로, 이는 웹페이지의 URL을 따라가며 이루어지고 수집된 데이터는 데이터베이스에 저장되거나 분석하는데 사용된다.

주로 웹에서 정보를 수집하고, 이를 통해 데이터 분석, 검색 엔진 최적화, 시장 조사 등 다양한 분야에서 활용된다.

크롤링 예시

 

- 검색 엔진 크롤링: 구글과 같은 검색 엔진은 웹 크롤러를 사용하여 웹 페이지를 탐색하고, 그 내용을 인덱싱하여 사용자 검색 결과에 반영한다. 이 과정에서 크롤러는 웹 페이지의 텍스트, 이미지, 링크 등을 수집한다.

- 가격 비교 사이트: 여러 온라인 쇼핑몰의 가격 정보를 수집하여 사용자에게 최저가를 제공하는 사이트들도 크롤링 기술을 사용하며, 특정 상품의 가격을 정기적으로 수집하여 업데이트한다.

 

사용방식

 

- HTTP 요청: 크롤러는 웹 서버에 HTTP 요청을 보내고, 응답으로 HTML 문서를 받으며, 이 HTML 문서에서 필요한 정보를 추출하는 과정이 필요하다.

- 데이터 파싱: 수집된 HTML 문서에서 필요한 데이터를 추출하기 위해 파싱(parsing) 기술이 사용되며, 일반적으로 BeautifulSoup와 같은 라이브러리를 사용하여 HTML 구조를 분석하고 필요한 정보를 추출한다.