Scrapy 웹 크롤링 02 - Spider, Scrapy selectors, Items

Spider

• Spider의 종류 (참고로, 아래 3가지 종류의 Spider는 잘 사용되지 않는다.)
  • CrawlSpider
  • XMLFeedSpider
  • CSVFeedSpider
  • SitemapSpider

# 여러사이트를 크롤링하기 위한 spider를 생성
scrapy genspider many_site hub.scraping.com

여러사이트를 크롤링하기 위한 새로운 spider 생성

• spider 폴더의 many_site.py파일에서 코드를 작성하기에 앞서 settings.py에서 naver와 daum은 robots.txt에서 크롤링을 불허하기에 다음과 같은 수정작업을 해주어야 크롤링이 가능하다.

daum과 naver를 크롤링하기 위한 setting.py 수정

• 아래의 코드처럼 여러 도메인을 크롤링할 수 있는 방법은 크게 3가지 정도가 있다.

여러 사이트 크롤링 방법

• 다음과 같이 1번째 방법을 사용해서 로깅 및 분기처리로 여러 사이트를 크롤링할 수 있게끔 코드를 수정해 주었다.
  여러 사이트 크롤링 방법 1

Selector

xpath selector 도움 사이트

• https://docs.scrapy.org/en/latest/topics/selectors.html#working-with-xpath
• www.nextree.co.kr/p6278

css selector 도움 사이트

• https://docs.scrapy.org/en/latest/topics/selectors.html#extension-to-css-selectors

crawling시 활용 tip

• 타겟 데이터는 크롬 개발자 도구 사용
• 선택자 연습 팁 : scrapy shell 에서 테스트(효율성)

• scrapy shell 도메인

• 중요(완전 동치는 아니다!)

  • get() == extract_first()
  • getall() == extract()

CSS 선택자

• div#chan div : (자손) chan이라는 class속성값으로 갖는 div tag의 아래에 존재하는 모든 div
• div#chan > div : (자식) chan이라는 class속성값으로 갖는 div tag의 직계자식 div들
• ::text -> 노드의 텍스트만 추출
• ::attr(name) -> 노드 속성값 추출

• get(default=’’) : get으로 추출할 때 해당사항이 없다면 공백으로 출력

• 예시)

  • response.css(‘title::text’).get() : title tag의 텍스트만 추출
  • response.css(‘div > a::attr(href)’).getall() : div tag의 자식 a tag의 href속성값 전부 추출

Xpath 선택자

• nodename : 이름이 nodename 선택
• text() -> 노드 텍스트만 추출
• / : 루트부터 시작
• // : 현재 node 부터 문서상의 모든 노드 조회
• . : 현재 node
• .. : 현재 node의 부모노드
• @ : 속성 선택자
• 예시)
  • response.xpath(‘/div’) : 루트노드부터 모든 div tag 선택
  • response.xpath(‘//div[@id=”id”]/a/text()’).get() : div tag 중 id가 ‘id’인 자식 a tag의 텍스트 하나만 추출

혼합 사용 가능!!

• response.css(‘img’).xpath(‘@src’).getall()

실습) w3school(웹에 관한 정보들이 있는 사이트)

• 실습 목표 : nav 메뉴 이름 크롤링 실습
• 과정 : shell 실행 -> 선택자 확인 -> 코딩 -> 데이터 저장(프로그램 테스트)

실습을 위한 spider 코드

Items

• 구조적으로 데이터를 크롤링할 수 있게 해주는 역할을 한다. 예를 들면 내가 크롤링할 데이터를 정확하게 구분(신문기사의 이름, 본문, 이미지 이렇게 구조적으로 구분)하게 구조적으로 규칙을 정하고 그 규칙들을 Items라는 파일안에 작성하여 나중에 Items를 return하면 명확하게 구분된 우리가 원하는 여러가지 형식으로 저장할 수 있다. spider는 직접 크롤링을 하는 역할, Items는 크롤링 될 타겟 데이터를 명확히 해주는 역할이라고 생각하면 될 것이다.

Scrapy Item

장점

• 1) 수집 데이터를 일관성있게 관리 가능
• 2) 데이터를 사전형(Dict)로 관리, 오타 방지

• 3) 추후 가공 및 DB 저장 용이

• Items를 사용한 scrapy는 새로운 사이트를 크롤링할 것이므로 새로운 spider를 만들어준다.

scrapy genspider using_items itnews.com

using_items spider 생성

• items.py 파일에서 우리의 타켓 데이터를 정의해준다.

items.py 파일에 데이터 정의

• items.py를 활용하기 위해 import를 할 경우 다음과 같이 절대경로를 사용한 path 추가 방법을 사용해야한다. 다음과 같이 items의 ItArticle class를 활용하여 spider를 좀 더 깔끔하게 작성할 수 있다.

using_items.py spider 작성