TL; DR: 우리는 모든 플랫폼에서 가상 환경 내에 scryy를 설치 하는 것이 좋습니다. “스파이더” 디렉토리에 stack_spider 라는 파일을 만듭니다. 이것은 어디에 마법이 발생 합니다-예를 들어, 우리가 어떻게 우리가 찾고 있는 정확한 데이터를 찾을 수 scryy 말해 줄께. 당신이 상상할 수 있듯이, 이것은 당신이 긁어 하고자 하는 각 개별 웹 페이지에 특정입니다. scryy HTML에서 콘텐츠를 추출 하기 위한 두 가지 쉬운 방법을 제공 합니다: 시스템 전체 설치는 가장 쉬운 방법 이지만 다른 라이브러리 버전을 필요로 하는 기타 Python 스크립트와 충돌할 수 있습니다. 경우에만 귀하의 시스템 scryy 전용이 방법을 사용 하십시오: CSS를 게다가, scryy 선택기 XPath 표현식을 사용 하 여 지원: 이것은 만드는 모든 새 요청 사이에 적어도 5 초 기다려야 scryy 알려줍니다. 당신은 본질적으로 자신을 제한 하는 속도. 이 작업을 수행 하지 않으면 stackoverflow가 제한 속도를 합니다. 그리고 당신은 속도 제한을 순례 없이 사이트를 긁어 계속 하는 경우, 귀하의 IP 주소가 금지 될 수 있습니다.
그래서, 좋은-당신이 다쳤어요 모든 사이트를 취급 하는 것 처럼 자신 했다. FILES_STORE 및 IMAGES_STORE는 amazon S3 버킷을 나타낼 수 있습니다. scryy 자동으로 양동이에 파일을 업로드 합니다. 같은 비 파이썬 의존성은 데비안 제시 (8.0) 이상에서 scrady를 설치 하는 데 사용할 수 있습니다. 이 앵커 요소를 가져옵니다 있지만 href 특성을 원합니다. 그것을 위해, scrider CSS 확장을 지 원하는 당신이 속성 내용을 선택 하자, 이런식으로: 거미는 대기열에 재귀적으로 링크를 트래버스 합니다. 다운로드 한 페이지를 구문 분석할 때 새 페이지를 연결 하는 것과 같이 이전에 구문 분석 된 페이지에 대 한 정보는 없습니다. parse 메서드에 더 많은 정보를 전달 하기 위해, scryy는 요청에 일부 키/값 쌍을 연결 하는 요청. meta () 메서드를 제공 합니다. parse () 메서드의 응답 개체에서 사용할 수 있습니다. 새 scryy 프로젝트로 이동 하 여 거미를 만듭니다. 이 가이드는 스크 래핑 http://www.example.com 시작 URL을 사용 합니다.
당신이 긁어 원하는 웹 사이트에 그것을 조정 합니다. 이 자습서에서는 scryy가 시스템에 이미 설치 되어 있다고 가정 합니다. 그렇지 않은 경우 설치 설명서를 참조 하십시오. 그것을 설정 도움이 필요 하십니까? 몇 가지 플랫폼 (리눅스, 윈도우, 맥 OS X 등)에 설치 하는 방법에 대 한 요구 사항 및 정보 scryy 설치 가이드를 확인 하십시오. scrunder 특정 항목에 첨부 된 파일을 다운로드에 대 한 재사용 가능한 항목 파이프라인을 제공 합니다 (예를 들어, 제품을 긁어 때 또한 로컬에서 자신의 이미지를 다운로드 하려는).