목록파이썬 웹크롤링 (2)

인생은 속도가 아니라 방향이다

[Python] 파이썬에서 자주쓰는 웹크롤링 이란 ? 쉽게 이해해보자

크롤링 이란 무엇일까? 구글에 검색해보면 , 웹 스크래핑, 웹스파이더링, 웹크롤링이라고 불리는 이 기술은 웹페이지에 널려져있는 데이터들을 프로그래밍적으로 추출하는 행위를 말한다. 쉽게 이해하자면 웹페이지상에서 데이터를 긁어와서 가져오는 것이다. 아래 그림을 보면 확실하게 이해가 된다. 크롤링의 원리 먼저 크롤링의 원리를 이해하기위해 간단히 웹페이지의 구성을 살펴보겠습니다. 웹페이지는 총 3가지로 이루어져있습니다. 간단히 설명을 하자면 구조를 잡는 HTML , 디자인을하는 CSS, 사용자와 동적으로 상호작용하는 Javacript 입니다. 크롬 브라우저를 쓰신다면 어느 웹페이지를 들어가시더라도 F12를 누르시면 아래 처럼 개발자모드가 켜지면서 이 세가지를 확인하실수 있습니다. 이렇게 표시되는 HTML들을 참..
백엔드(Back-end)/Python 2021. 3. 5. 09:19
[Python] 개발자를 확인할 수 없기 때문에 'chromedriver'을(를) 열 수 없습니다. 단번에 해결하기! (파이썬 웹크롤링 selenium 오류)

파이썬 초보인 나는 selenium 에서 webdriver로 명령을 보낼때 크롬을 제어하게 도와주는 chromedriver.exe 파일을 프로젝트안에 넣은뒤 실행시켰더니 띠용?! 해결해보자! 원인 BigSur OS 베타버전 업데이트 해결방법 1. chrome 버전에 맞는 chromedriver.exe 파일을 다운로드 한다. chrome 버전확인하는 방법 , 먼저 크롬을 키고 주소창에 chrome://version 을 입력한다. 그 다음 아래 링크로 들어가 , 해당 크롬 버전에 맞는 chromedriver를 다운로드한다. chromedriver.chromium.org/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome..
백엔드(Back-end)/Python 2021. 3. 2. 22:04
Prev 1 Next