인생은 속도가 아니라 방향이다

크롤링 이란 무엇일까? 구글에 검색해보면 , 웹 스크래핑, 웹스파이더링, 웹크롤링이라고 불리는 이 기술은 웹페이지에 널려져있는 데이터들을 프로그래밍적으로 추출하는 행위를 말한다. 쉽게 이해하자면 웹페이지상에서 데이터를 긁어와서 가져오는 것이다. 아래 그림을 보면 확실하게 이해가 된다. 크롤링의 원리 먼저 크롤링의 원리를 이해하기위해 간단히 웹페이지의 구성을 살펴보겠습니다. 웹페이지는 총 3가지로 이루어져있습니다. 간단히 설명을 하자면 구조를 잡는 HTML , 디자인을하는 CSS, 사용자와 동적으로 상호작용하는 Javacript 입니다. 크롬 브라우저를 쓰신다면 어느 웹페이지를 들어가시더라도 F12를 누르시면 아래 처럼 개발자모드가 켜지면서 이 세가지를 확인하실수 있습니다. 이렇게 표시되는 HTML들을 참..