**크롤링(crawling)**이란 웹 상에 존재하는 데이터를 자동적으로 탐색하는 행위를 의미합니다.
크롤링 데이터는 크게 두 종류로 나뉘게 되는데 정적 데이터와 동적 데이터가 있습니다.
정적 데이터는 변하지 않는 데이터로, 한 페이지 안에서 원하는 정보가 모드 드러나게 됩니다. 로또 번호의 경우 한 페이지에서 7개의 번호를 모두 확인할 수 있으므로 정적 데이터에 해당합니다.
동적 데이터는 입력, 클릭, 로그인 등과 같이 페이지 이동이 있어야 보이는 데이터를 의미합니다. 정적 크롤링에 비해 속도는 느리지만 더 많은 정보를 수집할 수 있습니다.
JAVA의 크롤링 라이브러리는 JSoup과 Selinium이 있습니다.
Jsoup은 정적 데이터를 크롤링할 때 주로 사용합니다.
HTTP Request를 통해 웹서버에 직접 요청하기 때문에 빠른 응답을 받을 수 있지만 동적 데이터 수집 시 해당 서버의 인증키 요구 등 크롤링이 불가능한 경우가 많습니다.