• 데이터 수집 시, 웹 사이트에서 크롤러의 접근을 제어하기 위한 표준으로, 사이트의 루트 디렉토리에 위치하는 robots.txt을 확인해야 한다.
• robots.txt
  • User-agent: 적용 대상 크롤러 지정 (*는 모든 크롤러)
  • Disallow: 크롤링을 금지할 경로 지정
  • Allow: 크롤링을 허용할 경로 지정

# robots.txt 다운로드
<https://www.naver.com/robots.txt>

# robots.txt
User-agent: *
Disallow: /
Allow : /$
Allow : /.well-known/privacy-sandbox-attestations.json

=> 해석 
 - 모든 크롤러는 사이트의 모든 페이지 접근 금지.
 - 단, **홈페이지(/)**와 특정 JSON 파일은 접근 가능.

라이브러리

Requests

BeautifulSoup

Selenium

라이브러리 차이점