카테고리 없음
https://velog.io/@yunhuiii/TIL-%ED%81%AC%EB%A1%A4%EB%A7%81-robots.txt-%EC%82%AC%EC%9D%B4%ED%8A%B8-%ED%81%AC%EB%A1%A4%EB%A7%81-%EC%A0%95%EC%B1%85
TIL | 크롤링 / robots.txt / 사이트 크롤링 정책
웹은 매일 같이 많은 정보들이 쏟아지고 있기 때문에 누군가가 검색해서 찾아볼 수 있도록 저장하고 관리할 수 있도록 하는 게 크롤링이고 소프트웨어로 만든게 크롤러다 ex) google - 웹 페이지를
velog.io