로봇 썸네일형 리스트형 [Nginx] 웹사이트 크롤링 방지 여러 서비스를 운영하다 보면 정말 많은 크롤러들이 인터넷 망을 샅샅이 뒤지고 다닌다는 것을 체감하게 된다. 예를 들어 사내에서 운영중인 관리 시스템이 구글에서 검색이 될 때 깜짝 놀라게 되는데, 왜 미리 막지 않았을까 후회하면서 글을 적는다. 따로 robots.txt 파일을 루트 디렉토리에 보관할 수도 있지만 우리회사는 보통 nginx를 reverse proxy로 사용하기때문에 설정 파일에 직접 입력한다. nginx.conf server { listen 80; server_name hello.userinsight.co.kr; location /robots.txt { return 200 "User-agent: *\nDisallow: /"; } location / { proxy_pass http://loca.. 이전 1 다음