Selenium1 크롤링/스크래핑 봇 탐지 우회하기 (feat. Selenium & Playwright) 크롤링이나 자동화 테스트를 하다 보면 제일 귀찮은 게 봇 탐지입니다.브라우저로 들어가면 잘 되는데 코드로 들어가면 403 에러가 뜨고 난리가 나죠.대충 "너 로봇인거 들켰다"라는 뜻입니다. 오늘은 파이썬(Selenium)이랑 노드(Playwright)에서 이걸 회피하는 방법을 간단하게 정리해보겠습니다. 0. 봇 탐지 회피의 원리 웹사이트가 우리가 봇인지 아닌지 알아내는 방법은 생각보다 훨씬 치밀합니다.단순히 헤더에서 User-Agent만 바꾼다고 되는 게 아닙니다. - CDP(Chrome DevTools Protocol) 탐지: 자동화 도구가 브라우저를 제어할 때 사용하는 프로토콜의 흔적을 찾아냅니다. (예: Runtime.enable)- navigator.webdriver: 가장 기초적인 탐지 포인트.. 2026. 1. 30. 이전 1 다음
