안녕하세요. 민뀨 입니다.
최근 제가 경험한 내용들 정리해서 올려봅니다.
제가 운영하는 사이트에 갑자기 접속이 느려지고 CPU 사용량이 올라가는 현상이 발생해서 처음에는 단순한 트래픽 증가라고 생각했어요.
하지만 로그를 자세히 확인해 보니 정상적인 방문자가 아니라 비정상적인 봇이 엄청나게 접속하고 있었어요.
결국 클라우드웨이즈 상담원에게 문의했고, 상담 결과 DDoS 공격이나 과도한 봇 크롤링이 의심된다는 답변을 받았어요.
이번 일을 직접 해결하면서 느낀 점과 실제 적용했던 방법들을 공유해 보려고 해요.
혹시 사이트가 갑자기 느려졌거나 서버 사용량이 비정상적으로 높아졌다면 이 글이 도움이 될 수 있어요.
갑자기 사이트가 느려진 이유는
처음에는 검색 유입이 늘어난 줄 알았어요.
하지만 서버 상태를 확인해 보니 정상적인 방문자보다 자동화된 봇 접속이 훨씬 많았어요.
특히 AI 데이터 수집을 위한 크롤러와 해외에서 들어오는 정체를 알 수 없는 봇들이 계속 접속하고 있었어요.
Cloudways 상담원도 로그를 확인한 뒤 DDoS 공격 또는 과도한 봇 요청이 의심된다고 안내해 줬어요.
물론 모든 봇이 나쁜 것은 아니에요.
구글이나 네이버처럼 검색 결과를 위해 방문하는 검색 엔진 봇은 꼭 필요해요.
문제는 사이트에 도움이 되지 않는 수많은 자동화 봇들이 서버 자원을 계속 사용하고 있었다는 점이었어요.
가장 먼저 클라우드플레어를 적용
상담을 마친 뒤 가장 먼저 진행한 작업은 Cloudflare를 사이트 앞단에 적용하는 것이었어요.
DNS를 Cloudflare로 변경한 뒤 모든 트래픽이 먼저 Cloudflare를 거치도록 설정했어요.
이렇게 설정하면 실제 서버까지 도달하기 전에 다양한 보안 기능을 사용할 수 있어요.
Cloudflare에서는 WAF와 봇 관리 기능을 이용해 비정상적인 요청을 먼저 걸러낼 수 있어요.
또한 정상적인 검색 엔진 봇은 허용하고 의심스러운 봇은 차단하는 설정도 가능했어요.
클라우드웨이즈 상담원이 추가로 도와준 부분
Cloudways 상담원은 서버 로그를 함께 확인해 주면서 불필요한 봇들을 추가로 차단해 줬어요.
특히 Bing 계열 일부 크롤러와 과도하게 접근하는 AI 데이터 수집 봇들이 서버에 부담을 주고 있다는 점을 확인했어요.
필요한 검색 엔진 봇은 유지하고, 불필요한 자동화 요청은 최대한 줄이는 방향으로 설정을 변경했어요.
그 이후부터 CPU 사용량이 눈에 띄게 줄어들었고 사이트 응답 속도도 상당히 좋아졌어요.
페이지를 열어보는 체감 속도도 이전보다 훨씬 안정적으로 변했어요.
Cloudflare 보안 규칙 적용
Cloudflare를 사용하면서 가장 효과를 크게 본 기능은 보안 규칙(Security Rules)이었어요.
무료 요금제에서도 최대 5개의 사용자 지정 규칙을 만들 수 있어서 사이트 환경에 맞게 직접 설정했어요.
저는 검색 유입에 꼭 필요한 구글봇과 네이버 검색봇처럼 정상적인 검색 엔진은 그대로 접속할 수 있도록 허용했어요.
반대로 사이트 운영에 도움이 되지 않는 국가에서 반복적으로 들어오는 요청이나 과도하게 크롤링을 시도하는 일부 봇들은 차단하도록 규칙을 만들었어요.
또한 특정 조건에 해당하는 요청은 Managed Challenge를 적용해서 실제 사용자만 통과할 수 있도록 설정했어요.
이렇게 규칙을 하나씩 추가하면서 서버 로그를 꾸준히 확인해 보니 불필요한 접속이 눈에 띄게 줄어들었어요.
CPU 사용량도 이전보다 안정적으로 유지됐고, 페이지 응답 속도 역시 한결 빨라졌어요.
무조건 모든 봇을 차단하는 것이 좋은 방법은 아니라고 생각해요.
검색 엔진에 필요한 봇은 허용하고, 사이트에 부담만 주는 비정상적인 접속만 선별해서 제한하는 것이 훨씬 효과적이었어요.
직접 운영해 보니 Cloudflare의 보안 규칙은 단순한 방화벽 기능이 아니라 서버 자원을 효율적으로 관리할 수 있는 중요한 기능이라는 것을 체감할 수 있었어요.
마지막으로 Under Attack Mode를 적용
그래도 일부 요청은 계속 들어왔어요.
그래서 Cloudflare의 Under Attack Mode를 활성화했어요.
이 기능을 적용하면 사이트에 처음 접속하는 방문자는 잠시 브라우저 검증 과정을 거치게 돼요.
사람이라면 몇 초 안에 자동으로 통과하지만 대부분의 자동화 봇은 이 단계에서 차단돼요.
물론 단점도 있어요.
처음 방문하는 사용자는 몇 초 정도 기다려야 하기 때문에 약간의 불편함은 생길 수 있어요.
하지만 사이트 안정성을 생각하면 충분히 감수할 만한 수준이라고 느꼈어요.
실제로 적용한 이후에는 이상한 접속이 크게 줄어들었고 서버도 훨씬 안정적으로 운영되고 있어요.
Cloudflare 적용 방법은 생각보다 어렵지 않다
Cloudflare 홈페이지에서 회원가입을 한 뒤 자신의 도메인을 추가하면 돼요.
그다음 안내되는 네임서버로 변경하면 대부분의 설정이 자동으로 완료돼요.
설정이 완료되면 Security 메뉴에서 Bot Fight Mode 또는 Super Bot Fight Mode를 활성화하면 기본적인 봇 차단 기능을 사용할 수 있어요.
추가로 WAF 규칙을 적용하면 국가별 차단이나 특정 패턴의 요청도 제한할 수 있어요.
사이트 운영 중이라면 캐시 기능도 함께 활성화하면 서버 부하를 줄이는 데 도움이 돼요.
필요한 경우 Security 메뉴에서 Under Attack Mode를 켜면 의심스러운 접속에 대한 보호 수준을 더욱 높일 수 있어요.
운영하면서 꼭 느낀 점
예전에는 robots.txt만 잘 관리하면 충분하다고 생각했어요.
하지만 최근에는 AI 크롤러와 자동화 봇이 크게 늘어나면서 그것만으로는 부족하다는 것을 직접 경험했어요.
특히 콘텐츠가 많거나 워드프레스 사이트를 여러 개 운영한다면 서버 앞단에서 트래픽을 걸러주는 시스템은 거의 필수라고 생각해요.
Cloudflare를 적용한 뒤에는 불필요한 접속이 크게 줄었고 서버 리소스도 안정적으로 유지되고 있어요.
저처럼 Cloudways를 사용하는 분이라면 문제가 발생했을 때 혼자 해결하려고 하기보다 상담원을 통해 서버 로그를 먼저 확인해 보는 것도 추천드려요.
원인을 정확하게 확인한 뒤 Cloudflare 보안 설정까지 함께 적용하면 대부분의 비정상적인 트래픽은 상당 부분 줄일 수 있었어요.
사이트를 운영하다 보면 콘텐츠 작성도 중요하지만 서버를 안전하게 보호하는 것도 그만큼 중요하다는 것을 이번 일을 통해 다시 한번 느끼게 됐어요.
혹시 최근 사이트가 갑자기 느려졌거나 CPU 사용량이 비정상적으로 증가했다면 한 번쯤 로그를 확인해 보고 Cloudflare 보안 기능도 함께 적용해 보시길 추천드려요. 도움이 됐다면 주변에서 사이트를 운영하는 분들에게도 공유해 보세요.