구글 유입 급격한 감소가 생기는 원인에 대한 경험담

구글에서 유입이 잘 되다가 갑자기 급격하게 감소하는 일이 있었습니다. 원인을 찾기 위해 많은 자료를 찾아보고 시도하고 있습니다. 이 현상에 대하여 제 경험기를 작성하오니 동일한 현상으로 고민하는 분께 도움이 되길 바랍니다.

 

목차
1. 구글 유입 급감 현상
2. 해결 시도
   - html 복구
   - rss, sitemap.xml 다시 제출
   - 크롤링 상태 확인하기
3. 결론

 

1. 구글 유입 급감 

하루평균 클릭수 400건을 기록하던 구글에서의 유입이 단 2일 만에 0으로 떨어졌습니다. 급하게 구글 서치 콘솔에서 확인하니 아래 그래프 같이 곤두박질을 쳤습니다. 

구글 유입 클릭수 400 -> 0로 급감

 

클릭수가 감소한 것은 아예 구글 검색에서 노출이 0에 근접하게 곤두박질을 쳤기 때문이었습니다. 하루 노출 4000건 정도가 발생하고 있었는데 노출이 갑자기 0~10건을 오고 가는 상황이 되었습니다. 구글에서 제 블로그의 모든 글을 노출을 시켜주지 않고 있는 것입니다.

구글 노출 4000건에서 10건 미만으로 급감

 

4달에 걸쳐 서서히 구글에서의 노출과 클릭수를 우상향 시키고 있었는데 한순간에 이렇게 떨어져 의아했고 원인이 될만한 것을 확인하기 시작했습니다.

 

 

2. 해결 시도

비슷한 사례를 찾아 정보를 모아보니 몇 가지 해보라는 것들이 있었습니다.

 
첫 번째. html을 수정하였다면 복원해 볼 것

 구글에서의 유입이 급감하는 시기에 티스토리 블로그의 html을 수정한 이력이 있었습니다. 복잡한 수정은 아니고 태그매니저를 통한 IP추적을 심은 것과 파비콘을 수동으로 설정하는 html코드였습니다. 일단 이 코드부터 원복을 하고 기다렸습니다. 3일가량 기다리니 0에 근접하던 노출이 특정 포스팅에 대해서만 두 자릿수로 늘어나긴 했습니다. 그렇다고 해서 클릭수, 노출수가 회복되지는 않았으며 단 3개의 포스팅만 다시 노출되는 것을 확인했습니다. 이 문제는 아닌 것으로 결론 냈습니다.

 

두 번째. rss와 사이트 맵 다시 제출하기

구글 서치 콘솔에 등록된 rss와 사이트 맵을 삭제하고 다시 제출해 보았습니다. 어차피 수동 등록을 하고 있었고 색인에 나오는 문제는 전혀 없었기 때문에 큰 영향은 없을 것으로 생각했지만 혹시나 하는 마음에서 모두 삭제하고 다시 제출해 봤지만 해결되지는 않았습니다. 아예 변화가 없는 것으로 보아서 이 문제는 아니라고 생각이 들었습니다.

 

세 번째. 크롤링 상태 확인하기

크롤링이 정상적으로 안되면 유입이 끊긴다는 이야기를 보게 되어 크롤링이 정상적으로 되고 있는지 확인했습니다. 혹시 실수라도 구글 봇이 티스토리 블로그에 못 오도록 robots.txt 설정이 바뀌었는지 확인해 보니 그런 것은 없었습니다. 
대신 구글 서치 콘솔의 설정 > 크롤링 통계를 보니 아래 사진 같은 경고 표시를 확인할 수 있었습니다.

크롤링 통계에서 호스트 상태 이상

호스트 상태에 빨간 불이 들어와 있고 '지난주에 호스트 문제 있었음'이라고 나와있었습니다. 

지난주에 호스트 문제 있었음

 

하나하나 자세히 살펴보니 두 가지 원인으로 호스트에 빨간 불이 들어와 있었습니다.

하나는 robotx.txt를 가져오는데 기준보다 실패율이 올라갔던 것이 보였습니다.

robots.txt 가져오기 실패율이 기준을 넘어감

두 번째로는 티스토리 서버 연결 자체가 안되어 크롤링 요청이 실패하고 있었습니다.

서버 연결 실패율이 기준을 크게 벗어남

 

이 문제에 대하여 검색을 해보니 서버에 연결이 안 되는 문제는

티스토리 자체 서버 시스템이 불안정하여 크롤링 요청이 실패하고 구글에서는 신뢰할 수 없는 사이트라고 생각해 버리는 것이라는 해답을 얻게 되었습니다. 이런 이유 때문에 티스토리를 운영하다가 구글 워드프레스로 이동하는 분들도 있었습니다. 최근에 서버대란이 생기면서 구글에서 유입이 사라지고 회복이 안되고 있다는 글을 읽었는데 제 블로그에도 유사한 문제가 발생한 것으로 생각되었습니다.

 

당장 제가 할 수 있는 일은 기준치 이상으로 올라간 실패한 크롤링 요청 수치를 떨어트리기 위하여 수동으로 크롤링을 요청하는 핑을 계속 보내보는 방법이 있었습니다. (아래 포스팅 3번 항에 크롤링 수동 색인 요청법 있음)

구글 서치 콘솔(google search console)에 수동 색인하기.

구글 서치 콘솔(google search console)에 수동 색인하기.

 

 

3. 결론

위 방법을 이용하여 크롤링을 계속 요청하니 실패율은 기준치 아래로 떨어졌습니다. 하지만 여전히 구글에서의 노출은 회복이 안되고 있습니다. 아마 구글에서 다시 신뢰할 만한 사이트로 판단하는데 상당한 시간이 필요한 것 같습니다.

 

이렇게 블로거의 잘못이 아닌 문제로 유입에 문제가 생기면 큰 상실감이 생기게 됩니다. 이런 문제를 줄이기 위해서 URL을 숫자로 단순화하는 게 좋다는 의견도 보이는데 이미 포스팅 숫자가 많이 늘어 어려울 것 같습니다. 

 

나중에 구글의 노출과 유입이 회복되면 어느 정도의 시간이 걸렸는지 후기를 남겨보도록 하겠습니다.

이상으로 구글 유입 급격한 감소가 생기는 원인에 대한 경험담을 마치도록 하겠습니다.