티스토리 robots.txt 가 존재하지 않습니다. 오류 간단 해결!

robots.txt 문제 발견부터 해결까지

 

티스토리 블로그 최적화를 진행하다가 아래와 같은 문제가 발생한 것을 확인하였고, 해결 방법을 알아보았습니다. 의외로 매우 간단히 문제가 해결이 되었기에 그방법을 공유합니다.

 

 

네이버 웹마스터도구에서 사이트 '간단체크' 해봅시다!

 

제 티스토리 블로그 글이 네이버에서 검색되도록 네이버 웹마스터도구(네이버 서치 어드바이저)에 검색 등록을 마친 후, '간단체크'라는 걸 해보았습니다.

 

그런데, 헉!

뭔가 안 좋은 듯한 결과가 ...ㅠ.ㅠ

 

"robots.txt가 존재하지 않습니다." ...... 이건, 뭘까요?

 

사이트 설명도 없다고 하고, Open Graph가 뭔지는 몰라도 Open Graph 설명도 없다네요.

 

 

갈 길이 순탄치 않아보이나, 첫 번째 장애물부터 천천히 해결해야겠다는 생각이 들었습니다.

 

우선, "robots.txt가 존재하지 않습니다"

 

위 문제부터 해결해보려 합니다.  네이버 웹마스터도구의 [도움말]부터 살펴보니 다음과 같이 안내가 되어 있었습니다.

 

 

제가 이해한대로 다시 적어보면, robots.txt 는 검색로봇에게 제 블로그 글을 수집할 수 있도록 허용하거나 혹은 제한하는 거라네요. 반드시 제 블로그의 루트 디렉터리에 위치해야 하는데, 이게 없으면 robots.txt파일을 생성하여 다운로드한 후 제 블로그의 루트 디렉터리에 업로드를 하고, 다시 [수집요청]을 하면 된다는... 그런 내용입니다. 

 

후아.... 어려웠습니다.

먼저, robots.txt파일은 어디서 생성하지?

 

1. 네이버 웹마스터도구에 로그인하고,

 

 

2. 사이트목록에서 파란색으로 활성화 되어있는 제 사이트 주소를 클릭했습니다.

 

 

 

3. 화면에서 '검증' 항목을 펼치면 robots.txt 메뉴가 나와요. 요걸 클릭해보았어요.

 

 

클릭한 후 열리는 화면을 밑으로 쭉 내려보면, robots.txt 간단생성 이라고 보입니다.

 

" 아~ 여기서 생성한 후 다운로드하는구나! "

 

 

여기까지 확인하고, 갑자기 해 볼 엄두가 나지 않더군요. ㅠ.ㅠ

robots.txt 파일을 생성해서 다운로드한 후 내 블로그의 루트 디렉토리에 업로드해야 하는데, 갑자기 전투력을 상실했습니다.

 

섣불리 건드리지 말고 좀 더 알아보고 해야겠다는 생각이 들어서, 폭풍 검색을 시작했습니다. 제가 지금까지 설명드린 방법대로 '파일 생성, 다운로드, 업로드'까지 어떻게 진행하는지 설명해 놓은 블로그 글들을 읽어보았죠.

 

그러다가, 어떤 분의 글을 읽게 되었는데 이 분은 아래와 같이 설명하셨습니다.

 

1. robots.txt 파일은 티스토리 블로그가 생성됨과 동시에 자동으로 루트 디렉터리에 생성이 된다.

2. 일단, 자신의 블로그에 robots.txt 페이지가 존재하는지부터 확인을 해라.

3. 만일, 존재하지 않는다면 티스토리 고객센터에 문의를 하라.

4. 자신의 블로그에 robots.txt 페이지가 존재하면, 웹마스터도구에서 robots.txt 정보 '수집요청'을 해라.

 

 

내 블로그에 robots.txt 파일이 존재하는지 확인해보자!

 

자신의 블로그로 가서, 주소 끝에다가 robots.txt 라고 친 후 '엔터' 키를 눌러 접속을 합니다.

 

접속을 했을 때, 다음과 같이 코드가 보이면 자신의 루트 디렉터리에 정상적으로 페이지가 생성되어 있다는 뜻이랍니다.

 

 

뭐지? 나 정상이잖아?

 

만일, 저처럼 저런 코드가 보이는 것이 아니라 '존재하지 않는 페이지입니다.'라는 문구가 보이면 이건 티스토리 측에서 해결해야 하는 문제라고 합니다. 이 경우에는 고객센터로 문의를 하라고 하네요.

 

그럼, 정상인데도 네이버 웹마스터도구에서는 아니라고 하는 이유는 뭐지?

 

해결해볼께요!

 

 robots.txt 정보
수집요청하기

 

좀 전에 확인했던 웹마스터도구의 왼쪽 메뉴 '검증'을 열어서 'robots.txt'를 선택한 후, 화면이 열리면 robots.txt 정보 '수집요청' 버튼을 클릭해주세요.

 

 

수집요청이 되었다고 화면이 뜹니다.

 

사이트 내 웹페이지 수집 가능 여부를 확인할 수 있다고 해서, robots.txt 검증도 한번 해보았어요. 이건, 그냥 확인 버튼만 누르면 되요.

 

 

 

제 블로그는 수집이 가능하다고 뜹니다.

 

저 위에서 복잡하게 설명드린 것(파일생성, 다운로드, 업로드) 하나도 안 하고, 딱 요것만 한 후 다시 '사이트 간단 체크'를 진행해보았습니다.

 

짠!  "네이버 검색로봇이 사이트에 접근해 정보를 수집할 수 있습니다." 라고 되어 있습니다. 얏호!!!

 

 

 

티스토리 블로그의 경우에는 블로그 생성과 동시에 루트 디렉터리에 robots.txt가 자동으로 생성이 된다고 합니다. 그래서 따로 robots.txt를 생성할 필요도 없고, 굳이 생성하여 블로그의 루트 디렉터리에 업로드를 한다고 해도 네이버 검색로봇은 원래의 파일을 사용한다고 하네요.

 

그런데, 티스토리가 아닌 타 사이트(워드프레스)의 경우에는 제가 하마터면 모르고 진행할 뻔(^^?) 했던 '파일생성, 다운로드, 업로드'를 해줘야겠지요.

 

휴... 이제는 사이트 설명과 Open Graph 설명이 무엇인지 확인해보아야 겠네요.

 

혹시, 저와 같은 오류 뜨신 분들, robots.txt 정보 수집요청 꼭 해보세요!  티스토리 초보님들 함께 홧팅해요!!!