애드센스 설정 (6) 네이버 서치어드바이저 관련

블로그를 수익성이든 인기든 있게 하려면 검색엔진(예: 네이버, 구글 등)에 검색 시 노출되게 하여야 하겠죠. 그러려면 네이버든 구글이든 검색엔진이 제 블로그의 글을 미리 수집하도록 할 수 있게 도와주어야 합니다. 우리나라에서도 구글을 많이 이용하기는 하지만 네이버, 다음 등의 기존 검색포털이 매우 큰 분율을 차지하고 있으니 이쪽에도 검색될 수 있게 설정하는 것은 매우 중요하겠죠.

 

다음의 경우 다음-카카오를 거쳐 카카오가 되면서, 그리고 티스토리를 인수하면서 따로 설정하지 않아도 다음 검색에 노출될 수 있게 되는 편이므로 넘어가겠습니다. 여기서는 네이버 서치어드바이저 설정관련 내용만 다루겠습니다.

 

그런데 네이버 서치어드바이저에 사이트소유권 확인하고 등록하는 것 자체는 너무 간단한 내용이고 이미 다른 포스팅들이 많이 올라와있기 때문에, 제가 생각할 때 티스토리 블로그를 네이버 서치어드바이저에 올릴 때에 주의해야 할 점을 적어보겠습니다. 비슷한 글을 이전에 올리기는 했는데 그동안 네이버 서치어드바이저에서 왜 제 블로그는 몇 달이 지나도 색인도 안하고 콘텐츠 노출/클릭 통계도 안 내고 수집도 안 하는지 의문이었거든요. 이제는 제대로 등록된 것을 확인하였기에 그동안의 여러 시도들에 대해서도 사이사이 적어보려고 합니다.

RSS 제출하기

RSS는 최근 N개의 글의 내용을 있는 그대로 코드 형태로 정리해둔 글을 말합니다. RSS는 보통 제가 설정해둔 개수만큼의 글을 알아서 올리도록 티스토리 내에서 기능을 제공하고 있습니다. 자체가 기본설정에서는 공개정보이므로 만약 RSS로 제공되기를 원하지 않는 글이 있다면 작성 시부터 비공개설정을 해두어야겠죠. 아니면 RSS 자체를 비공개로 해두어야 합니다. 

티스토리 블로그 관리 페이지에서 RSS의 공개여부를 설정할 수 있습니다. 또한 최근 몇 개의 글을 RSS로 갱신해서 배포할 지 설정할 수 있습니다.

 

RSS의 기본주소는 https://(블로그 주소)/RSS로 되어있습니다. 이 주소를 웹마스터도구의 '요청>RSS 제출'에 입력하시면 됩니다.

RSS를 웹마스터 도구의 '요청>RSS 제출'에 입력해주세요.

sitemap 제출하기

기존의 티스토리 블로그에서는 sitemap을 제공하지 않았기 때문에 다른 사이트에서 제공하는 앱을 통해 작성하여 업로드하는 방식으로 제출해야 서치어드바이저에 등록할 수 있었습니다. 이제는 티스토리 자체에서 https://(블로그 주소)/sitemap.xml 형태로 제공을 하고 있어서 굳이 그런 짓을 안 해도 되게 되었습니다. 

 

sitemap(사이트맵)이라는 것은 이름에서도 알 수 있듯이 사이트의 지도를 말합니다. 어떤 카테고리로 구성되어있고 그런 것이 아니고, 이 사이트에 수록되어 있는 웹페이지(각 포스팅이 되겠죠)의 주소가 어떤 것들이 있는지를 적어둔 텍스트파일이라고 생각하시면 됩니다. 네이버의 검색로봇이 제 블로그의 포스팅들이 어떤 것이 있는지 전체 목록을 알아야 수집을 할 수 있겠죠. 쇼핑리스트라고 생각해도 되겠습니다.

 

위의 사진에서 보여드린 대로 '요청 > 사이트맵 제출'에 앞서 말씀드린 sitemap의 주소를 그대로 적어주시면 되는데, 사이트맵 제출의 경우 'https://(블로그 주소)/'의 다음 칸을 채우는 방식으로 되어 있어서 sitemap.xml만 적어주시면 되겠습니다.

 

여기까지는 어떤 블로그든 카페든 알려주고 설정하는 데에도 전혀 어려움이 없는 부분입니다. 또한 오해의 소지도 전혀 없지 않나 합니다. 이제 티스토리 블로그 운영자들이 골치를 앓는 부분에 대해 정리해보죠.

왜 내 블로그는 수집하지 않고 수집 현황에서도 오류가 뜨는지?

이 부분이 제가 오랜 기간(몇 달 정도 되네요) 겪었던 문제였습니다. 대체로 제시되어 있는 해결방안은,

1. 아래에서 설명할 robots.txt에서 열람권한을 User: * Allow: /으로 설정하여 검색로봇이 모든 글을 열람할 수 있도록 해준다.
2. 스킨의 HTML 편집에 들어가서 meta 태그를 등록한다.
3. 일일이 '요청>웹페이지 수집'에 입력하여 수집하도록 한다.

대개 이 정도로 정리되었습니다. 단도직입적으로 말씀드리면 이것만으로 해결되지는 않더라는 겁니다. 진짜 지금 생각하면 어리석었던 것이, '사이트 주소 자체를 잘못 등록했을 수 있다'는 생각을 안했다는 것이죠.

 

HTTP 프로토콜과 HTTPS 프로토콜은 차이가 있고, 티스토리의 경우 http://(블로그 주소)로 입력을 하면 자동으로 보안 http 프로토콜인 https://(블로그 주소)로 리디렉션(재연결) 시켜주도록 되어 있습니다. 아래 그림을 보시면, 네이버 검색로봇이 http로 시작하는 주소를 입력하였을 때에 코드 301으로, 즉 해당 주소를 입력하면 다른 주소로 자동으로 이동할 수 있게 리디렉션시켜주는 것이 확인됩니다.

http로 시작하는 주소로 입력하였을 때 HTTP에서 HTTPS 프로토콜을 따르는 사이트로 리디렉션하기에 코드 301이 인식된다고 표시하고 있습니다.

이제 조목조목 기존의 해결책을 생각해보겠습니다.

robots.txt 변경에 대해

robots.txt는 검색로봇이 어떤 사이트를 크롤링할 수 있는지 권한을 설정해주는 기능을 하는데, 기본적인 티스토리의 robots.txt는 관리자 페이지, 글 작성 등을 크롤링할 수 없도록 하여 보안을 강화해둔 것입니다. 이걸 굳이 Allow: /으로 관리자 페이지까지 포함한 모든 글을 수집할 수 있도록 허용해주자는 것도 좋지 않은 생각이고, 그나마도 HTML 편집 (스킨 편집) 페이지에 있는 파일 업로드는 루트 디렉토리에 접근할 수 없도록 기본 세팅이 되어 있어 이걸 다른 파일업로더로 밀고 넣어버리는 것이 아니면 기존에 robots.txt가 서식하는 디렉토리에 원하는 내용으로 변경한 robots.txt를 절대로 넣을 수 없는 구조입니다. 이 방법은 '검증>robots.txt'에서 수집요청하여 얻은 robots.txt가 'User: * Disallow: /'으로 어떤 글도 로봇이 수집할 수 없도록 해두지 않은 이상 해결책이 될 수가 없습니다.

meta 태그의 등록

이건 네이버 서치어드바이저 도움말에도 뒤져보면 나오는 내용이라 넘어가겠습니다. 이렇게 해두는 것은 안전하지 않나 생각합니다. 자세한 내용은 검색하여 다른 블로그에서도 얻어볼 수 있겠습니다.

일일이 수집요청을 하는 방법

사실 비현실적입니다. 예를 들어 제가 글 3000개를 써놓은 블로그를 운영하는 사람인데 서치어드바이저라는 것을 뒤늦게 알아 등록하고자 한다고 생각해보십시오. 저걸 언제 다 수집요청을 하겠습니까? 그나마 요즘은 숫자 URL (예: https://(블로그 주소)/1)로 되어있으니 망정이지 아니라고 생각해보면 정말 생각만해도 끔찍합니다.

 

요즘 인공지능 세상에 저정도 단순 임무를 컴퓨터가 저런 식으로 수동적인 입력을 토대로 해내야 한다면 정말 슬프지 않을까요. 기본적인 네이버 서치어드바이저의 수집시스템은 다음과 같을 겁니다.

1. RSS, 사이트맵을 얻는다.
2. robots.txt를 통하여 권한을 얻는다.
3. RSS를 통해 주기적으로 최근 글을 갱신하고, 사이트맵을 통해 수집해야 할 전체 대상을 파악한다.
4. 수집한다.

이렇게 돌아가는 시스템일 것인데, 일일이 수집요청을 하면 효율적일까 의문이 듭니다.

 

여기까지 정리했으니, 내 블로그의 주소가 http가 아니라 https로 등록이 되어있는지 다시 한 번 확인해보시는 것도 좋겠습니다.

robots.txt에 대하여

[애드센스/애드센스 도전기 - 설정편] - 애드센스 설정 (4) robots.txt에 대해

애드센스 설정 (4) robots.txt에 대해

제 생각에 오해가 많은 부분이 아닌가 싶습니다. 서치어드바이저에 티스토리 블로그를 등록하는 데에 있어서 정말 여러 팁들이 많이 나오는데요. 정리해보자면, 내가 굳이 설정을 바꾸거나 robots.txt를 수정하지 않아도 티스토리 블로그는 내가 공개할 의향이 전혀 없는 웹페이지를 제외하고는 알아서 수집될 수 있도록 권한을 부여하는 형태로 제공하고 있습니다. 굳이 손대실 필요가 없기는 하고, 만약 손을 대야 하지는 않을까 한다면 robots.txt의 내용을 직접 확인하여 권한 수정을 고려하는 것이 좋지 않을까 생각합니다.