검색 자료를 긁어 가는 로봇의 역할?

어떤 블로거의 글을 통해 자신의 글이 언젠가부터 네이버에서 검색이 되고 있어서 불쾌하다는 의미의 글을 읽게 되었다.
뭐... 왜 불쾌한지, 그리고 어떤 연유로 네이버에 대한 반감을 가지게 되었는지 자초지정을 알 수 없기에, 다 이해할 수는 없지만...
이런거 저런거 다 떠나서 그 글의 논리를 나로서는 이해할 수 없다.

그 글을 요점 정리 하자면...
올블로그에만 글을 제공했고, 네이버에는 글을 제공한적 없는데, 올블로그와 네이버가 짝짝궁 해서 갑자기 네이버에서 올블로그 글들이 검색되게 되었고, 그래서 네이버 리퍼러가 늘어났다 이다.
그리고, 왜 네이버에 글을 주지 않았는데, 네이버에서 내 글이 검색되느냐? 이다.

하지만, 내가 알기로는 검색 로봇이 어떠한 컨텐츠를 읽어가고 데이터베이스 화 시키는 데 있어서 지켜야 할 것은 robot.txt 파일 하나로 알고 있다.(물론 더 많은 조건이 있을 수도 있겠지만, 내가 알기론 이거 하나다.)
자신의 사이트가 검색당하지 않기를 원한다면, robot.txt에 분명히 명시하면 검색 로봇은 해당 자료를 pass 할 것이고 당연히 검색은 안될 것이다.

따라서 robot.txt에 명시하지 않은 상태에서 네이버에서 해당 컨텐츠가 검색되는 것 자체에는 별다른 문제가 없어 보인다.
그런식으로 따지면, 구글에 내글 검색되는 것도... 주지도 않았는데 왜 검색하냐는 식의 논리로 따지고 들면... 할말 없어지는 것 아닐까?
오히려 이러한 규약을 잘 지키지 않는 로봇을 탓하는게 논리상 맞는 말 아닐까?

구글, FF가 하면 로맨스이고, 네이버가, MS가 하면 불륜 식의 사고방식이 사라지는 때는 과연 언제일까?
업체가 아니라 해당 팩트에 관련된 내용만을 가지고 이야기 하는 것이 옳은 것 아닐까?

오히려 나는 네이버가 더 많은 컨텐츠를 검색해 주지 못하는게 불만이다.
구글에 뒤지지 않는 네이버의 검색이 되기를, 아니... 국내 검색업계가 구글보다 더 뛰어난 검색엔진을 만들기를 바랄 뿐이다.