Update: 無名小站已經把robots.txt拿掉了

wretch.cc就是台灣的無名小站，一向負面新聞不絕，過往的負面新聞可以參考blog.xdite.org，雖然被台灣Yahoo!收購，但情況好像沒有改善。

無名小站最近將 robots.txt 改成

User-agent: Slurp
Disallow:
User-agent: *
Disallow: /

也就是說只有Yahoo!自家的robot才會/可以index無名小站上的頁面，當然，如果是不守規矩的robot就可以照index無誤，但守規矩的robot例如googlebot就無法再index無名小站上的頁面，這樣的舉動一來令人聯想到Yahoo!用來對付Google，二來用這樣的手段對付遵守standard的公司，不守規矩的公司可以照index無名小站上的頁面，變相鼓勵不遵守standard。

看看香港人常用的BSP的robots.txt︰

spaces.live.com 只有一句remarks

http://home.services.spaces.live.com/robots.txt

# robots.txt for http://spaces.msn.com/

mysinablog.com

http://mysinablog.com/robots.txt

#
# robots.txt for http://www.mysinablog.com
# last updated: 2nd Oct 2007
#

User-agent: hl_ftien_spider
Disallow: /

User-agent: larbin
Disallow: /

User-agent: wget
Disallow: /

User-agent: libwww
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: grub-client
Disallow: /

User-agent: NPBot
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: *
Disallow: /gallery/
Disallow: /imgs/
Disallow: /js/
Disallow: /styles/
Disallow: /templates/
Disallow: /tools
Disallow: /admin.php
Disallow: /atom.php
Disallow: /authimage.php
Disallow: /chkauthimage.php
Disallow: /resserver.php
Disallow: /trackback.php
Crawl-delay: 1