public marks

PUBLIC MARKS from stane with tag robot

27 December 2005 07:15

robots.txt用法

您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定

stane's TAGS related to tag robot

search +   spider +   tutorial +