首页
58问答库
>
如何在robots.txt屏蔽外部链接。比如我的网站里想屏蔽淘宝的链接，不让蜘蛛爬取淘宝链接
如何在robots.txt屏蔽外部链接。比如我的网站里想屏蔽淘宝的链接，不让蜘蛛爬取淘宝链接
2024-11-18 14:24:04
推荐回答（1个）
回答（1）：
robots.txt一般是控制你自己的网站内部链接
你可以不你站内的淘宝地址“nofollow”掉：
什么什么什么
或者此页面所以链接都不抓取：
相关问答
如何利用robots.txt屏蔽站内别的网址链接
用robots.txt屏蔽站外URL怎么写?
robots.txt如何禁止百度搜索引擎抓取网站某个链接
网站怎样屏蔽某些蜘蛛过来抓取
robots.txt 屏蔽二级目录或者二级目录下的某个文件怎...
如果robots.txt禁止蜘蛛爬网站后台目录会怎样
怎么屏蔽蜘蛛爬取
请问 淘客站里的淘宝链接是用robots.txt来屏蔽吗?
最新问答
如何在robots.txt屏蔽外部链接。比如我的网站里想屏蔽淘宝的链接，不让蜘蛛爬取淘宝链接
女友和我分手了 我想挽回 半个月了 把我微信 电话都拉黑了 前几天刚把我微信加上 平时偶尔主动和我
ONE PIECE海贼王谢谢了，大神帮忙啊
浏览器禁用了JavaScript，怎么开启？
我的喉咙和胸脯之间的偏右有点痛
插入U盘后电脑不显示安全删除硬件标志
请问生辰八字不全可以算命吗，我是2002年阳历四月二十三的生日，出生时间我不知道？
上海酒吧一条街，就进去看看可以吗？有最低消费吗？
青海待遇较好的国企有哪些？
子女的医保卡父母能能用吗
