标签：robots.txt

百度百科更新搜索引擎抓取规则：仅限部分引擎访问 近期，据快科技8月22日报道，百度百科调整了其搜索引擎抓取政策，限制了大部分搜索引擎对其内容的抓取权限，此举旨在防止未经许可的内容抓取行为，尤其是避免被用于人工智能训练。 更新的robots.txt文件详情 百度百科在其robots.txt文件中明确了当前获准抓取其内容的搜索引擎名单，其中包括百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider以及宜搜搜索(EasouSpider)等少数几款搜索引擎。值得注意的是，谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider等其他主流...