scrapy crawlspider 中的 deny 设置为何无效
问题中提到的 deny 设置无效是因为 deny 参数的值没有采用正则表达式。
在 scrapy 的 crawlspider 中，deny 参数用于指定不应被爬取的 url 模式。如果 deny 参数没有使用正则表达式，那么它只能够匹配完全相等的 url。
因此，如果希望 deny 参数能够匹配包含特定字符串的 url，就需要使用正则表达式。例如，如果要拒绝包含 “guba” 字符串的 url，可以将 deny 参数设置为以下正则表达式：
deny=(r’.*guba.*’,)
以上就是Scrapy CrawlSpider 中 deny 设置为何无效？的详细内容，更多请关注范的资源库其它相关文章！
转载请注明：范的资源库 » ScrapyCrawlSpider中deny设置为何无效？
