scrapy模拟登陆知乎出现重定向无法登陆问题

如何用scrapy 抓取js生成的页面？

scrapy:TypeError: expected string or buffer

scrapy 如何设置爬虫的深度和去除已经访问过的url？

对下面一段html信息使用linkextractor提取出来链接

scrapy爬虫，其中一个页面带有ajax请求和另外一个链接，这两个分支应该怎么处理？