登录Scrapy - 编程之家

如何解决登录Scrapy

对于日志记录，我将其放在蜘蛛类上：

import logging
from scrapy.utils.log import configure_logging


class SomeSpider(scrapy.Spider):
    configure_logging(install_root_handler=False)
    logging.basicConfig(
        filename='log.txt',
        format='%(levelname)s: %(message)s',
        level=logging.INFO
    )

这会将所有scrapy输出作为log.txt文件放入项目根目录

如果您想手动记录某些内容，则不要使用scrapy记录器，它已被弃用。只需使用python一个

import logging
logging.error("Some error")

解决方法

我在登录scrapy时遇到了麻烦，并且我能找到的大多数内容都已过时。

我已经LOG_FILE="log.txt"在settings.py文件中设置了文件，并从文档中设置了文件，它应该可以工作：

Scrapy在每个Spider实例中都提供了一个记录器，可以按以下方式访问和使用它：

import scrapy

class MySpider(scrapy.Spider):

    name = 'myspider'
    start_urls = ['http://scrapinghub.com']

    def parse(self,response):
        self.logger.info('Parse function called on %s',response.url)

但是当我这样做时：

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        self.logger.info("foobar")

我什么都没有。如果我设置

logger = logging.basicConfig(filename="log.txt",level=logging.INFO)

在文件的顶部，导入后，它会创建一个日志文件，并且默认输出将被很好地记录下来，但是

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        logger.info("foobar")

无法露面。我也尝试过将它放在类中__init__，例如：

def __init__(self,*a,**kw):
    super(FanfictionSpider,self).__init__(*a,**kw)
    logging.basicConfig(filename="log.txt",level=logging.INFO)

我再次没有输出到文件，只是到控制台，foobar没有显示。有人可以指导我如何正确登录Scrapy吗？