import scrapy

from huyaAll.items import HuyaallItem
class HuyaSpider(scrapy.Spider):
    name = 'huya'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://www.huya.com/g/xingxiu']

    # 通用的url模板
    url = 'https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=1663&tagAll=0&page=%d'

    # 解析start_urls首页的数据
    def parse(self, response):
        li_list = response.xpath('//*[@id="js-live-list"]/li')
        for li in li_list:
            title = li.xpath('./a[2]/text()').extract_first()
            author = li.xpath('./span/span[1]/i/text()').extract_first()
            hot = li.xpath('./span/span[2]/i[2]/text()').extract_first()

            # 实例化item对象，将数据进行封装
            item = HuyaallItem()
            item['title'] = title
            item['author'] = author
            item['hot'] = hot

            # 使用yield将item对象提交给管道
            yield item

        # 使用yield关键字进行手动请求的发送,并且调用回调函数进行其他页码的数据解析
        for page in range(2, 5):
            new_url = format(self.url%page)

            # 发起的是get请求, 也可以在callback中递归调用parse函数
            yield scrapy.Request(url=new_url, callback=self.parse_other)

    # 所有的解析方法都必须模拟parse定义，需要有和parse相同的参数，可以在里面进行相关的数据解析
    def parse_other(self, response):
        print(response.json())