在讲爬取淘宝详情页数据之前，先来介绍一款 Chrome 插件：Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容)，如下图所示：
当这个插件处于关闭状态时，待爬取的页面显示的数据如下:
当这个插件处于打开状态时，待爬取的页面显示的数据如下:
"text-align: center">
"text-align: center">
评论数据的链接可以直接访问(和价格信息找法类似)，这里我知己去访问它，如下图所示:
"htmlcode">
# filename:spider_taobao.py
#!/usr/bin/env python
# -*- coding=utf-8 -*-
import re
import urllib2
def spider_taobao(url):
headers = {
'Accept':'application/json, text/plain, */*',
'Accept-Language':'zh-CN,zh;q=0.3',
'Referer':'https://item.taobao.com/item.htm',
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
'Connection':'keep-alive',
}
goods_id = re.findall('id=(\d+)', url)[0]
try:
req = urllib2.Request(url=url, headers=headers)
res = urllib2.urlopen(req).read().decode('gbk', 'ignore')
except Exception as e:
print '无法打开网页:', e.reason
try:
title = re.findall('<h3 class="tb-main-title" data-title="(.*"', res)
title = title[0] if title else None
line_price = re.findall('<em class="tb-rmb-num">(.*"https://detailskip.taobao.com/service/getData/1/p1/item/detail/sib.htm".format(goods_id)
price_req = urllib2.Request(url=purl, headers=headers)
price_res = urllib2.urlopen(price_req).read()
data = list(set(re.findall('"price":"(.*"', price_res)))
# data列表中的价格可能是定值与区间的组合，也可能只是定值，而且不一定有序
real_price = ""
for t in data:
if '-' in t:
real_price = t
break
if not real_price:
real_price = sorted(map(float, data))[0]
# 45-53行为抓取评论数据，该数据也是动态加载的
comment_url = "https://rate.tmall.com/list_detail_rate.htm".format(goods_id)
comment_data = urllib2.urlopen(comment_url).read().decode("GBK", "ignore")
temp_data = re.findall('("commentTime":.*"days"', comment_data)
temp_data = temp_data if temp_data else re.findall('("rateContent":.*"reply"', comment_data)
comment = ""
for data in temp_data:
comment += data.encode('utf-8')
comment = comment if comment else "暂无评论"
except Exception as e:
print '数据抽取失败!!!'
print '商品名:', title
print '划线价格:', line_price
print '真实价格:', real_price
print '商品链接:', url
print '部分评论内容:', comment
if __name__ == '__main__':
#url = 'https://item.taobao.com/item.htm"请输入商品链接: ")
spider_taobao(url)
运行结果如下：
更多内容请参考专题《python爬取功能汇总》进行学习。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。