Redis通常被认为是一种持久化的存储器关键字-值型存储，可以用于几台机子之间的数据共享平台。
连接数据库
注意：假设现有几台在同一局域网内的机器分别为Master和几个Slaver
Master连接时host为localhost即本机的ip
_db = redis.Reds(host='localhost', port=6379, db=0)
Slaver连接时的host也为Master的ip，端口port和数据库db不写时为默认值6379、0
_db = redis.Redis(host='192.168.235.80')
Redis含列表、集合，字符串等几种数据结构，具体详细的几种数据结构的操作命令可查看Redis官网http://redis.io/commands，下面是对集合进行操作的一些命令
_db.sadd(key, *values) # 插入指定values到集合中并返回新插入的的值的数量 _db.spop(self.key) # 随机从集合中的得到一个元素将其从集合中删除并作为返回值返回 _db.smembers(self.key) # 返回集合的所有元素 _db.delete(key) # 删除整个集合, 成功返回1, 失败返回0 _db.srandmember(self.key) # 从集合中随机选取一个元素作为返回 _db.sismember(self.key, value) # 判断指定value是否在本集合中，成功返回1,失败返回0
例如，Master可利用redis将url上传到数据库
for i in range(20): # 将需爬取的糗事百科前20页的url并存入urls集合
url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1)
_db.sadd('urls', url) # 将url插入关键字urls集合中，若url已存在则不再插入
进而Master和Slaver可从数据库里获取url
url = _db.spop('urls') # 随机从urls集合中取出一个url返回并将其删去
同理，Master可利用上面的方法将其他一些共用的资源上传到数据库，Slaver就可从数据库下载需要的东西。下面是一个完整的例子
# coding=utf-8
import urllib2
import re
import time
import redis
headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/49.0.2623.108 Chrome/49.0.2623.108 Safari/537.36'}
job_redis = redis.Redis(host='192.168.235.80') # host为主机的IP，port和db为默认值
class Clawer(object):
identity = 'master' # 或slaver
def __init__(self):
if self.identity == 'master':
for i in range(20): # 将需爬取的糗事百科前20页的url并存入urls集合
url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1)
job_redis.sadd('urls', url)
self.main()
def get_content(self):
"""
从糗事百科中获取故事
:return: 故事列表
"""
stories = []
content_pattern = re.compile('<div class="content">([\w\W]*"stats"') # 匹配故事内容（第一空）和是否含有图片（第二空）的模板
pattern = re.compile('<.*?>') # 匹配包括括号及括号内无关内容的模板
url = job_redis.spop('urls')
while url: # 当数据库还存在网页url，取出一个并爬取
try:
request = urllib2.Request(url, headers=headers)
response = urllib2.urlopen(request)
text = response.read()
except urllib2.URLError, e: # 若出现网页读取错误捕获并输出
if hasattr(e, "reason"):
print e.reason
content = re.findall(content_pattern, text) # 获取含模板内容的列表
for x in content:
if "img" not in x[1]: # 过滤含图片的故事
x = re.sub(pattern, '', x[0])
x = re.sub('\n', '', x)
stories.append(x)
url = job_redis.spop('urls')
time.sleep(3)
return stories
def main(self):
self.get_content()
if __name__ == '__main__':
Clawer()
将此代码在几台机器同时运行，调节其身份为master或slaver，做到简单的分布式爬虫
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。