编程 11

房比她自己买便宜二十万,python实现多线程行情抓取工具的方法

2.1.2 Python教你买房框架

Python教你买房框架,主要分为5块,分别为主程序模块、代理IP模块、地图服务模块、可视化服务模块、目标页面模块等。主程序为首先启动代理IP模块,抓取带来IP并通过测试可用代理IP存入到代理池,定时线程定时清洗带来并把无效的带来IP剔除出代理池,代理IP模块并提供外部API获取代理IP。主程序通过代理服务访问并抓取外部网页的有效信息并在主程序模块理解习HTML并写入到本地文件。主程序会调用地图服务获取经纬度信息,并绘制热力图等。同时间可视化模块定时读取文件并生成可视化图形报表供业务侧分析使用。

编程 1

 

1、主服务模块

主程块通过Api提供给前端用户登录和获取用户交互输入,通过参数解析获取得到用户的需求组装请求,获取代理IP转发请求到目标地址获取目标数据,返回数据通过html解析得到有效数据写入到文件地图服务和可视化服务生产友好的图形报表,辅佐得出Python教你买房的数据支撑。

2、IP代理服务模块

#!/usr/bin/env python3# -*- coding: utf-8 -*-# function:定时抓取免费代理IP,并检查可用性,可用proxy存入数据库供业务方调用获取# Author:elideng# date: 2017-11-11import requestsfrom bs4 import BeautifulSoupimport tracebackimport pymysqlimport threadingimport time'''
*@Function【爬取IpProxy】
*@Request: 请求 [in]
* param1 int iReqGetNum: 请求获取代理量
*@Response:响应 [out]
* param1 int iFinalGetNum: 最终获取代理量
*@Return:返回值 int : 0(成功) 其它失败
'''def GrabIpProxy():
 arrIpList = []
 User_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'
 header = {}
 header['User-Agent'] = User_Agent #url = 'http://www.xicidaili.com/nn/1'
 url = 'http://www.baidu.com'
 res = requests.get(url, headers=header) if res.status_code == 200:
 info = {}
 soup = BeautifulSoup(res.text, 'lxml')
 ips = soup.findAll('tr') for x in range(1, len(ips)):
 ip = ips[x]
 tds = ip.findAll("td")
 ip_port = tds[1].contents[0] + ":" + tds[2].contents[0]
 arrIpList.append(ip_port) #后续加上代理可用校验,非可用踢出代理池
 #print(ip_port)
 #计算列表量
 return arrIpList'''
*@Function【测试ipProxy是否可用】
*@Request: 请求 [in]
* param1 String desUrl: 测试目的地址
* param2 String ipProxy:代理IP端口
* param3 int iTimeout:超时时间
* param4 String feature:目的地址特征
*@Response:响应 [out]
* param1 int iFinalGetNum: 最终获取代理量
*@Return:返回值 :成功返回代理Proxy 失败返回空
'''def checkProxyIP(desUrl, ipProxy, iTimeout=3, feature=""): #确认带来iPaddress 2秒内能否
 #desUrl = 'http://www.baidu.com'
 header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'}
 proxies = {'http': 'http://' + ipProxy} #组装代理
 res = None # 声明
 exMsg = None
 try: #res = requests.get(url=desUrl, headers=header, proxies=proxies, timeout=iTimeout)
 res = requests.get(desUrl, proxies=proxies, timeout=iTimeout) # 代理方式请求,防止反爬虫
 soup = BeautifulSoup(res.text, 'lxml') #feature=""
 #print(soup.findAll(feature))
 except:
 exMsg = '* ' + traceback.format_exc() if exMsg: return -1
 if res.status_code != 200: return -1
 if res.text.find(feature) < 0: return -1
 return 0#更新代理池IPdef updateProxy(ipProxy, vaildFlag="N"):
 smysql = pymysql.connect(host='127.0.0.1', user='root', passwd='elideng', db='test')
 cursor = smysql.cursor() try:
 cursor.execute('update t_proxy set FvaildFlag="%s" where Fproxy="%s" limit 1' % (ipProxy, vaildFlag))
 smysql.commit() #提交执行
 except:
 smysql.rollback()
 smysql.close() return 0#新增代理池IPdef insertProxy(ipProxy, vaildFlag="Y"):
 smysql = pymysql.connect(host='127.0.0.1', user='root', passwd='elideng', db='test')
 cursor = smysql.cursor() try:
 cursor.execute('insert into t_proxy values("%s", "%s", now(), now())' % (ipProxy, vaildFlag))
 smysql.commit() #提交执行
 except:
 smysql.rollback()
 smysql.close() return 0#获取Proxydef getProxy(proxyNum):
 smysql = pymysql.connect(host='127.0.0.1', user='root', passwd='elideng', db='test')
 cursor = smysql.cursor()
 proxyList=[] try: if proxyNum == -1:
 cursor.execute('select Fproxy from t_proxy where FvaildFlag='Y'') else:
 cursor.execute('select Fproxy from t_proxy where FvaildFlag='Y' limit %s' % (proxyNum))
 results = cursor.fetchall() for row in results:
 proxyList.append(row[0]) except: # Rollback in case there is any error
 smysql.rollback()
 smysql.close() return proxyListdef CheckIpProxyTimer():
 arrIpList = []
 arrIpList = getProxy(-1) #获取代理池全量有效代理IP
 #测试地址
 #feature = 'xxx' #目标网页的特征码, 暂时不启用
 desUrl = "http://www.baidu.com"
 for ipProxy in arrIpList:
 iRes = checkProxyIP(desUrl, ipProxy) if iRes: #Proxy验证通过
 setProxy(ipProxy, "Y") else:
 setProxy(ipProxy, "N") #失效无效代理if __name__ == '__main__': #0、爬取免费代理IP
 GrabIpProxy() #1、启动定时线程,定时测试并清洗数据库代理IP
 timer = threading.Timer(3600, CheckIpProxyTimer)
 timer.start() #2、设置定时器失效时间
 time.sleep(5)
 timer.cancel() #5秒后停止定时器,程序可一直执行

3、地图服务模块

#!/usr/bin/env python3# -*- coding: utf-8 -*-# Author:elideng# date: 2017-11-08from urllib.request import urlopen, quoteimport jsonfrom bs4 import BeautifulSoupimport os#根据地址获取经纬度def getlnglat(address):
 url = 'http://api.map.baidu.com/geocoder/v2/'
 output = 'json'
 ak = 'ATzU2rqfrFoQcImvG9mvGm9bxchxjLYL'
 add = quote(address) #由于本文地址变量为中文,为防止乱码,先用quote进行编码
 uri = url + '?' + 'address=' + add + '&output=' + output + '&ak=' + ak
 req = urlopen(uri)
 res = req.read().decode()
 temp = json.loads(res)
 lat=0
 lng=0
 if 0 == temp['status']:
 lat=temp['result']['location']['lat']
 lng=temp['result']['location']['lng'] return lat,lng#根据两个经纬度计算距离def getPlaceDistance():
 return 0#根据两个地点计算各类交通时间def getPlaceTime():
 return 0def drawHeatChart(date):
 file = open("data.js", "a+") #data.js
 file.seek(3) # 定位到第0行
 file.writelines(date) #写入源数据到热力图源文件
 file.close() return 0if __name__ == '__main__':
 HeatChartSrcFile = input('输入热力图源文件:') #data.js
 drawHeatChart(HeatChartSrcFile)

<!DOCTYPE html><html><head>
 <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
 <meta name="viewport" content="initial-scale=1.0, user-scalable=no" />
 <script
 src="https://code.jquery.com/jquery-3.2.1.min.js"
 integrity="sha256-hwg4gsxgFZhOsEEamdOYGBf13FyQuiTwlAQgxVSNgt4="
 crossorigin="anonymous"></script>
 <script type="text/javascript" src="http://api.map.baidu.com/api?v=2.0&ak=DD279b2a90afdf0ae7a3796787a0742e"></script>
 <script type="text/javascript" src="http://api.map.baidu.com/library/Heatmap/2.0/src/Heatmap_min.js"></script>
 <script type="text/javascript" src="./data.js"></script>
 <title>热力图功能示例</title>
 <style type="text/css">  ul,li{list-style: none;margin:0;padding:0;float:left;}  html{height:100%}  body{height:100%;margin:0px;padding:0px;font-family:"微软雅黑";}  #container{height:500px;width:100%;}  #r-result{width:100%;} </style></head><body>
 <div id="container"></div>
 <div id="r-result">
  <input type="button" onclick="openHeatmap();" value="显示热力图"/><input type="button" onclick="closeHeatmap();" value="关闭热力图"/>
 </div></body><script type="text/javascript">
 var map = new BMap.Map("container"); // 创建地图实例
 var point = new BMap.Point(114.061087, 22.528578); //自定义地图中点
 map.centerAndZoom(point, 12); // 初始化地图,设置中心点坐标和地图级别
 map.enableScrollWheelZoom(); // 允许滚轮缩放
 if(!isSupportCanvas()){
  alert('热力图目前只支持有canvas支持的浏览器,您所使用的浏览器不能使用热力图功能~')
 }
 heatmapOverlay = new BMapLib.HeatmapOverlay({"radius":20});
 map.addOverlay(heatmapOverlay); var param = {data:window.points,max:100}; //读取data.js热力源数据并生成热力图
 console.log(param);
 heatmapOverlay.setDataSet(param); //是否显示热力图
 function openHeatmap(){
 heatmapOverlay.show();
 } function closeHeatmap(){
 heatmapOverlay.hide();
 setTimeout(function(){
 location.reload();
 }, 10000)
 }
 closeHeatmap(); function setGradient(){  var gradient = {};  var colors = document.querySelectorAll("input[type='color']");
  colors = [].slice.call(colors,0);
  colors.forEach(function(ele){
   gradient[ele.getAttribute("data-key")] = ele.value;
  });
 heatmapOverlay.setOptions({"gradient":gradient});
 } //判断浏览区是否支持canvas
 function isSupportCanvas(){ var elem = document.createElement('canvas'); return !!(elem.getContext && elem.getContext('2d'));
 }</script></html>

4、可视化模块

#!/usr/bin/env python3# -*- coding: utf-8 -*-# function:可视化服务# Author:elideng# date: 2017-11-05import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport plotlyimport plotly.plotly as pyimport plotly.graph_objs as go
plotly.tools.set_credentials_file(username='elideng', api_key='tsc3809760')#雷达图显示房屋关注指标def drawRadarMap(chartName, arrLables, arrData, labelNum):
 #数据校验
 if labelNum < 0 or labelNum >10: return -1
 if len(arrLables) != labelNum or len(arrData) != labelNum: return -2
 #=======自己设置开始============
 #标签
 labels = np.array(arrLables) #数据
 data = np.array(arrData) #========自己设置结束============
 angles = np.linspace(0, 2*np.pi, labelNum, endpoint=False)
 data = np.concatenate((data, [data[0]])) # 闭合
 angles = np.concatenate((angles, [angles[0]])) # 闭合
 fig = plt.figure()
 ax = fig.add_subplot(111, polar=True) # polar参数!!
 ax.plot(angles, data, 'bo-', linewidth=2) # 画线
 ax.fill(angles, data, facecolor='r', alpha=0.25)# 填充
 ax.set_thetagrids(angles * 180/np.pi, labels, fontproperties="SimHei")
 ax.set_title(chartName, va='bottom', fontproperties="SimHei")
 ax.set_rlim(0,10)
 ax.grid(True)
 plt.show()#皮尔逊作图def drawPearson():
 return 0

Python 语言

大部分人学 Python 都是作为第二语言来学的,
所以既然已经有了其它语言的基础, 我就推荐 2 个小而美的教程, 百页左右,
不啰嗦

  • 廖雪峰的 Python3
    教程
  • A Byte of
    Python

    • 中文版 : 简明 Python
      教程

先看完这 2 个教程其一, 就可以开始写 Python 了…
遇到不明确的地方再去详细了解, 比如 generator, yield

生产者线程,读取行情

1、Python基础

Python是一种面向对象、解释型自由语言,语法简洁清晰、基础代码库丰富,覆盖网络、文件、GUI、数据库、文本等领域。并能和其他主流语言沟通协助制作。Python主要分为Cpython、Jpython、IronPython、PyPy等。解释型语言可移植行好,但是运行速度不及编译型语言,其次解释型语言源码无法像编译型那样编译成二进制串加密。

编程 2

 

爬虫框架

  1. Scrapy
  2. PySpider

由于公司原因, 我接触的是 Scrapy

Scrapy 是一个相对成熟的框架, 多线程, 并发数, 中间件, 超时, 自定义
header, UA, 数据库存储, Log, 部署 等等都有成熟的解决方案和示例,
这也是我选择使用它的原因.

不错的教程
scrapy爬虫框架教程(一)–
Scrapy入门
利用Scrapy爬取所有知乎用户详细信息并存至MongoDB(附视频和源码)

废话不多说,直接上代码,

2.1.3 Python教你买房系列

1、网页观察

首先确定爬取链家网深圳房源,确定起始地址
log勾选,清空Filter后刷新网页,观察网页html代码。

2、网页爬取

通过Python3的requests库提供的HTTP请求Get/Post通用方法模拟浏览器请求生成所有符合规则的URL放入到队列,并循环请求符合要求的房源信息。请求响应html通过BeautifulSoup解析html,并通过find_all配合正则表达式提取到html有效数据并写入到文件待分析。

编程,3、多线程

爬虫最终目标就是爬取到更多符合用户需求的数据,如果单线程执行,抓取效率有限,因此爬虫需要加上多线程机制。多线程的实现方式有多种,如thread,threading,multithreading,其中thread偏底层,threading对thread进行了一定封装。Python实现多线程的方式有两种函数或类包装。

 #多线程方式
 for i in generate_allurl(user_in_nub, user_in_city): #获取某城市
 print(i) for url in get_allurl(i):
 my_thread = threading.Thread(target=main, args=(url, arrIPList))
 my_thread.start() print(url)
 my_thread.join() print("current has %d threads" % (threading.activeCount() - 1)) #当前存活线程
 #线程池方式
 pool.map(main, [url for url in get_allurl(i)])

4、Headers设置

为避开反爬虫策略,后端请求需要模拟用户正常用户从浏览器请求,因此需要添加请求头。设置方式如下:

header = {'Accept': '*/*', 'Accept-Language': 'en-US,en;q=0.8', 'Cache-Control': 'max-age=0', 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36', 'Connection': 'keep-alive', 'Referer': 'http://www.baidu.com/'}
res = requests.get(url, headers=header)

5、Session设置

6、IP代理池

爬虫出现就诞生了反爬虫,反爬虫的出现就催生了反反爬虫,哲学家黑格尔说过存在就是合理。因此很多技术就是在抗衡中逐渐成长。链家网是有反爬虫IP封锁机制,为了防止反爬虫链接网限制爬取到更多数据样本帮助与分析。因此采用IP代理池的方式,每次请求都随机获取IP和端口访问外部网站。获取IP代理池的方式有付费的和免费的方式可自行网上抓取并分析。

proxies={"http":"http://10.14.36.109:8080"}res = requests.get(url, headers=header, proxies=proxies)

7、监控

爬虫抓取是一个耗时较长的工程,因此需要添加监控,定时上报抓取进度到业务方,确认整个爬虫程序是否正常执行。//TODO

2. 如果你没有自己的服务器, VPS , 可以使用

mLab : 云 MongoDB 服务

原本需要2,3个小时才能执行完成的每日复权行情增量落地,有效缩短至了1小时以内,这里线程数并不上越多越好,由于复权行情读的是新浪接口,在高并发情况下会返回HTTP
503服务器过载的错误,另外高并发下可能需要使用IP代理池,下载的时段也需要尝试多个时段进行。初次尝试,如果有更好的方法或者哪里有考虑不周的地方欢迎留言建议或者指正。

2.2.6 深圳房源成交量热力模型

//TODO

动态页面

  1. 有些页面的数据是 JS 动态加载的, 比如懒加载图片, 滚动加载更多等
    • 此时, 我们直接发送网络请求获取到的页面, 并没有执行 JS 代码,
      所以懒加载的元素都尚为加载出来, 我们需要下面 2 个库.
  2. Python 代码控制 PhantomJS 加载页面, 然后 Selenium 模拟用户点击,
    滚动屏幕, 触发网页中的 AJAX 加载更多内容的请求, 等元素都加载完全,
    再爬取数据

Selenium
: web的自动测试工具, 模拟点击按钮, 滚动页面等
PhantomJS :
没有界面的浏览器

不错的教程
Python爬虫利器五之Selenium的用法
Python爬虫利器四之PhantomJS的用法

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

2.2.1 深圳购房词云分析

根据链家爬取样3199条待售房源,买卖二手房产我们最关系的参数指标词云图。如图所示我们最关注的满五牛,户型方正等。在购房的的时候我们可以按此词云图详细了解每个需要我们关注的参数指标,心有成竹。

编程 3

 

#词云图def drawWordCloud(fileName):

d = path.dirname(__file__) # Read the whole text.

text = open(path.join(d, fileName), encoding=’utf-8′).read() # Generate
a word cloud image 中文必须指定本地中文编码

wordcloud = WordCloud(font_path=”C:WindowsFontssimsun.ttc”, width=2400,
height=1800).generate(text) # Display the generated image:

plt.imshow(wordcloud)

plt.axis(“off”) # lower max_font_size

wordcloud = WordCloud(max_font_size=40).generate(text)

plt.figure()

plt.imshow(wordcloud)

plt.axis(“off”)

plt.show()

Python 爬虫

要写一个爬虫, 可以用一些基本的库, 也可以用爬虫框架 :

相关接口

2.2.7 深圳房源成交量热力模型

网站爬虫的大体思路是 :

  1. 模拟网站登录请求
  2. 网络请求获取网页源代码
  3. CSS selector 或 xpath 选定需要的元素, 获取内容属性等
  4. 结构化数据并存储到数据库
  5. 定时,并发执行爬虫
  • 关于 iOS 的爬虫, 可以参考我之前的文章 iOS 抓取 HTML ,CSS XPath
    解析数据

借助python当中threading模块与Queue模块组合可以方便的实现基于生产者-消费者模型的多线程模型。Jimmy大神的tushare一直是广大python数据分析以及业余量化爱好者喜爱的免费、开源的python财经数据接口包。

1.2 Python库

Python为开发者提供丰富代码库,开发者从不会从零开始开发,基础功能基本已经有现成的成熟的框架或库支持,因此大幅度的提升开发者的开发效率和提高代码健壮性。

编程 4

 

Python很容易学!小编有弄一个交流,互问互答,资源共享的交流学习基地,如果你也是Python的学习者或者大牛都欢迎你来!㪊:548+377+875!一起
学习共同进步!

编程 5

 

深圳房价飞涨,但也阻挡不了祖国各地人民来深圳买房的欲望。深圳房价动辄几百万,程序猿这种动物想在深圳安居压力山大。所以买房必然是人生一重大决定,必须货比三家。当前各种房产中介,各种开发商,各种楼盘。信息多到我们无法掌握。因此程序猿就需要利用专业的优势通过一些方式获取有效数据,分析筛选最优秀的房源。

1. 又或者, 你学习爬虫只是想快捷的抓取数据, 你可以尝试下面的软件(网站), 可以不用写代码, 可视化的编写抓取数据的任务
  • scrapinghub/portia
  • 火车头
  • 八爪鱼
  • import.io

2,日复权行情接口

2.2.2 深圳房源维度分析

深圳房源按多维度分析成交量/成交价趋势和皮尔逊系数分析;放盘量和反叛价分析;房源内部参数(如2.1.1)量化分析,房源外部参数量化分析等方式。最终解释我们购房时比较关心问题如怎么买的心仪的好房,何时是买房最好的时机等。

编程 6

 

部署

在 Scrapy 官网
可以看到, 官方的部署指南,

  • scrapy/scrapyd
    用来本地部署
  • Scrapinghub
    Platform
    是一个类似
    Heroku
    的云平台, 专门部署 Scrapy 爬虫

定义主线程

2.2数据分析 //TODO

大数据时代的网络爬虫爬取到有效信息,需要经过反复清洗、加工、统计、分析、建模等处理方法。数据分析是整合有效信息并详细研究和概括形成结论的过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。

HTML & CSS & JS

w3school
是入门基础, 要用爬虫获取数据, 必须先了解 HTML 的结构

提供股票上市以来所有历史数据,默认为前复权,读取后存到本地,作为后续分析的基础

2.2.8 深圳房源成交量和成交价皮尔逊系数

//TODO
计算皮尔逊系数,确定量价比关系,确认深圳房源当前状态和预测接下来可能的情况(有价有市,有市无价,有价无市),判断当前是否改上车。

基本库

  1. Beautiful
    Soup
    : 从 HTML 获取指定的节点及数据
  2. Requests: HTTP for
    Humans
    : 网络请求库

最核心的就是这 2 个模块, 其它的数据存储, 定时任务, 多线程等都是锦上添花

不错的教程
Python爬虫利器一之Requests库的用法
Python爬虫利器二之Beautiful
Soup的用法
Scrapy笔记11-
模拟登录
Scrapy随机更换User-Agent和实现IP代理池

返回效果

2.2.10 深圳房屋外部指数量化雷达图模型

//TODO 量化外部指标参数(学位,地铁距离,公交具体,公园分布,商圈等)

所以,还不会Python的,想买房的,赶快来学习了!限时抢购哦!

Ref

woodenrobot 的
blog
崔庆才的个人博客

获取沪深上市公司基本情况。属性包括:

1.1.2 Linux

安装Python3.x.x,通过pip安装需要的第三方库。

其它

作用

2.2.5 深圳房源均价涨速热力模型

//TODO
确定涨速最快,最具投资价值的区域,数据来源官网深圳房地产信息系统:

爬虫

from Queue import Queue
stock_queue = Queue()
data_queue = Queue()
lock = threading.Lock()
def main():
 '''
 用于测试多线程读取数据
 :return:
 '''
 #获取环境变量,取得相应的环境配置,上线时不需要再变更代码
 global stock_queue
 global data_queue
 config=os.getenv('FLASK_CONFIG')
 if config == 'default':
  db_url='mysql+pymysql://root:******@localhost:3306/python?charset=utf8mb4'
 else:
  db_url='mysql+pymysql://root:******@localhost:3306/test?charset=utf8mb4'
 db_engine = create_engine(db_url, echo=True)
 conn = db_engine.connect()
 #TODO 增加ts.get_stock_basics()报错的处理,如果取不到信息则直接用数据库中的股票代码信息,来获取增量信息
 #TODO 增加一个标志,如果一个股票代码的最新日期不是最新日期,则需标记该代码不需要重新获取数据,即记录该股票更新日期到了最新工作日,
 df = ts.get_stock_basics()
 df.to_sql('stock_basics',db_engine,if_exists='replace',dtype={'code': CHAR(6)})
 # 计算距离当前日期最大的工作日,以便每日定时更新
 today=time.strftime('%Y-%m-%d',time.localtime(time.time()))
 s1=("select max(t.date) from cron_tradeday t where flag=1 and t.date <='"+ today+"'")
 selectsql=text(s1)
 maxTradeay = conn.execute(selectsql).first()
 # 计算每只股票当前加载的最大工作日期,支持重跑
 s = ("select secucode,max(t.tradeday) from cron_dailyquote t group by secucode ")
 selectsql = text(s)
 result = conn.execute(selectsql) # 执行查询语句
 df_result = pd.DataFrame(result.fetchall())
 df_result.columns=['stockcode','max_tradeday']
 df_result.set_index(df_result['stockcode'],inplace=True)
 # 开始归档前复权历史行情至数据库当中,以便可以方便地计算后续选股模型

 for i in range(3):#使用3个线程
  t = ThreadRead(stock_queue, data_queue)
  t.setDaemon(True)
  t.start()
 for code in set(list(df.index)):
  try:
   #如果当前股票已经是最新的行情数据,则直接跳过,方便重跑。
   #print maxTradeay[0],df_result.loc[code].values[1]
   if df_result.loc[code].values[1] == maxTradeay[0]:
    continue
   startdate=getLastNdate(df_result.loc[code].values[1],1)
  except Exception, e:
   #如果某只股票没有相关的行情,则默认开始日期为2015年1月1日
   startdate='2015-01-01'
  item={}
  item['code']=code
  item['startdate']=startdate
  stock_queue.put(item) # 生成生产者任务队列
 for i in range(3):
  t = ThreadWrite(data_queue, lock, db_engine)
  t.setDaemon(True)
  t.start()
 stock_queue.join()
 data_queue.join()

2.2.4 深圳房源均价热力模型

如图展示深圳深圳房源均价热力模型。//TODO 待分析

编程 7

 

最后

文章是我爬取 V2EX
的学习整理

我的 V2 爬虫 :
V2EX_Crawler

1,股票列表信息接口

2.2.9 深圳房屋内部指数量化雷达图模型

深圳房屋雷达图分析,程序首先会爬取到海量深圳待售的房产信息,等级差=(最高值-最低值)/10的方式把均价,实际使用率,梯户比例,楼层,楼间距等指标划分10等分,然后用户输入自己心仪的房子,程序将计算改房子的指标在海量房产中的雷达位置,帮助用户快速了解心仪房产的参数配置。效果图如下:

编程 8

 

#雷达图显示房屋关注指标def drawRadarMap(chartName, arrLables, arrData, labelNum):
 #数据校验
 if labelNum < 0 or labelNum >10: return -1
 if len(arrLables) != labelNum or len(arrData) != labelNum: return -2
 #=======自己设置开始============
 #标签
 labels = np.array(arrLables) #数据
 data = np.array(arrData) #========自己设置结束============
 angles = np.linspace(0, 2*np.pi, labelNum, endpoint=False)
 data = np.concatenate((data, [data[0]])) # 闭合
 angles = np.concatenate((angles, [angles[0]])) # 闭合
 fig = plt.figure()
 ax = fig.add_subplot(111, polar=True) # polar参数!!
 ax.plot(angles, data, 'bo-', linewidth=2) # 画线
 ax.fill(angles, data, facecolor='r', alpha=0.25)# 填充
 ax.set_thetagrids(angles * 180/np.pi, labels, fontproperties="SimHei")
 ax.set_title(chartName, va='bottom', fontproperties="SimHei")
 ax.set_rlim(0,10)
 ax.grid(True)
 plt.show()

调用方法

2.2.3 深圳房源数据模型

编程 9

 

code,代码
name,名称
industry,所属行业
area,地区
pe,市盈率
outstanding,流通股本(亿)
totals,总股本(亿)
totalAssets,总资产(万)
liquidAssets,流动资产
fixedAssets,固定资产
reserved,公积金
reservedPerShare,每股公积金
esp,每股收益
bvps,每股净资
pb,市净率
timeToMarket,上市日期
undp,未分利润
perundp, 每股未分配
rev,收入同比(%)
profit,利润同比(%)
gpr,毛利率(%)
npr,净利润率(%)
holders,股东人数

2.1.1 Python教你买房维度指标体系

Python教你买房首先我们需要确定我们购房时最关注的维度体系和指标体系。关注主要维度和关键指标体系如图所示:

编程 10

 

Python教你买房,分为数据爬虫和大数据分析。首先通过爬虫方式获取到深圳房产交易网成功交易量和交易价格并得出深圳房价的趋势,得到最合适的购房时间段,确认最佳的上车时间。然后爬取链家网数据并按用户关注维度深度分析帅选得出适宜的房子,做好一切上车的准备。

编程 11

 

class ThreadRead(threading.Thread):
 def __init__(self, queue, out_queue):
  '''
  用于根据股票代码、需要读取的日期,读取增量的日行情数据,
  :param queue:用于保存需要读取的股票代码、起始日期的列表
  :param out_queue:用于保存需要写入到数据库表的结果集列表
  :return:
  '''
  threading.Thread.__init__(self)
  self.queue = queue
  self.out_queue = out_queue
 def run(self):
  while true:
   item = self.queue.get()
   time.sleep(0.5)
   try:
    df_h_data = ts.get_h_data(item['code'], start=item['startdate'], retry_count=10, pause=0.01)
    if df_h_data is not None and len(df_h_data)>0:
     df_h_data['secucode'] = item['code']
     df_h_data.index.name = 'date'
     print df_h_data.index,item['code'],item['startdate']
     df_h_data['tradeday'] = df_h_data.index.strftime('%Y-%m-%d')
     self.out_queue.put(df_h_data)
   except Exception, e:
    print str(e)
    self.queue.put(item) # 将没有爬取成功的数据放回队列里面去,以便下次重试。
    time.sleep(10)
    continue
   self.queue.task_done()

总结

调用方法

class ThreadWrite(threading.Thread):
 def __init__(self, queue, lock, db_engine):
  '''
  :param queue: 某种形式的任务队列,此处为tushare为每个股票返回的最新日复权行情数据
  :param lock: 暂时用连接互斥操作,防止mysql高并发,后续可尝试去掉
  :param db_engine: mysql数据库的连接对象
  :return:no
  '''
  threading.Thread.__init__(self)
  self.queue = queue
  self.lock = lock
  self.db_engine = db_engine

 def run(self):
  while True:
   item = self.queue.get()
   self._save_data(item)
   self.queue.task_done()

 def _save_data(self, item):
   with self.lock:
    try:
     item.to_sql('cron_dailyquote', self.db_engine, if_exists='append', index=False)
    except Exception, e: # 如果是新股,则有可能df_h_data是空对象,因此需要跳过此类情况不处理
     print str(e)

返回结果

平时一直有在用阿里云服务器通过tushare的接口自动落地相关财经数据,但日复权行情数据以往在串行下载的过程当中,速度比较慢,有时遇到网络原因还需要重下。每只股票的行情下载过程中都需要完成下载、落地2个步骤,一个可能需要网络开销、一个需要数据库mysql的存取开销。2者原本就可以独立并行执行,是个典型的“生产者-消费者”模型。

  name industry area  pe outstanding  totals totalAssets
code
600606 金丰投资  房产服务 上海  0.00  51832.01 51832.01 744930.44
002285 世联行  房产服务 深圳 71.04  76352.17 76377.60 411595.28
000861 海印股份  房产服务 广东 126.20  83775.50 118413.84 730716.56
000526 银润投资  房产服务 福建 2421.16  9619.50 9619.50  20065.32
000056 深国商  房产服务 深圳  0.00  14305.55 26508.14 787195.94
600895 张江高科  园区开发 上海 171.60 154868.95 154868.95 1771040.38
600736 苏州高新  园区开发 江苏 48.68 105788.15 105788.15 2125485.75
600663 陆家嘴  园区开发 上海 47.63 135808.41 186768.41 4562074.50
600658 电子城  园区开发 北京 19.39  58009.73 58009.73 431300.19
600648 外高桥  园区开发 上海 65.36  81022.34 113534.90 2508100.75
600639 浦东金桥  园区开发 上海 57.28  65664.88 92882.50 1241577.00
600604 市北高新  园区开发 上海 692.87  33352.42 56644.92 329289.50
producerQueue=Queue()
consumerQueue=Queue()
lock = threading.Lock()
class producerThead(threading.Thread):
 def __init__(self, producerQueue,consumerQueue):
 self.producerQueue=producerQueue
 self.consumerQueue=consumerQueue



 def run(self):
 while not self.thread_stop:
  try:
  #接收任务,如果连续20秒没有新的任务,线程退出,否则会一直执行
  item=self.producerQueue.get(block=True, timeout=20)
  #阻塞调用进程直到有数据可用。如果timeout是个正整数,
  #阻塞调用进程最多timeout秒,
  #如果一直无数据可用,抛出Empty异常(带超时的阻塞调用)
  except Queue.Empty:
  print("Nothing to do!thread exit!")
  self.thread_stop=True
  break
  #实现生产者逻辑,生成消费者需要处理的内容 consumerQueue.put(someItem)
  #还可以边处理,边生成新的生产任务
  doSomethingAboutProducing()
  self.producerQueue.task_done()
 def stop(self):
 self.thread_stop = True

class consumerThead(threading.Thread):
 def __init__(self,lock, consumerQueue):
 self.consumerQueue=consumerQueue
 def run(self):
 while true:
  try:
  #接收任务,如果连续20秒没有新的任务,线程退出,否则会一直执行
  item=self.consumerQueue.get(block=True, timeout=20)
  #阻塞调用进程直到有数据可用。如果timeout是个正整数,
  #阻塞调用进程最多timeout秒,
  #如果一直无数据可用,抛出Empty异常(带超时的阻塞调用)
  except Queue.Empty:
  print("Nothing to do!thread exit!")
  self.thread_stop=True
  break
  doSomethingAboutConsuming(lock)# 处理消费者逻辑,必要时使用线程锁 ,如文件操作等
  self.consumerQueue.task_done()
#定义主线程
def main():
 for i in range(n):#定义n个i消费者线程
 t = ThreadRead(producerQueue, consumerQueue)
 t.setDaemon(True)
 t.start()
 producerTasks=[] #定义初始化生产者任务队列
 producerQueue.put(producerTasks)
 for i in range(n):#定义n个生产者钱程
 t = ThreadWrite(consumerQueue, lock)
 t.setDaemon(True)
 t.start() 
 stock_queue.join()
 data_queue.join()

思路

您可能感兴趣的文章:

  • Python使用代理抓取网站图片(多线程)
  • Python代理抓取并验证使用多线程实现
  • Python实现多线程抓取妹子图
  • python多线程抓取天涯帖子内容示例
  • Python
    多线程抓取图片效率对比
  • 尝试使用Python多线程抓取代理服务器IP地址的示例
  • python实现多线程抓取知乎用户
  • Python实现多线程抓取网页功能实例详解
  • Python之多线程爬虫抓取网页图片的示例代码

实现

import tushare as ts
ts.get_stock_basics()

执行效果

消费者线程,本地存储

ts.get_h_data('002337', start='2015-01-01', end='2015-03-16') #两个日期之间的前复权数据

parameter:
code:string,股票代码 e.g. 600848
start:string,开始日期 format:YYYY-MM-DD 为空时取当前日期
end:string,结束日期 format:YYYY-MM-DD 为空时取去年今日
autype:string,复权类型,qfq-前复权 hfq-后复权 None-不复权,默认为qfq
index:Boolean,是否是大盘指数,默认为False
retry_count : int, 默认3,如遇网络等问题重复执行的次数
pause : int, 默认 0,重复请求数据过程中暂停的秒数,防止请求间隔时间太短出现的问题

return:
date : 交易日期 (index)
open : 开盘价
high : 最高价
close : 收盘价
low : 最低价
volume : 成交量
amount : 成交金额

基于queue与threading模块的线程使用一般采用以下的套路:

   open high close low  volume  amount
date
2015-03-16 13.27 13.45 13.39 13.00 81212976 1073862784
2015-03-13 13.04 13.38 13.37 13.00 40548836 532739744
2015-03-12 13.29 13.95 13.28 12.96 71505720 962979904
2015-03-11 13.35 13.48 13.15 13.00 59110248 780300736
2015-03-10 13.16 13.67 13.59 12.72 105753088 1393819776
2015-03-09 13.77 14.73 14.13 13.70 139091552 1994454656
2015-03-06 12.17 13.39 13.39 12.17 89486704 1167752960
2015-03-05 12.79 12.80 12.17 12.08 26040832 966927360
2015-03-04 13.96 13.96 13.30 12.58 26636174 1060270720
2015-03-03 12.17 13.10 13.10 12.05 19290366 733336768

作用