东方财富股吧爬虫(东方财富网爬虫)

jijinwang

从炙手可热到颇受争议,市场从热情追捧转向冷静观察,曾经的爆款“大数据基金”还需要用业绩为自己正名。

自2014年首只大数据基金——银河定投宝中证腾安指数基金面世以来,大数据基金已经跨越了一个完整的牛熊周期,在市场中也已占据一席之地。

但经过时间与市场的洗礼,昔日被吹爆的大数据因子并没有起到预期的投资效果。

券商中国

表现平平的大数据基金

大数据基金,顾名思义就是对一些特殊的大数据进行定性与定量分析,从而辅助股票投资。

这类大数据因子主要

第一类是搜索数据,即各类搜索引擎上关于证券市场的搜索记录;

第二类来自于财经网站上对行业和个股的

第三类消费数据则来自于大型电商平台的购买记录和线下的pos刷卡记录;

第四类是社交网站和媒体的数据。

尽管怀着从大数据中挖掘股票价值的美好初衷,但经过数年的实践洗礼,大数据基金的表现并不尽如人意。

在下表15只大数据基金中,表现最好的为成立于2017年1月的浙商大数据智选消费基金,自成立以来取得了55%的回报,其2019年的全年收益也位居同类排名前10%。

大成互联网+大数据基金与博时银智大数据100基金紧随其后,自成立以来分别取得了51.76%和44.4%的收益,2019年的区间收益排名也位居同类前20%左右。

然而,从整体上看,依然有超过半数的大数据基金2019年的表现排在同类基金中的后二分之一,其中有5只基金目前依然处于亏损状态。

从绝对收益的角度看,成立时间依然是极大的一个影响因素。成立于2015年的一只大数据基金遭遇了“山顶站岗”的窘境,自成立以来亏损接近25%,几乎位于同类垫底。

值得一提的是,在众多的基金公司中,广发似乎是对大数据最钟情的那一家。

在广发旗下的第一只大数据基金——广发百发大数据100于2015年9月成立以后,又陆陆续续地成立了三只大数据基金,包括广发百发大数据策略成长、广发百发大数据策略价值和广发东财大数据精选。

在这一过程中,广发既尝试利用了多种大数据,包括百度互联网行为大数据(具体表现形式为搜索因子指标)和东方财富网互联网行为大数据(具体表现为东方财富网股吧的舆情动向因子);也尝试运用了成长与价值等多种风格。2019年,上述四只基金中广发百发大数据策略成长排进了同类基金的前50%。

大数据到底靠不靠谱?

据券商中国

理论上来说,搜索数据、舆情信息这样的数据具有高频、实时的特点,基金公司正是希望借助大数据的这些特点从而更加精准地把握股市的动向。

据Wind数据显示,以2019年为例,在大数据股票型基金中,除大成互联网+大数据基金具有较好的选时能力外,其余基金在选股择时上的表现都非常一般。

为何大数据基金符合“逻辑”,又能反应市场实时情绪,却在股市中折戟沉沙?好买基金研究中心分析称,原因主要有三点:

第一,第一代被动指数型基金仓位限制在90%至95%,基金经理无法通过减仓来规避风险,只能增加换手率改善被动的窘境,但终究杯水车薪。

第二,大数据的挖掘仍是一个比较新兴的领域,并无太多前人铺好的路,非常考验基金经理的个人能力。有些基金借大数据热点,并没有真正去挖掘大数据。

第三,目前国内的股民已经上亿,而大数据在几十万甚至几万人的样本中进行筛选,而且很多信息受限于法律规定不得公布,所以数据失真是大概率事件。

有基金经理表示,与成熟市场主要由理性机构投资者构成相比,A股市场仍以散户为主,因此市场受投资者情绪影响很大,投资者情绪可以更多反映在互联网大数据上,但投资者情绪的巨大波动也会带来互联网基金的高贝塔属性,对此投资者要有心理准备。

上述基金经理表示,从目前来看,投资者在市场低位布局该类基金,等待市场热度提升,是比较好的方法。

大数据炒股任重道远

昔日火爆时,全市场大数据基金总规模接近200亿元,而时至今日,却已仅剩不到百亿,生生遭受腰斩。

从上述表格可以看到,大量的大数据基金规模在1个亿左右徘徊,其中招商财经大数据策略基金规模仅剩1600余万,已低于清盘线。

目前,规模最大的南方大数据100基金实际上也经历了巨幅缩水。在顶峰时期,其规模曾达100亿元,而近年来投资者不断赎回,目前规模30亿不到。

尽管大数据基金的表现不够出彩,但大数据在投资中的作用依然不可忽略。

某大型公募基金人士表示,交易数据资源运用的未来无可限量,应加强对交易数据各种场景的分析,运用网络爬虫技术做好舆情与预警监控,通过对历史交易数据进行分析、画像,客观评估产品的风险及收益特征;同时,实现可视化分析,做好数据管理和质量监控也是需要进行的工作。

另一方面,在制度和机制建设上,加强交易数据资源商业化,让数据提供商和服务商提供规范、准确、快速的服务;提高专业化处理数据的能力;同时加强市场机构主体数据信息权益及安全隐私保护。


一:东方财富 爬虫

东方财富:申购代码300059、发行价40.58元、发行量3500万股、申购限额2.8万股。简介:东方财富信息股份有限公司是一家专注于为客户提供金融信息资讯的企业.公司通过网站平台和各专业频道提供专业的、及时的、海量的资讯信息,满足广大互联网用户对财经资讯和金融信息的需求,同时提供财经互动社区平台,满足用户互动交流和体验分享需求

二:东方财富网爬虫

这里是各行业大的数据平台,对于这种数据类平台如果需要批量获取的话,可以使用爬虫软件来进行采集,我一般用ForeSpider来采集,速度快,功能很全。

互联网数据

营销查询:

  1. 5118 / chinaz:支持查询网站排名及发展趋势、百度收录情况等信息
  2. 百度指数:百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱
    1. 易观智库:199IT导航的母网站,权威的互联网数据平台,涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告
    2. 艾瑞网:高频率更新互联网前沿的新闻资讯、分析报告,旗下包括艾瑞指数、艾瑞咨询等
    3. 艾媒网:艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向
    4. CBNDdata:以阿里巴巴的商业数据库为基础,输出产业经济分析报告
    5. QuestMobile:周期性地发布一些关于APP的研究报告
    6. 阿里研究院:阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关
    7. 360研究报告:360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究
    8. 中国互联网信息研究中心:经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告
    9. 中国信通院:针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观
    10. 中国互联网数据平台:提供全国各地区互联网发展报告、基础数据及研究分析报告,数据及报告偏向学术性研究
    11. 清博大数据:提供

      1. 水土保持生态建设网http://www.swcc.org.cn/
      2. 黄河风情http://www.yellowriver.org/
      3. 黄河流域数据中心http://henu.geodata.cn/index.jsp
      4. 黄土高原水土保护数据库http://www.loess.csdb.cn/
      5. 数字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
      6. 大气科学数据库http://data.iap.ac.cn/
      7. 中国气象科学数据http://cdc.cma.gov.cn/
      8. 中国气象科学数据共享服务网http://cdc.cma.gov.cn/
      9. 全球森林土地覆盖动态http://www.fao.org/gtos/gofc-gold/
      10. FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林资源
      11. NOAAhttp://www.noaa.gov/美国国家海洋和大气管理局
      12. NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美国国家气候数据中心
      13. 国际水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
      14. 气候研究所http://www.cru.uea.ac.uk/
      15. 植被覆盖数据http://www.vgt.vito.be/

      环境数据:

      1. 黄土区农业与生态环境数据分中心http://loess.geodata.cn/
      2. 东北黑土农业生态数据库http://www.blackland.csdb.cn/default.asp
      3. 中国西部环境与生态科学数据中心http://westdc.westgis.ac.cn/
      4. 西部数据中心http://westdc.westgis.ac.cn/data
      5. 黄土高原区域数据共享运行服务中心http://loess.geodata.cn/Portal/?isCookieChecked=true

      遥感数据:

      1. 地面站RS地图查询http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
      2. 甘肃省基础地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
      3. 遥感数据网络资源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
      4. 中国遥感数据网http://ids.ceode.ac.cn/
      5. GLCF http://glcf.geodata.cn/etm/Welcome.do
      6. GIS FORUM http://www.gisforum.net/全球最大的GIS中文门户网站
      7. 遥感数据共享http://ids.ceode.ac.cn/

      政府数据

      1. 新加坡政府公开数据:提供新加坡各类数据
      2. 美国政府公开数据:提供美国全国各类数据
      3. 法国政府公开数据:法国政府开放数据平台
      4. 英国政府公开数据:提供英国各类数据
      5. 国家数据:中国国家统计局权威数据
      6. 中国统计年鉴:1999年至今中国统计年鉴,国家统计局官网,提供单页Excel文件

        1. 地理国情监测云平台 http://www.dsac.cn/
        2. 中国资源卫星应用中心 http://www.cresda.com/cn/profile.htm
        3. 中国自然资源数据库 http://www.data.ac.cn/index.asp
        4. 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
        5. 中国地球系统科学数据共享网 http://www.geodata.cn:8086/Metadata/index.jsp
        6. 国家地球系统科学数据共享服务平台 http://www.geodata.cn/
        7. PM25.in | PM2.5(细颗粒物)及空气质量指数(AQI)实时查询!:中国空气质量监测实时数据http://pm25.in/
        8. 国际科学数据服务平台 http://datamirror.csdb.cn/index.jsp
        9. 原始数据搜索 https://wist.echo.nasa.gov/api
        10. 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
        11. 世界聚集人口数据 http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
        12. 光谱数据分析网站 http://modis.gsfc.nasa.gov/
        13. 美国航空航天局NASA http://daac.gsfc.nasa.gov/
        14. 城市轨道交通http://www.ntsg.umt.edu/
        15. 人地系统主题数据库http://webpanda.iis.u-tokyo.ac.jp/

        影像数据:

        1. USGS Earth Explorer:提供Landsat、MODIS等数据
        2. ESA’s Sentinel Mission:提供Sentinel系列卫星数据,可以

          其他细分行业数据

          1. 中研网数据:提供医疗、房产、制造业、服务业、零售消费、车辆等全行业数据
          2. 中国报告大厅:提供各行各业的基础数据、调查报告、分析报告、预测报告,种类丰富
          3. CADMAPPER:世界各大城市的DXF文件,原始数据源为OSM,NASA,USGS
          4. 亚马逊网络服务公共数据集:跨科学云数据平台,包含化学、生物、经济等多个领域的数据集
          5. Awesome Public Datasets:Github公共数据搜集项目,自然科学、社会科学覆盖较面,包含各个细分领域的数据库资源。
          6. figshare:数据分析与研究成果共享平台。
          7. 英国公开数据浏览工具:James Trimble制作的英国数据可视化浏览工具集;
          8. 数据法国:法国各类数据的可视化呈现;
          9. DataEye:基于国内游戏、汽车行业数据,进行多角度的行业调查报告撰写发布
          10. CBO中国票房:基于国内票房数据,统计票房排行、上座率等信息。
          11. 易车指数:反映国内汽车销售市场,为购车者或汽车从业者提供参考的数据指数
          12. 高德地图:支持实时查看国内交通情况,此外高德周期性提供一系列数据报告
          13. 房天下:提供中国指数研究院和CREIS中指数据,展示国内房地产数据情况
          14. 艺恩:CBO中国票房数据的提供方,提供一些行业数据报告,如动漫IP价值研究报告