学者热议:大数据并非越大越好 越发展难题越多_高考-查字典教育资讯网
 
学者热议:大数据并非越大越好 越发展难题越多

首页 > 

高考

 > 学者热议:大数据并非...

学者热议:大数据并非越大越好 越发展难题越多

大数据并非越大越好

大数据:越发展,难题越多

哈佛大学文理研究生院院长

大数据这两年一直是热词。发展中的大数据确实带来了很多有用信息,但也使我们遇到越来越多的难题。其中最大的难题就是如何去伪存真,将那些带来误导的噪音去除。

因此,发展中的大数据需要的不仅是专业的数据信息人才,而是需要更多善于和各个领域的大数据打交道的人,这对统计学的人才培养提出了全新的要求。

大数据统计 事关我们生活的幸福或痛苦

人人都知道,我们生活中很多事情都与大数据发生着关联。以我在哈佛大学教的通识课“生活中的统计:你快乐(或痛苦)的几率”为例。罗曼史就与大数据和统计学有密切关系。现在有不少号称可以帮助大家找到心上人的网站。具体怎么找?通常,网站会做一些调查问卷获得个人信息。同时调查那些相爱的人与他们个人的兴趣爱好、教育背景、家庭情况等有多大的相关性。根据这些搜集到的数据建立一个统计公式,给出一种概率上的预测。当达到一定概率时,网站就会显示两个人匹配。这类统计公式的可靠性建立在大量的数据上,而它的形成需要用到许多统计的思想和方法,包括设计问卷、抽样调查、建立模型、分析数据等等。

另外,酒和巧克力的口感也与大数据处理有关。因为这两者中的变量因素特别多,比如天气、地区、葡萄品种、采集及酿造的方法等;巧克力的可可产地、天气、制作方法等。变量越多,不确定性就越多,越需要统计学家们的工作。

需要专业人才 处理大数据里的“陷阱”

所谓大数据,并非越大越美,越大越有价值。现在大数据研究中,这一点误导很多人。

比如,在美国抽取一个1000人的抽样调查。这个调查若是同样在中国做,要达到同样精度,需要抽取多少人?美国的人口是3.2亿人,中国的人口是美国的4倍多一点。每次我在大学讲座问到这个问题,只有10%以下的人说出正确答案--只需抽样1000人,而绝大多数人认为抽样数必须大于4000。

为什么呢?最简单的比喻是:喝汤时,要确定汤的咸淡,大多数人只需要品几口,并不需要把汤全部喝完。这个判断的准确性取决于什么?这碗汤的均匀度。喝汤前把整碗汤搅拌一下,然后品尝几口,这就是我们所说的随机取样。无论是一小碗汤还是一大桶汤,只要搅拌均匀,尝几小口就够了。同样,去医院验血时,每个人不论是胖是瘦,小孩还是大人,医生都只会抽一点点就可以做出判断。这意味着抽样调查需要有一定的样本,但是一旦超过临界点以后,和母体大小的关系是完全可以忽略的。也就是说,大数据再大,只要科学抽样,哪怕只有百分之零点零零几的均匀抽样,效果也可以比95%不均匀的数据好。

所谓大数据,也不能光看绝对量,并非数据越多结果越可靠。以现在最热的个性化治疗为例。如果一个药对95%的人有效,但对我没有用,那显然这个95%的数字对我毫无意义。

一个真实的例子是,在20世纪80年代,英国有一本杂志登了两种治疗肾结石的方法。文章摘要宣称方法A治疗肾结石,成功率是78%;用方案B的话,成功率是83%。在没有其他信息的情况下,任何人都会认为B方案治疗效果更好。但是仔细阅读那篇文章,你会发现当研究人员把病人分成大结石和小结石两组时,方案A比方案B在每组里的成功率都要高。

为什么会出现这样似乎令人困惑的所谓“辛普生悖论”?我们应该如何运用这样的数据去选择我们个人的治疗方案?这些新的问题会随着大数据的发展越来越多地呈现在我们面前。而且这些都是传统的统计学科中不太会遇到的难题。大数据中这类难题越来越多,这对我们大数据研究带来了越来越多的挑战,当然也为我们的人才培养带来了更多的挑战。

找到更高效方法,解决社会问题和科学问题

■范剑青

普林斯顿大学运筹与金融工程系主任、台湾中研院院士

大数据伴随着技术与信息的革命应运而生,近年来发展非常迅速。大数据发展过程中出现的种种问题也使得一些新的统计思想出现,对统计方法也提出了更高要求。

所谓中国人有中国梦,美国人有美国梦,统计学家也有统计学家的梦。大数据时代,统计学家的梦是找到一些有效的可快速实现的统计方法来解决社会问题和科学挑战。

大数据是信息矿山,有待挖掘与提炼。它是管理决策、商务投资的基因,也是科学技术发展的基石。

大数据,顾名思义,就是大而复杂的数据。互联网、生命科学、工程科学、自然科学、社会学、经济学等都是最先实现大数据化的学科,现在人文、历史学也都数据化了。大数据是刻画当今科学研究与决策的前沿。

大数据有多大?若假设个人电脑的硬盘容量是1TB,2003年全世界数据大约可装满5百万台电脑,现在能装满80亿台,到2020年,全世界数据预计能装满400亿台电脑。这些数据之大可想而知了。

大数据研究是非常有前途的领域。它首先可以为个体化服务提供巨大的便利。科学家们最先想到的是精准医疗,比如,化疗对某些人群有用,对某些人群却有害,这就需要我们考虑引入大数据进行变量的分析。可研究的变量有很多,比如环境因素、个体基因、以及它们的交互作用等,而且人体本身也有很大差异,所以需要从大数据中进行分析和推断。以前医生在一千个病例中看到一个异常值,但不清楚这是特例还是有科学价值的。如今,在一百万个病例中见到一千次异常值,我们就会知道,这些病人需要个体化治疗了。大量的变元和个体的异样性,是研究大数据最本质的难点。

大数据是经济的新资源,发展的新引擎。数据越大,也越容易产生新的问题。也越需要新的解决方案。这就需要有效的崭新的统计学习方法和思想来解决。

大数据分析,既可风险预测,也可寻求因果。比如根据健康大数据预测人体最可能患的疾病,预测最可能得哪一类癌症,这就是大数据下的风险度量。除了预测,人类还希望知道各个因素之间的自变量与因变量的科学关系,从而达到治疗与控制的目的,这是大数据更高一层的应用。

当我们利用大数据进行预测时,最需要解决的是噪音叠加问题。因为大数据涉及到几万个、几百万个乃至数百亿个变量,这就意味着如果每一个变量都造成一点点误差,最后的预测会是很多误差的叠加,亦即失之毫厘,差之千里。

例如我们有3000支股票,要做投资选择的话,至少要分析两两之间的相关系数,3000支股票的相关系数矩阵中有450万个参数,如果对这450万个参数进行估计,就会导致最后的估计误差很大。因此,对大数据的处理最关键的是合理地处理这些变量,将投资风险减少到10%左右。只有在这样低的风险下,投资才能转化成回报。这就是我们通常说的量化投资,量化投资首先是利用市场存在局部的无效性,从中得到套利。例如百度的大数据金融声称他们利用股票搜索的关注度和传统金融理论进行股票投资,可以做得比大市要好得多。如果真是这样的情况,那么最重要的理由就是——大数据金融的量化投资,从关注度中找到新的风险因子。

中国乃至全世界的市场都证明,量化投资仍然有很多套利可寻。中国市场尤其如此——因为美国市场通过统计来量化投资套利的人数比较多,因此获利空间会相对少,而中国这样的人相对少一些,所以获利的机会就多。当然,大数据金融对实体经济有更直接的影响,那就是个人对个人(PtoP)的融资。人们利用大数据来对贷款人偿还能力进行评估,从而得到合理的风险回报。

更多精彩资讯请关注查字典资讯网,我们将持续为您更新最新资讯!

点击显示

推荐文章

猜你喜欢

附近的人在看

推荐阅读

拓展阅读

相关资讯

最新资讯

  • 大家都在看
  • 小编推荐
  • 猜你喜欢
    • 考研 2017考研答疑英语备考的6个关键问...
        2017考研复习在路上,起步很重要,不可落后,下面6个问题是考研英语复习中遇到的关键问题,早点解决有利于提升复习效率。  一、关于基础  问:以前没怎么好好学,英语几乎零基础;  高中有一定的基础,但学的知识差不多全忘光了;  基础薄弱,学好英语有捷径吗?  答:考研英语的水平是相当难的,设题上...
    • 考试 2016年司法考试《行政法》每日一题...
        单项选择题  某区环保局因某新建水电站未报批环境影响评价文件,且已投入生产使用,给予其罚款10万元的处罚。水电站不服,申请复议,复议机关作出维持处罚的复议决定书。下列哪一说法是正确的?( )  A.复议机构应当为某区政府  B.如复议期间案件涉及法律适用问题,需要有权机关作出解释,行政复议终止 ...
    • 考试 2016司法考试《刑事诉讼法》每日一...
        单项选择题  关于期间的计算,下列哪一选项是正确的?(  )  A.重新计算期限包括公检法的办案期限和当事人行使诉讼权利的期限两种情况  B.上诉状或其他法律文书在期满前已交邮的不算过期,已交邮是指在期间届满前将上诉状或其他法律文书递交邮局或投入邮筒内  C.法定期间不包括路途上的时间,比如有关...
    • 考试 2016年司法考试《刑事诉讼法》每日...
        单项选择题  王某被姜某打伤致残,在开庭审判前向法院提起附带民事诉讼,并提出财产保全的申请。法院对于该申请的处理,下列哪一选项是正确的?(  )  A.不予受理  B.可以采取查封、扣押或者冻结被告人财产的措施  C.只有在王某提供担保后,法院才予以财产保全  D.移送财产所在地的法院采取保全措...
    • 考试 2016司法考试《行政法》每日一题(...
        多项选择题  被申请行政复议的具体行政行为有下列哪些情形的,行政复议机关可以作出变更决定?( )  A.事实清楚,证据确凿,适用依据正确,程序违法的  B.事实清楚,证据确凿,适用依据错误,程序合法的  C.事实清楚,证据确凿,适用依据正确,程序合法,但是明显不当的  D.事实不清,证据不足,复...
    • 考试 2016司法考试《民事诉讼法》每日一...
        多项选择题  关于无独立请求权第三人,下列哪些说法是错误的?( )  A.无独立请求权第三人在诉讼中有自己独立的诉讼地位  B.无独立请求权第三人有权提出管辖异议  C.一审判决没有判决无独立请求权第三人承担民事责任的,无独立请求权的第三人不可以作为上诉人或被上诉人  D.无独立请求权第三人有权...
    • 考试 2016年司法考试《刑事诉讼法》每日...
        单项选择题  韩某和苏某共同殴打他人,致被害人李某死亡、吴某轻伤,韩某还抢走吴某的手机。后韩某被抓获,苏某在逃。关于本案的附带民事诉讼,下列哪一选项是正确的?(  )  A.李某的父母和祖父母都有权提起附带民事诉讼  B.韩某和苏某应一并列为附带民事诉讼的被告人  C.吴某可通过附带民事诉讼要求...
    • 考试 2016司法考试《行政法》每日一题(...
        多项选择题  下列当事人提起的诉讼,哪些属于行政诉讼受案范围?( )  A.某造纸厂向市水利局申请发放取水许可证,市水利局作出不予许可决定,该厂不服而起诉  B.食品药品监管局向申请餐饮服务许可证的李某告知补正申请材料的通知,李某认为通知内容违法而起诉  C.化肥厂附近居民要求环保局提供对该厂排...
    • 地方 上海:设学校体育运动保障基金 最高保...
        记者获悉,上海市教委与中国人寿共同设立学校体育运动专项保障基金,学生发生意外事故后,不谈责任认定,先行给予保障,最高金额50万元。   该基金保障以意外运动事故的发生为依据,不涉及对学校及学生的责任认定。保障范围涵盖体育课、体育比赛、体育活动、体育训练等校园内的体育运动,包括意外身故、猝死、伤残...
    • 考试 2016年司法考试《法理学》每日一题...
        多项选择题  《物权法》第一百一十六条规定:“天然孳息,由所有权人取得;既有所有权人又有用益物权人的,由用益物权人取得。当事人另有约定的,按照约定。法定孳息,当事人有约定的,按照约定取得;没有约定或者约定不明确的,按照交易习惯取得。”关于这一规定,下列哪一说法是错误的?( )  A. 该规定属于...
    • 考研 六大师范高校就业率北师大最高 本科生...
        近日,教育部直属的75所院校陆续公布了2015届高校毕业生就业质量年度报告,其中北京师范大学、华东师范大学、东北师范大学、陕西师范大学、西南大学和华中师范大学6所师范类高校毕业生都去哪儿了?
    • 考试 2016司法考试《刑事诉讼法》每日一...
       多项选择题  在下列何种情形下,经公诉人建议法庭延期审理的时间一次不得超过1个月?(  )  A.发现事实不清、证据不足的  B.发现遗漏罪行、遗漏同案犯罪嫌疑人,需要补充侦查或者补充提供证据的  C.发现遗漏罪行或者遗漏同案犯罪嫌疑人,虽不需要补充侦查和补充提供证据,但需要提出追加或者变更起诉的...
    • 考试 2016司法考试《国际法》每日一题(...
        单项选择题  甲乙二国建立正式外交关系数年后,因两国多次发生边境冲突,甲国宣布终止与乙国的外交关系。根据国际法相关规则,下列哪一选项是正确的?( )  A.甲国终止与乙国的外交关系,并不影响乙国对甲国的承认  B.甲国终止与乙国的外交关系,表明甲国不再承认乙国作为一个国家  C.甲国主动与乙国断...
    • 考试 2016司法考试《民事诉讼法》每日一...
        单项选择题  某市法院受理了中国人郭某与外国人珍妮的离婚诉讼,郭某委托黄律师作为代理人,授权委托书中仅写明代理范围为“全权代理”。关于委托代理的表述,下列哪一选项是正确的?( )  A.郭某已经委托了代理人,可以不出庭参加诉讼  B.法院可以向黄律师送达诉讼文书,其签收行为有效  C.黄律师可以...
    • 考试 2016年司法考试《经济法》每日一题...
        多项选择题  东星公司新建的化工生产线在投入生产过程中,下列哪些行为违反《劳动法》规定?( )  A. 安排女技术员参加公司技术攻关小组并到位于地下的设备室进行检测  B. 在防止有毒气体泄漏的预警装置调试完成之前,开始生产线的试运行  C. 试运行期间,从事特种作业的操作员已经接受了专门培训,...
    • 考试 2016司法考试《国际经济法》每日一...
        多项选择题  针对甲国一系列影响汽车工业的措施,乙、丙、丁等国向甲国提出了磋商请求。四国均为世界贸易组织成员。关于甲国采取的措施,下列哪些是《与贸易有关的投资措施协议》禁止使用的?( )  A.要求汽车生产企业在生产过程中必须购买一定比例的当地产品  B.依国产化率对汽车中使用的进口汽车部件减税...
    • 地方 北京东城正制定2016幼升小入学优先...
        在学区发展不平衡、学位分布不均衡的情况下,如何保障学生入学?昨日东城区教委表示,正研究制定入学优先序列,拟按照户口、居住年限等顺序安排入学;学位特别紧张的学区,则会向相邻学区“借位”安排适龄儿童入学。   另外,根据东城区教委昨日发布的2015-2016年第二学期教育改革任务单,东城区今年还会在...
    • 考试 2016年司法考试《商法》每日一题(...
        单项选择题  某城市商业银行在合并多家城市信用社的基础上设立,其资产质量差,经营队伍弱,长期以来资本充足率、资产流动性、存贷款比例等指标均不能达到监管标准。  某日,该银行行长卷款潜逃。事发后,大量存款户和票据持有人前来提款。该银行现有资金不能应付这些提款请求,又不能由同行获得拆借资金。根据相关...
    • 考试 2016年司法考试《司法制度》每日一...
        单项选择题  关于司法和司法制度,下列哪一选项是错误的?( )  A. 现代社会,司法构成社会纠纷解决体系中最具普适性的方式,法院已成为最主要的纠纷解决主体  B. 法官自由裁量应力求达到合法与合理高度统一,尽可能地减少法律适用过程中的不确定性,防止司法擅断与专横  C. 通过对不同的案件采用不...
    • 考试 2016司法考试《刑事诉讼法》每日一...
        单项选择题  关于刑期计算,下列哪一说法是不正确的?(  )  A.甲被判处拘役六个月,其被指定居所监视居住154天的期间折抵刑期154天  B.乙通过贿赂手段被暂予监外执行,其在监外执行的267天不计入执行刑期  C.丙在暂予监外执行期间脱逃,脱逃的78天不计入执行刑期  D.丁被判处管制,其...
    • 考试 2016年司法考试《国际经济法》每日...
        单项选择题  中国某化工产品的国内生产商向中国商务部提起对从甲国进口的该类化工产品的反补贴调查申请。依我国相关法律规定,下列哪一选项是正确的?( )  A.商务部认为必要时可以强制出口经营者作出价格承诺  B.商务部认为有必要出境调查时,必须通过司法协助途径  C.反补贴税税额不得超过终裁决定确...
    • 考试 2016年司法考试《国际经济法》每日...
        单项选择题  中国甲公司(买方)与某国乙公司签订仪器买卖合同,付款方式为信用证,中国丙银行为开证行,中国丁银行为甲公司申请开证的保证人,担保合同未约定法律适用。乙公司向信用证指定行提交单据后,指定行善意支付了信用证项下的款项。后甲公司以乙公司伪造单据为由,向中国某法院申请禁止支付令。依我国相关法...
    • 高教 教育部:发布新修订《普通高等学校图书...
      北京1月21日电 为适应高等学校图书馆事业发展需要,教育部21日发布了最新修订的《普通高等学校图书馆规程》,其中规定,高校图书馆在学校授权范围内实行馆长负责制,专业馆员的数量应不低于馆员总数的50%,并且一般应具有硕士研究生及以上层次学历或高级专业技术职务。   规程规定,高校应由一名校级领导分管图...
    • 考试 2016年司法考试《行政法》每日一题...
        多项选择题  某县地税局将个体户沈某的纳税由定额缴税变更为自行申报,并在认定沈某申报税额低于过去纳税额后,要求沈某缴纳相应税款、滞纳金,并处以罚款。沈某不服,对税务机关下列哪些行为可以直接向法院提起行政诉讼?( )  A.由定额缴税变更为自行申报的决定  B.要求缴纳税款的决定  C.要求缴纳滞...
    • 考试 2016司法考试《国际法》每日一题(...
        单项选择题  甲国在其宣布的专属经济区水域某暗礁上修建了一座人工岛屿。乙国拟铺设一条通过甲国专属经济区的海底电缆。根据《联合国海洋法公约》,下列哪一选项是正确的?( )  A.甲国不能在该暗礁上修建人工岛屿  B.甲国对建造和使用该人工岛屿拥有管辖权  C.甲国对该人工岛屿拥有领土主权  D.乙...
    • 考试 2016年司法考试《国际法》每日一题...
        多项选择题  经乙国同意,甲国派特别使团与乙国进行特定外交任务谈判,甲国国民贝登和丙国国民奥马均为使团成员,下列哪些选项是正确的?( )  A.甲国对奥马的任命需征得乙国同意,乙国一经同意则不可撤销此项同意  B.甲国特别使团下榻的房舍遇到火灾而无法获得使团团长明确答复时,乙国可以推定获得同意进...
    • 考试 2016司法考试《民事诉讼法》每日一...
        单项选择题  2011年7月11日,A市升湖区法院受理了黎明丽(女)诉张成功(男)离婚案。7月13日,升湖区法院向张成功送达了起诉状副本。7月18日,张成功向升湖区法院提交了答辩状,未对案件的管辖权提出异议。8月2日,张成功向升湖区法院提出管辖权异议申请,称其与黎明丽已分居2年,分别居住于A市安...
    • 考试 2016司法考试《民事诉讼法》每日一...
       单项选择题  甲与乙对一古董所有权发生争议诉至法院。诉讼过程中,丙声称古董属自己所有,主张对古董的所有权。下列哪一说法是正确的?( )  A.如丙没有起诉,法院可以依职权主动追加其作为有独立请求权第三人  B.如丙起诉后认为受案法院无管辖权,可以提出管辖权异议  C.如丙起诉后经法院传票传唤,无正...
    • 考试 2016年司法考试《民事诉讼法》每日...
        单项选择题  关于当事人适格的表述,下列哪一选项是错误的?( )  A.当事人诉讼权利能力是作为抽象的诉讼当事人的资格,它与具体的诉讼没有直接的联系;当事人适格是作为具体的诉讼当事人资格,是针对具体的诉讼而言的  B.一般来讲,应当以当事人是否是所争议的民事法律关系的主体,作为判断当事人适格标准...
    • 考试 2016司法考试《行政法》每日一题(...
        多项选择题  甲取得了县房产局颁发的扩大原地基和建筑面积的建房许可证,阻碍了邻居乙的正常通行,乙与甲协商未果,向市房产局提起行政复议。下列哪些说法是正确的?( )  A.乙可以委托两名代理人参加行政复议  B.市房产局应当通知甲作为第三人参加行政复议  C.若复议过程中第三人甲意外死亡,行政复议...