学者热议:大数据并非越大越好 越发展难题越多_高考-查字典教育资讯网
 
学者热议:大数据并非越大越好 越发展难题越多

首页 > 

高考

 > 学者热议:大数据并非...

学者热议:大数据并非越大越好 越发展难题越多

大数据并非越大越好

大数据:越发展,难题越多

哈佛大学文理研究生院院长

大数据这两年一直是热词。发展中的大数据确实带来了很多有用信息,但也使我们遇到越来越多的难题。其中最大的难题就是如何去伪存真,将那些带来误导的噪音去除。

因此,发展中的大数据需要的不仅是专业的数据信息人才,而是需要更多善于和各个领域的大数据打交道的人,这对统计学的人才培养提出了全新的要求。

大数据统计 事关我们生活的幸福或痛苦

人人都知道,我们生活中很多事情都与大数据发生着关联。以我在哈佛大学教的通识课“生活中的统计:你快乐(或痛苦)的几率”为例。罗曼史就与大数据和统计学有密切关系。现在有不少号称可以帮助大家找到心上人的网站。具体怎么找?通常,网站会做一些调查问卷获得个人信息。同时调查那些相爱的人与他们个人的兴趣爱好、教育背景、家庭情况等有多大的相关性。根据这些搜集到的数据建立一个统计公式,给出一种概率上的预测。当达到一定概率时,网站就会显示两个人匹配。这类统计公式的可靠性建立在大量的数据上,而它的形成需要用到许多统计的思想和方法,包括设计问卷、抽样调查、建立模型、分析数据等等。

另外,酒和巧克力的口感也与大数据处理有关。因为这两者中的变量因素特别多,比如天气、地区、葡萄品种、采集及酿造的方法等;巧克力的可可产地、天气、制作方法等。变量越多,不确定性就越多,越需要统计学家们的工作。

需要专业人才 处理大数据里的“陷阱”

所谓大数据,并非越大越美,越大越有价值。现在大数据研究中,这一点误导很多人。

比如,在美国抽取一个1000人的抽样调查。这个调查若是同样在中国做,要达到同样精度,需要抽取多少人?美国的人口是3.2亿人,中国的人口是美国的4倍多一点。每次我在大学讲座问到这个问题,只有10%以下的人说出正确答案--只需抽样1000人,而绝大多数人认为抽样数必须大于4000。

为什么呢?最简单的比喻是:喝汤时,要确定汤的咸淡,大多数人只需要品几口,并不需要把汤全部喝完。这个判断的准确性取决于什么?这碗汤的均匀度。喝汤前把整碗汤搅拌一下,然后品尝几口,这就是我们所说的随机取样。无论是一小碗汤还是一大桶汤,只要搅拌均匀,尝几小口就够了。同样,去医院验血时,每个人不论是胖是瘦,小孩还是大人,医生都只会抽一点点就可以做出判断。这意味着抽样调查需要有一定的样本,但是一旦超过临界点以后,和母体大小的关系是完全可以忽略的。也就是说,大数据再大,只要科学抽样,哪怕只有百分之零点零零几的均匀抽样,效果也可以比95%不均匀的数据好。

所谓大数据,也不能光看绝对量,并非数据越多结果越可靠。以现在最热的个性化治疗为例。如果一个药对95%的人有效,但对我没有用,那显然这个95%的数字对我毫无意义。

一个真实的例子是,在20世纪80年代,英国有一本杂志登了两种治疗肾结石的方法。文章摘要宣称方法A治疗肾结石,成功率是78%;用方案B的话,成功率是83%。在没有其他信息的情况下,任何人都会认为B方案治疗效果更好。但是仔细阅读那篇文章,你会发现当研究人员把病人分成大结石和小结石两组时,方案A比方案B在每组里的成功率都要高。

为什么会出现这样似乎令人困惑的所谓“辛普生悖论”?我们应该如何运用这样的数据去选择我们个人的治疗方案?这些新的问题会随着大数据的发展越来越多地呈现在我们面前。而且这些都是传统的统计学科中不太会遇到的难题。大数据中这类难题越来越多,这对我们大数据研究带来了越来越多的挑战,当然也为我们的人才培养带来了更多的挑战。

找到更高效方法,解决社会问题和科学问题

■范剑青

普林斯顿大学运筹与金融工程系主任、台湾中研院院士

大数据伴随着技术与信息的革命应运而生,近年来发展非常迅速。大数据发展过程中出现的种种问题也使得一些新的统计思想出现,对统计方法也提出了更高要求。

所谓中国人有中国梦,美国人有美国梦,统计学家也有统计学家的梦。大数据时代,统计学家的梦是找到一些有效的可快速实现的统计方法来解决社会问题和科学挑战。

大数据是信息矿山,有待挖掘与提炼。它是管理决策、商务投资的基因,也是科学技术发展的基石。

大数据,顾名思义,就是大而复杂的数据。互联网、生命科学、工程科学、自然科学、社会学、经济学等都是最先实现大数据化的学科,现在人文、历史学也都数据化了。大数据是刻画当今科学研究与决策的前沿。

大数据有多大?若假设个人电脑的硬盘容量是1TB,2003年全世界数据大约可装满5百万台电脑,现在能装满80亿台,到2020年,全世界数据预计能装满400亿台电脑。这些数据之大可想而知了。

大数据研究是非常有前途的领域。它首先可以为个体化服务提供巨大的便利。科学家们最先想到的是精准医疗,比如,化疗对某些人群有用,对某些人群却有害,这就需要我们考虑引入大数据进行变量的分析。可研究的变量有很多,比如环境因素、个体基因、以及它们的交互作用等,而且人体本身也有很大差异,所以需要从大数据中进行分析和推断。以前医生在一千个病例中看到一个异常值,但不清楚这是特例还是有科学价值的。如今,在一百万个病例中见到一千次异常值,我们就会知道,这些病人需要个体化治疗了。大量的变元和个体的异样性,是研究大数据最本质的难点。

大数据是经济的新资源,发展的新引擎。数据越大,也越容易产生新的问题。也越需要新的解决方案。这就需要有效的崭新的统计学习方法和思想来解决。

大数据分析,既可风险预测,也可寻求因果。比如根据健康大数据预测人体最可能患的疾病,预测最可能得哪一类癌症,这就是大数据下的风险度量。除了预测,人类还希望知道各个因素之间的自变量与因变量的科学关系,从而达到治疗与控制的目的,这是大数据更高一层的应用。

当我们利用大数据进行预测时,最需要解决的是噪音叠加问题。因为大数据涉及到几万个、几百万个乃至数百亿个变量,这就意味着如果每一个变量都造成一点点误差,最后的预测会是很多误差的叠加,亦即失之毫厘,差之千里。

例如我们有3000支股票,要做投资选择的话,至少要分析两两之间的相关系数,3000支股票的相关系数矩阵中有450万个参数,如果对这450万个参数进行估计,就会导致最后的估计误差很大。因此,对大数据的处理最关键的是合理地处理这些变量,将投资风险减少到10%左右。只有在这样低的风险下,投资才能转化成回报。这就是我们通常说的量化投资,量化投资首先是利用市场存在局部的无效性,从中得到套利。例如百度的大数据金融声称他们利用股票搜索的关注度和传统金融理论进行股票投资,可以做得比大市要好得多。如果真是这样的情况,那么最重要的理由就是——大数据金融的量化投资,从关注度中找到新的风险因子。

中国乃至全世界的市场都证明,量化投资仍然有很多套利可寻。中国市场尤其如此——因为美国市场通过统计来量化投资套利的人数比较多,因此获利空间会相对少,而中国这样的人相对少一些,所以获利的机会就多。当然,大数据金融对实体经济有更直接的影响,那就是个人对个人(PtoP)的融资。人们利用大数据来对贷款人偿还能力进行评估,从而得到合理的风险回报。

更多精彩资讯请关注查字典资讯网,我们将持续为您更新最新资讯!

点击显示

推荐文章

猜你喜欢

附近的人在看

推荐阅读

拓展阅读

相关资讯

最新资讯

  • 大家都在看
  • 小编推荐
  • 猜你喜欢
    • 高教 暑假要闻回放
      我校与华电电科院签署联合培养研究生及科技合作框架协议7月下旬,我校校长张铁岩与华电电科院东北分院院长王文杰代表校企双方签署了联合培养研究生及科技合作框架协议。双方将在研究生的联合培养、申请科研项目、开展技术攻关和企业技术改造等多方面开展全面合作。(申爱兵)尚涤尘参加教育部全国毕业生就业典型经验高校座...
    • 考试 辽宁大连市2015年9月职称计算机考...
      四、考试时间考试时间从2015年9月12日起,具体考试时间以准考证为准。五、合格证书领取时间自2015年11月起,每月1-10日(工作日8:30-11:00 13:00-16:30,法定节假日除外)请成绩合格(60分以上,含60分)的考生持本人身份证(如代领,需持考生与代领人身份证)原件及准考证到大...
    • 考试 四川凉山市2015年10月职称计算机...
      由四川人事考试网得知,四川凉山市2015年10月职称计算机考试报名安排如下:报名时间:2015年09月20日-2015年09月26日(报名时不用上传照片)缴费时间:2015年09月20日-2015年09月28日准考证打印时间:2015年10月15日-2015年10月20日(准考证上将不显示照片,逾期...
    • 留学 加拿大留学:怎么看待“双录取”
      加拿大是中国留学生留学最向往的国家。加拿大以严谨的教育体制、完美的英语环境、优厚的福利措施、宽松的移民条件、良好的社会治安而著称。 加拿大留学 现在加拿大部分大学为了帮助留学生提高语言能力,提供免托福或雅思的有条件录取,即 Conditional Admissions。双录取,顾名思义,就是两个录取...
    • 考试 北京2015年第四次职称计算机考试时...
      考试时间及考试注意事项:考试时间为2015年10月24日至28日,具体时间以准考证为准。报考人员凭准考证和本人身份证明原件在规定时间、地点参加考试。考试采取报考人员入场拍照方式采集照片,全部报考人员须于每场考试开始前20分钟到达考试地点。考场规则详见附件3。附件3:考场规则一、应试人员须于每场考试开...
    • 考试 四川宜宾市2015年10月职称计算机...
      由四川人事考试网得知,四川宜宾市2015年10月职称计算机考试报名安排如下:报名时间:2015年09月18日-2015年09月22日(报名时不用上传照片)缴费时间:2015年09月18日-2015年09月22日准考证打印时间:2015年10月06日-2015年10月09日(准考证上将不显示照片,逾期...
    • 考研 2016全国研究生招生咨询会启幕 专...
      2016年全国研究生招生现场咨询会(河南站)在郑州大学拉开帷幕,许多高校纷纷绞尽脑汁招揽学生。数据显示,全国硕士研究生报名人数2014年、2015年两年持续下降,作为考研大省,我省2015年报考人数达到126759人,比2014年减少4410人。与学术硕士相比,专业硕士因学制短、实践性强等优势更受学...
    • 高教 图片资讯
      为确保迎新工作顺利开展,9月11日上午,校长白晋湘,副校长黄昕、冷志明,校党委委员张兰芳一行深入吉首砂子坳校区和大田湾校区检查迎新工作准备情况,相关职能部门负责人陪同检查。
    • 高考 新高三该如何准备第一次月考?
      对于新高三生来说,第一次月考会起到至关重要的作用。它既是对这一个月所学知识的检验,也是考验学生在高考压力下能否放平心态、轻松应战的一个契机。一、抓住基础知识第一次月考题目多为基础知识。部分学生对之前的知识忘记较多,基础知识掌握得不牢固,可能会导致月考失利,影响高三一年复习的信心。所以,高三生备战第一...
    • 高教 2014年,风帆正举 学院党委领导班...
      一年来,我们总是看见党委书记叶飞松及其他院领导忙碌的身影,召开师生座谈会、到各部门调研、与职能部门研讨改革创新的措施、在教师办公室、学生宿舍与师生谈心交流……让我们跟随他们的脚步,看看他们的时间去哪里了?他们在关注什么呢?学习篇——“学习是成长进步的阶梯,实践是提高本领的途径”。 学院党委紧密结合学...
    • 高考 2016高考数学一轮复习:这五大误区...
      数学复习,面广量大,不少同学感到既畏惧,又无从下手。高三一轮复习主要是巩固考生们的基础知识以及对以往的知识进行查缺补漏。相信很多准高三党已经开学或者即将开学。凡事都要打提前量,今天给同学们讲讲高考数学第一轮复习容易陷入五大误区有哪些?首先我们要先了解高三期间复习一般都分为三个阶段:第一轮复习一般从8...
    • 高教 市政府召开我校新校园概念性规划设计方...
      9月11日下午,市政府在市政府常务会议室召开河北工程大学新校园概念性规划设计方案(第四稿)汇报会,市长王会勇主持会议,常务副市长曹子玉、副市长侯华梅出席会议,校党委书记哈明虎、副校长何立新以及市县相关部门负责人参加了会议。会上,天津大学建筑设计研究总院副总建筑师顾志宏汇报了河北工程大学新校园概念性规...
    • 留学 加拿大留学:小留学生需要监护人吗
      去加拿大留学,如果年龄不够18或19岁,需要在加拿大当地有监护人并且准备好相关的监护材料,这似乎是一个最基本的常识。但是当今天我们加拿大办公室接到一个学生的求助后,我觉得有必要把这个事情写成一篇文章,让更多的学生和家长了解。即便你的留学机构不够专业,你了解这个信息后,知道有这样一个事情需要做,也不至...
    • 留学 加拿大留学情况:形势一片大好
      同学们去加拿大留学,怎么能少得了对于加拿大留学形势的关注。下面就随小编一同来了解一下加拿大留学的情况。 加拿大留学,加拿大留学形势一片大好,海外留学生对加拿大经济的贡献日益凸显,越来越受到加政府和教育界的重视。 为保持和强化加拿大在吸引海外学生方面的优势与竞争力,加拿大国际贸易部长埃德·法斯特1月1...
    • 考试 历年计算机二级考试《C语言》高频考题...
      填空题:(1) 算法的复杂度主要包括______复杂度和空间复杂度。 答:时间(2) 数据的逻辑结构在计算机存储空间中的存放形式称为数据的______。答:存储结构#物理结构(3) 若按功能划分,软件测试的方法通常分为白盒测试方法和______测试方法。答:黑盒(4) 如果一个工人可管理多个设施,而...
    • 考试 2015年计算三级《网络技术》考前最...
      一、单选题1下列对IPv6地址FE01:0:0:050D:23:0:0:03D4的简化表示中,错误的是()。A.FE01::50D:23:0:0:03D4B.FE01:0:0:050D:23::03D4C.FEO1:0:0:50D:23::03D4D.FE01::50D:23::03D4参考答案:D...
    • 人才 香港实习改变观念 女生盼北上内地发展
      多名香港大学生到内地实习,不少人更远赴内蒙古及宁夏等较偏远的地区。据报道,香港回归祖国18年,两地学子的交流越趋频繁。不少香港大学生多行一步,把握暑期的空档到内地实习,快人一步了解国情。有法律系的准毕业生连续两年回到内地的律师事务所实习,看到内地对司法的尊重逐步提升,令原本对内地司法制度信心不大的她...
    • 公务员 2015下半年吉林报名缴费人数未达1...
      按照《2015年下半年全省各级机关考试录用公务员公告》规定,对招考职位报名缴费人数未达到1:3比例的招考计划进行了核减或取消。报考备注中标记为“取消计划”职位的19名考生请务必于8月20日8时30分至14时30分期间登录吉林省公务员考试网改报符合资格条件的其他职位,在改报成功后,还须于8月21日14...
    • 留学 加拿大留学:留学签证续签问题
      加拿大留学签证包括学习许可(大签)、出入境签证(小签)。下面就给大家介绍一下这两种签证的续签问题。 大签:学生许可签证(StudyPermit) 1)什么叫大签? 申请人入境加拿大时移民局所发的学生许可(StudyPermit)签证,俗称大签。这个也就是我们所谓的“身份”,就是在加拿大读书的合法身份...
    • 留学 加拿大留学:金融学专业名校介绍
      尽管全球性的金融危机对金融行业造成了一定的创伤,但是金融学专业却一直都是莘莘学子选择专业时的首选。究其原因,金融专业的确在我们日常的工作和生活中发挥着不可代替的作用,从银行、基金公司、保险公司、证券公司到能源公司,金融专业可以说是无处不在。而不管有多少人选择这个专业,国内在金融行业上人才的缺口一直都...
    • 考试 乐山2015年第四次职称计算机考试准...
      乐山市人事考试中心关于2015年第四次(9月)全国职称计算机应用能力考试准考证打印的通知各位考生:乐山市2015年第四次(9月)全国职称计算机应用能力考试定于9月20日至9月22日举行,准考证打印时间为9月14日至9月19日,请广大考生及时登陆四川人事考试网(www.scpta.gov.cn)打印,...
    • 高教 我校隆重举行2015级新生开学典礼
      在这色彩斑斓的金色九月,幽香弥漫的校园又迎来了她的一批新主人。3692名海内外学子怀着对中医药的憧憬,携着悬壶济世的梦想,来到了“中国高等中医教育的摇篮”——南京中医药大学。9月10日上午,我校2015级新生开学典礼在仙林校区体育馆隆重举行。全体校领导、校级调研员、教师代表、校学生工作领导小组成员...
    • 考试 贵州省直考区2015年第八次职称计算...
      考试时间:省直考区实行滚动考试。2015年度第八次考试的报名及网上缴费时间为:2015年9月28日9:30分—9月29日。考试时间为:2015年10月下旬。其余报名和考试时间原则上定为一至两个月组织进行一次,考生可根据本人工作时间和申报职称时间确定参加考试的月份。具体安排请关注2015年贵州省直第八...
    • 高教 弘扬高尚师德 寄望美好未来我校召开庆...
      9月8日上午,我校在办公楼6004会议室隆重召开“弘扬高尚师德,寄望美好未来”庆祝第三十一个教师节座谈会。校长武俊峰主持了会议,并代表学校向全体教职工及退休教职工送上亲切的节日问候。校党委书记申林,校长武俊峰,党委常委、校工会主席毕广民,向全国优秀教师,省级、校级名师及全国微课大赛、全省高校第三届...
    • 高教 市委统战工作会议召开
      8月13日,铁岭市委统战工作会议召开。深入学习习近平总书记重要讲话和中央、省委统战工作会议精神,研究部署全市统一战线工作。铁岭市委书记吴野松出席会议并讲话,市委副书记、市长孙轶主持会议,市人大常委会主任胡俊波出席会议。就学习贯彻中央、省委统战工作会议精神,做好全市统一战线工作,吴野松强调,要认真学...
    • 留学 加拿大留学:会计专业选什么学校
      加拿大留学读会计选什么学校好?下面太傻网为大家推荐了几所会计名校。 多伦多大学 多伦多大学建立于1827年,吸引了世界各地及加拿大国内的顶尖学生。目前多伦多大学已连续多年排在加拿大大学的榜首,被公认为是加拿大综合实力数一数二的优秀大学。世界排名头二十位。 课程特点:多伦多大学会计专业提供丰富多元的课...
    • 考试 贵州省直考区2015年第八次职称计算...
      报名和考试时间:省直考区实行滚动考试。2015年度第八次考试的报名及网上缴费时间为:2015年9月28日9:30分—9月29日。考试时间为:2015年10月下旬。其余报名和考试时间原则上定为一至两个月组织进行一次,考生可根据本人工作时间和申报职称时间确定参加考试的月份。具体安排请关注2015年贵州省...
    • 考试 2015年职称计算机计算机考试合格标...
      一、 全国通用标准2015年度全国职称计算机考试成绩的全国通用标准均为60分(试卷满分为100分)。二、黑龙江省内合格标准2015年度全国职称计算机考试黑龙江省内合格标准为45分(试卷满分为100分)。
    • 考研 “推免服务系统”将于9月22日对考生...
      根据《教育部办公厅关于进一步完善推荐优秀应届本科毕业生免试攻读研究生工作办法的通知》(教学厅〔2014〕5号),教育部建立全国推荐优秀应届本科毕业生免试攻读研究生信息公开暨管理服务系统(网址:http://yz.chsi.com.cn/tm,以下简称推免服务系统),作为推免工作统一的信息备案公开平台...
    • 考试 2015年贵州省直第八次计算机网上报...
      为了更好的服务广大考生,2015年省直考点第八次专业技术人员计算机应用能力考试计划于十月下旬考试,为了给考生提供更加快捷、方便的网上报名服务。做好网上报名服务工作,现将有关事项通知如下:计算机证书有效期为五年,需要职称评审的考生可提前准备本次考试的合格证书、参考证明统一在2016年1月中旬之前发放,...