新兴职业：数据科学家-伍加-万维博客-万维读者网（电脑版）

网络日志正文

		新兴职业：数据科学家	2010-03-10 07:30:57

【科学技术(3)】

新兴职业：数据科学家

伍加，2010年3月10日

世界正在朝着数字化方向飞速发展：数字媒体、数字电话、数字社区、数字政府、电子病历、虚拟世界，等等。当世界越来越数字化时，电子信息不断增加，海量数据不断膨胀，分析和理解数据就变得越来越重要。

世界上最大的连锁零售企业沃尔玛每小时处理一百多万个客户，每小时向它的后台服务部的数据库存入2.5 petabytes 的信息，这相当于 167 个美国国会图书馆的藏书信息。沃尔玛的信息主管（Chief Information Officer）Rollin Ford 说：“我每天早晨反复问自己，我怎样才能把这些海量信息处理好、管理好、分析好？”　Facebook 存有400 亿张照片，每天都有成千上万的新照片加入进去。人类基因库含有 30 亿对基因组，针对某组基因制造出“定向”药品已经进入试验阶段，它需要对基因库进行快速查询。对海量信息的处理和管理显得日益重要，因此一种新的职业“数据科学家”会应运而生。

数字化和信息爆炸会不会带来不良后果？信息太多了会让人们感到无所适从；数据无所不在时会出现信息安全的问题，那些不该公布的信息会引起不良后果。比如加州欧克兰城市警察局办了一个网站叫做“欧克兰犯罪观察”，它把奥克兰市警察逮捕罪犯的数据全都公布出来，比如何时何地由于何种原因警察逮捕了何人，等等。根据这些历史信息，人们发现奥克兰警察从来不在星期三晚上扫黄打非，这就给做皮肉生意的犯罪分子有机可乘。当然，这只是并不普遍的疏漏而已。利弊相比，数字化和信息爆炸为人类生活带来的还是利大于弊。

数据已成为企业的原材料，以数据为中心的经济正在出现。商业智情，也称作BI（它是英文单词Business Intelligence的缩写），就是利用对大量的数据进行分析、挖掘、和综合，从而为企业决策做出有效的帮助。所以，商业智情可以算作数据科学家的工作内容之一。一些比较专业化的数据科学家也会出现，比如数据分析师、数据挖掘师、数据可视化设计师等等。

数据科学家需要有软件工程、统计学、图形学、数据挖掘等领域的知识。面对信息爆炸，面对海量数据，简单的表格（spreadsheet）工具已经过时。大多数的商业应用需要根据海量数据迅速作出决策，这就需要有对各种数据进行去粗取精、去伪存真、由此及彼、由表及里的有效分析工具，因为那些海量信息可以来自于各类报表，同时也来自于各个部门的异种数据库，还有大量的数据来自于互联网，它们有各自不同的数据格式和存取方式。简单地说，数据科学家需要具备三种能力，精通四门学科。这三种能力是：

统计分析能力；
对数据的提取与综合能力；以及
数据的可视化表示能力。

数据科学家要熟悉的四门学科是：

计算机科学：主要用来数据获取、数据解析、数据存放、和数据安全。
数理统计学：主要用来数据分析、数据过滤、数据挖掘、和数据优化。
图形设计学：主要用来显示数据结果，比如将数据表达成三维图形，以便更好地理解和利用。
人机交互学：主要用来在用户和数据之间建立有机联系，使得人对数据的使用更方便。

目前，我们看到许多在这四门学科中某个学科的专才，将来更需要的是熟悉所有这四门学科知识的通才，这就是数据科学家。

伍加，2010年3月10日
http://blog.creaders.net/invictus/

浏览(3971)

(0)

发表评论


			文章评论

作者：伍加

留言时间：2010-03-13 07:26:04

丁山：
"Data Mining"中文翻译成“数据挖掘”，可能不太确切，但没发现更好的译法。可以肯定的是，这是一个越来越重要的领域。
我在文中谈到的数据科学家所做的工作有很大成份包含数据挖掘。除了发现与特定模式相匹配的数据外，数据科学家还要做去粗取精、去伪存真、由此及彼、由表及里的知识发现和知识处理，以及解决知识的表示、人机界面等问题。
周末愉快！


	回复 \| 0 评论前需要先登录或者注册哦发表

作者：丁山

留言时间：2010-03-12 16:37:54

伍加，大作阅后，不禁让我联想到"Data Mining" (http://en.wikipedia.org/wiki/Data_mining)。

可否谈谈两者之间的关系？
谢谢！


	回复 \| 0 评论前需要先登录或者注册哦发表

作者：伍加

留言时间：2010-03-12 05:51:01

0+1：

您提到的两种能力的确很重要，其中的排列组合能力一般包括在数理统计学之中。当然单独强化这方面的能力培养可能也是必要的。而对协调一致性的检查验证（Consistancy Check）能力则是数据科学家最基本的素质，它虽然已经包括在“对数据的提取与综合能力”之中，但由于它的重要性，单独列出来进行强调，也是很好的建议。

谢谢您的补充。


	回复 \| 0 评论前需要先登录或者注册哦发表

作者：伍加

留言时间：2010-03-12 05:49:51

牛北村：

看来数学建模的确是很重要的学问，尤其是对人类行为建立数学模型，会有很多应用前景。

谢谢您得评论，谢谢补充介绍数学建模的知识。


	回复 \| 0 评论前需要先登录或者注册哦发表

作者：0+1

留言时间：2010-03-11 10:50:27

我想至少需要增加两方面的能力

(1) Consistancy Check. 同一信息可以从好几个渠道取得,如何保证它们是一致的.一旦不一致,至少有一个是错的,相信哪一个.这是发现软件设计错误的一个有效方法.

(2) 排列组合能力(Combinatorics), 这能使你不多数(Over-Counting)也不少数(Under-Counting).

或许这已经包含在你的比较笼统的能力中了.


	回复 \| 0 评论前需要先登录或者注册哦发表

作者：牛北村

留言时间：2010-03-11 08:50:31

五加兄，

个人浅见，数学建模的发展可分三个阶段：
（1）工程与科研中的建模：以自然基本定律（first laws ）写出数学方程，再以数值方法解之。
（2）金融中股票债卷的建模（始于1980年代，计算机技术发展的年代）。
（3）对人类行为的建模（始于1990代末，eCommerce发展的年代）。与上两个阶段不同，需要对人类行为（例如，颜色喜好，口味，时尚和品牌的选择，购物的习惯，等等）数字量化并提出相应判据。一些大公司如Google每年从名校招不少数学人才。MIT在这方面的研究做得比较早。

据说国土安全局也招兵买马，专门研究罪犯行为的数字量化与预测。


	回复 \| 0 评论前需要先登录或者注册哦发表

作者：伍加

留言时间：2010-03-11 06:47:10

牛北村:
我对数学建模不太熟悉，希望牛兄能做些介绍。
谢谢您的来访及评论。


	回复 \| 0 评论前需要先登录或者注册哦发表

作者：牛北村

留言时间：2010-03-10 10:34:49

完全同意。好文，顶一个！

还有一类新兴职业：数学建模，模拟各种行为（e.g.人类，消费者，恐怖分子）也将在各业起到越来越重要的作用。


	回复 \| 0 评论前需要先登录或者注册哦发表