设万维读者为首页 万维读者网 -- 全球华人的精神家园 广告服务 联系我们 关于万维
 
首  页 新  闻 论  坛 博  客 视  频 分类广告 购  物
搜索>> 发表日志 控制面板 个人相册 给我留言
帮助 退出
老高的博客  
你未必能看到很喜欢的观点,但一定会进入挑战性的视野。  
        http://blog.creaders.net/u/3843/ > 复制 > 收藏本页
网络日志正文
人工智能对人类的终极致命威胁是什么 2018-10-12 09:24:28

  马斯克、霍金和比尔·盖茨联合很多名流发宣言,要求停止军事用途的人工智能研发。其实更危险的是,假定人工智能既不失控也不反叛,全心全意为人服务,恰恰这样至善全能的人工智能对人类的威胁是致命的,因为这样的人工智能将消解我们人类生存的意义


  老高按:从小我就是一个“三迷”——科幻小说迷,推理小说迷,武侠小说迷。后两迷这里且不去说它,对科幻小说,我可以说痴情了大半辈子。儒勒·凡尔纳、赫伯特·乔治·威尔斯、艾萨克·阿西莫夫……在图书匮乏的年代,这些科幻小说大师的所有作品中译本我都搜求来读过,如醉如痴,若有的书必须马上还,我甚至通宵不眠。熬夜看闲书,我父母完全不理解也不赞成,好在没有强行禁止。
  读当然不意味着都能有收获。但是读得多,“操千曲而后晓声,观千剑而后识器”(刘勰《文心雕龙》这句话还是有道理的,慢慢地对那些奇幻想象、生鲜情节背后的观念世界有所领悟,记得八十年代中期,我半瓶子水晃荡,竟然不自量力地写了一篇不长不短的谈中外科幻小说比较的随笔,在《光明日报》还是什么报上刊出了,居然有出版社通过报纸编辑找到我,认真提议我以文中所表述的理念为指导思想,自找书目,翻译和编辑一套外国科幻小说丛书。我当然赶快解释这超出我的能力太多,请其另找高明。现在回想起来,若当时我一咬牙“赶着鸭子上架”,潜心钻研,熬到今天,是否真的能成为一个这个领域的评论家、出版家?——这让我想起美国诗人弗罗斯特那首脍炙人口的《没有走的路》。
  日前读到江晓原教授在上海“东方讲坛·思想点亮未来”系列讲座上谈人工智能问题的演讲速记稿,与科幻作品有关联,对我很有启发。
  江晓原的文章我看过若干。他1982年毕业于南京大学天文系天体物理专业,1988年毕业于中国科学院自然科学史研究所,成为中国第一个天文学史专业的博士。曾在中国科学院上海天文台工作15年,1994年中国科学院特批他晋升研究员,次年成为博士导师。他曾当过上海交通大学人文学院首任院长。现为上海交大科学史系主任,中国科技史学会前副理事长。
  今天的人们都面临现实生活的很多压力,似乎无暇思虑超出个人生活的、进入形而上领域的、看似迂阔得不着边际的话题,例如“人工智能对人类究竟意味着什么”这样的问题。但我想,人们不仅要有“诗和远方”来充实和扩展自己内心的人文情怀,而且从每个人面对现实挑战的意义上也已经迫在眉睫:应该思考,应该发声,应该行动。


  埃隆·马斯克、史蒂芬·霍金、比尔·盖茨

  联手反对哪种人工智能,充分说明什么

  江晓原,上观新闻

  本文根据作者在“东方讲坛·思想点亮未来”系列讲座上的演讲速记稿整理而成。

  以前我们很多读物中对科幻作品(包括电影和小说)都有严重误解和误导,很多人认为科幻是文学作品,是科普作品,甚至是少儿读物。这种观念极大地妨碍了我们从科幻作品中获取思想资源。事实上,真正的科幻是给成年人看的。而科幻主要的任务,是思考一些我们平常在生活中不容易或不方便思考的问题。所以在过去的一个多世纪中,国际上科幻作品的主流,就是对科学技术的反思。
  具体到人工智能问题,几乎所有的西方科幻作品里的人工智能都是负面的和有害的。科幻作品中极少会像我们许多人想象的那样,对未来高科技社会中的人工智能进行讴歌。很多人以为科幻作品会想象未来世界如何美好,其实一个多世纪以来,这样的作品都已经是不入流的了,入流的作品都是有反思的。大量科幻作品对人工智能已经做过深入反思,我们今天能够想象到的所有人工智能的负面作用,在科幻作品中几乎都已经表现过了。

  人工智能的失控和反叛

  前些时候人工智能阿尔法GO下围棋赢了李世石,我和几位人工智能专家以及年轻人的偶像柯洁九段一起做电视节目时,柯洁还表示李世石虽然败了,他还是能下赢的,后来他跟阿尔法GO下了一次也输了,他也没信心了,说“感觉在跟上帝下棋一样”。稍后的阿尔法zero,面对全世界60名围棋高手,下成60比0,人类全输了。据说阿尔法GO是从人类先前的棋谱中学习的,但阿尔法zero完全没有借鉴人类的任何棋谱,只是告诉它围棋规则,它自行研究后就一举打败了人类60高手。这表明人工智能一旦有了学习能力,你不知道它会变成什么样子。
  还要考虑人工智能和互联网结合后的极大危险。以前在阿西莫夫写关于人工智能的科幻作品时,还没有互联网,分立的个体人工智能毕竟还有一个物理极限,一个机器人哪怕全身都是芯片,它的存储和运算能力也是有物理极限的。但是今天任何与互联网结合在一起的人工智能都能够轻易超越这个极限,这样它的学习能力,它的进化速度,都是无法预测的,因而也就很可能是无法控制的。
  影片《超体》(Lucy,2014)充分展示了人工智能一旦具有学习能力之后,它的潜能发挥和迅速进化可以达到什么程度。人工智能专家经常安慰我们说:人工智能还很弱小,你们担心的事情离现在还很远。但是知识增长是有加速度的,从弱人工智能到强人工智能,到底要多少年?20年?再从强人工智能到超人工智能,也许一小时都不用,在《超体》的故事中,人工智能最后迅速变成一个超能的神,这就意味着失控。
  影片《超体》中,这个成神的人工智能还没有对人类表现出恶意,如果它对人类有了恶意,那还有更可怕的前景。传统概念中的机器人,它们身体的大部分其实都是伺服机构,但是和互联网结合的人工智能,就不再需要这样的伺服机构了。比如一个邪恶的人工智能想实施一次恐怖爆炸,它怎么做?它只需在网上合法订购各类可以构成爆炸装置的民用原料和器件,然后订购组装服务,再利用物流服务送往指定地点,由它引爆。这样的人工智能不再需要任何伺服机构,它只是互联网上的一个幽灵。反映这种前景的作品已经有很多了。
  剧集《疑犯追踪》(Person of Interest,2011~2016)迄今已有五季,第一季看着像探案故事,但是越来越科幻,到了最后一季已经完全变成一个超级的科幻作品。那里面的人工智能就是躲在网络上的幽灵。现在人工智能专家还经常安慰公众说,人工智能如果真的出了问题,我们把电源拔掉就行了,但是对于和互联网结合的人工智能,如果它想作恶,到哪里去“拔掉电源”?
  影片《机械姬》(Ex Machina,2015)也相当有代表性,那个女机器人最后突然作恶,把她的创造者囚禁起来,自己出去了。这个结尾为拍第二部准备好了接口。这个反社会人格的女机器人出去后会在社会上做什么坏事,有很大的想象空间。
  至于著名的影片《未来战士》系列(Terminator,又名《终结者》,1984~2015),已有五部,讲人工智能反叛人类后对人类的剿杀,以及人类的殊死反抗,已成经典。

  人工智能的人权问题

  人工智能发展进化之后,我们早晚要面临人工智能的人权问题。即使人工智能自己不提出来,我们人类自己从伦理道德的角度出发,也会提出这个问题。事实上当然是科幻作品中很早就提出了这个问题。
  较早的影片《变人》(Bicentennial Man,1999)直接提出了这个问题。家里买来了一个机器人,这个机器人对他们家的小姐产生了感情,小姐当然不能和一个家用电器恋爱,所以虽然对它也挺好,但是没办法拍拖。于是机器人不断让自己升级,最终把自己进化成完全跟人一模一样,但是故事里的人类社会拒不承认它的人权,不批准它和人类的婚姻。
  要讨论人工智能的人权问题,就必须为取得人权给出条件。在影片《变人》中,最后给出的条件居然是死亡——有生老病死,是获得人权的必要条件。最后这个机器人为了让自己和人类小姐的婚姻有效,它把自己的永生能力取消了,人类社会才承认了他们的婚姻。
  当然还有作品给出了别的条件。比如影片《银翼杀手2049》(Blade Runner 2049,2017)中设想的界限是“生育”——只有被母亲生出来孩子才有人权。在《银翼杀手2049》的世界里,复制人是没有人权的,人们不必尊重他们。银翼杀手K虽然身怀绝技,仍被同事们鄙视为“假货”。
  第三个,在很多作品里都给出过的,是文化。这是一个相对合理的想法,一个人工智能(或者机器人、仿生人、克隆人等等),如果他拥有了人类的文化,我们就同意给他人权。前不久沙特阿拉伯最先尝试了世界上最激进的做法——给一个机器人授予了公民权,这当然就是承认了她的人权。该机器人叫索菲娅,是一个女性形象,如今她会出席各种各样的会议。虽然索菲娅早先说过“要灭亡人类”这样的话,现在她在社会上活动,有人翻出她当年的话来,她改口说愿意和人类友好相处。最近又传出她打算结婚,当然也可能只是炒作。在索菲娅的个案里,人权主要是靠文化来获得的。
  人工智能的人权问题之所以非常重要,是因为人工智能一旦被我们大量应用之后,我们的很多法律和伦理问题都和人工智能的人权直接有关。
  影片《机械公敌》(I, Robot,2004)就强调了这一点。那个机器人杀了人之后,警方认为这是谋杀,生产机器的公司说,我们对“谋杀”的法律定义是一个人蓄谋杀害另一个人,机器人没有人权,所以它杀人只是机器故障。类似的问题现在已经在我们眼前了,我们已经让自动驾驶汽车上路了,如果自动驾驶汽车撞死了人,怎么追责?这个责任到底是车主来负还是生产汽车的厂家来负?
  又如剧集《真实的人类》(Humans,2015~2018),已经有三季,故事中家里买了一个女性机器人来,引发了各种各样的问题。比如男主人有一次和这个女性机器人做了爱,他这个行为的定性,直接与机器人的人权有关:如果机器人没有人权,他就是自慰;如果机器人有人权,他就是出轨。
  类似的问题还可以设想很多,现有的法律对这些问题都缺乏相应的规定,我们的伦理观念也没有准备好适应这些现象。

  军用人工智能的伦理问题

  阿西莫夫著名的“机器人三定律”,第一定律就是“机器人不得伤害人类,也不得见人类受到伤害而袖手旁观”,这个第一定律意味着什么?意味着我们人类不能把杀人的权力让渡给机器人,而这就排除了将机器人或人工智能应用于军事用途的一切合法性。比如有一个罪犯被判了死刑,我们可以让机器人去对他执行枪决吗?不可以。因为机器人不得伤害人类,不管这个人类是一个罪犯还是一个功臣。
  但是如果研发军事用途的人工智能,那当然就是把杀人的权力交给机器人。比如现在很热的无人机,即使是在人类下达命令之后让无人机执行攻击,也违背了第一定律,更不用说研发自主识别目标执行攻击的无人机了。
  所以军事用途的人工智能这个事情本身就是从根本上违背“机器人三定律”的。但是因为三定律并不是什么法律,只是一个科幻小说家在他的小说里提出来的,虽然搞人工智能的不少人表示愿意尊重这三个定律,但这毕竟不是法律,如果研发者不遵守别人也拿他没办法,很多研发军事用途人工智能的人当然都没有遵守这三个定律。他们通常可以有两个路径来为自己辩护。
  第一个路径就是宣称三定律只是小说家言,我们为了崇高目标不必当真。第二个路径是利用“人工智能”划界的困难,什么叫“人工智能”?你口袋里的手机是不是人工智能?你通过适当的定义就可以把手机定为人工智能。既然如此,那么现代战争中的指挥通讯系统为何不能定义为人工智能?这样的人工智能不是早就在战争中应用了吗?反过来,对另一些武器,比如无人驾驶的坦克,无人机,你可以说这只是一种自动武器,你也可以说这是人工智能。到底算不算?这没有明确的边界。
  最近美国拍了一系列以无人机为主题的科幻电影,在这些作品里面,伦理道德问题往往是很突出的。
  前些时候,埃隆·马斯克、史蒂芬·霍金、比尔·盖茨联合了很多名流,发表了一个公开的宣言,要求停止军事用途的人工智能研发。认为这有可能产生比原子弹更可怕的武器。一方面,军用人工智能直接操控武器或自身就是武器,一旦失控后果难以设想;另一方面即使没有失控,研发出这类更新颖更高效的杀人武器,从根本上来说也绝非人类之福。媒体对此有过一些报道,但并不突出和重视。学者当中提出了类似这三个人观点的也不少,但这些都还没有达到国家政策的层面,都只是民间的呼吁。
  马斯克自己就是一个人工智能大力的支持者和使用者,他自己的工厂里使用了大量的工业人工智能,但是他一面自己在使用和研发人工智能,一面却不断警告说人工智能是非常危险的,他这样做看上去有点伪善,但是他提出警告毕竟也有好处。比如说,我肯定在马斯克他们的上述宣言之前早就发表文章提出过警告了,但人们会说你又不研究人工智能,你的警告我们用不着重视。但是马斯克提出警告,人们至少不会说他不研究人工智能吧?至少对他的警告要更重视一些吧?从这个意义上说,他的警告作用就可能比较大,所以他的警告我也都赞成。
  所以今天我们只能、而且必须抱着和当年搞“两弹一星”类似的心态来进行军事用途的人工智能研发。军用人工智能就是今天的“两弹一星”。比较理想的局面,是各大国坐下来谈判,签署限制或禁止人工智能研发的国际协议。但谈判需要手中有筹码,只有当中国手中握有足够的实力筹码时,才有可能推动人工智能方面的国际裁军谈判。

  人工智能的终极威胁

  科幻作家、科普作家阿西莫夫,因为在小说中提出了“机器人三定律”,所以人们在谈论人工智能时总会提到他。其实他的科幻作品中最著名的是小说《基地》系列,共11卷,是一部科幻史诗作品,前后时间跨度以千年万年为单位,讨论整个银河帝国的兴衰。在这部科幻史诗中,阿西莫夫提出了一个重要观点——所有依赖人工智能的文明都必将衰亡。所以在他的书里能够持久发展的文明,比如银河帝国,是立法禁止人工智能的。
  为什么?当然有道理。因为人工智能会让文明衰亡。前面我们讨论了人工智能的失控和反叛,但这些还未必是人工智能对于人类的终极威胁。假定这些问题都没有发生,人工智能既不失控也不反叛,它把我们的一切工作都做了,全心全意为人民服务,阿西莫夫指出,恰恰是这样至善全能的人工智能,对人类的威胁是致命的,因为这样的人工智能将消解我们人类生存的意义。
  有人会说,所有的事情都让机器人做了,但是我们可以创造,我们可以搞艺术,可以过精神生活呀!问题是人工智能也可以替你去创造,甚至精神生活也可以替你去过——比如芯片植入人机结合之后,那些所谓的“精神生活”还是你的吗?这么经历一两代人之后,人类的智能和体能都将急剧衰退,很快就将成为行尸走肉,我们的人生就将毫无意义。
  另一方面,在这样的世界里,我们肯定会把我们所有的社会管理都交给人工智能,人工智能就将在实际上统治这个星球。用不了多久,人工智能必然会得出一个合理的结论:人类这帮寄生虫,活在这个世界上纯粹是对环境的污染,它完全可以清除人类来优化环境。这时不管人类自己的生存意义丧失与否,都必然是人类的末日。
  还有一些人这样想:我们为什么要害怕人工智能推翻人类社会呢?如果人工智能推翻了人类社会,那人工智能必将是一个比人类更好的存在模式,我们为何不能接受呢?其实这里有一个是否“以人为本”的问题。即使人工智能发展得比我们人类更优越了,我们也没有理由听任人工智能将我们人类清除掉。我们人类站在自己这个物种的立场上,我们当然不可能接受被别的物种征服或灭亡。
  所以警惕人工智能,比无条件地拥抱人工智能更合情合理。


  近期图文:

  中国的“长臂”伸向西方学术出版界  
  
“老大哥”和“美丽新世界”并存的中国  
  
我们很难知道中国排异阵痛还要持续多久  
  
“这个世界会好吗?”预期决定您的举措  
  
悠久深厚的文明土壤种不出一株自由之花  
  
只见规律不见人,那叫什么“历史学”!  
  
延安时期知识分子的文化构成及深远影响  
  
美国的黑奴,纳粹的犹太人,中国的黑五类  


浏览(3089) (10) 评论(18)
发表评论
文章评论
作者:Zuidadewenti 留言时间:2019-01-08 19:27:40

Science and technology is a double-edged sword. Today more and more people are aware of the threat the development of science and technology will pose to the development of human society. The anthropologist Hu Jiaqi gives the unique opinion on the development of science and technology. Welcome to join us and discuss it.

http://www.wicz.com/story/39703277/famous-anthropologist-hu-jiaqi-responded-to-the-issue-of-gene-edited-babies

回复 | 0
作者:远方的孤独 回复 马甲 留言时间:2018-10-18 23:12:38

你知道图灵的计算机模型是怎么得来的吗?你知道哥德尔Gdel's incompleteness theorems?谈AI的危害,不知道这些是不足取的。

回复 | 1
作者:远方的孤独 回复 马甲 留言时间:2018-10-18 22:59:33

关于AI,我的观点再清晰不过了,因为我是干这一行的。你不能理解是另一会事。我是出于尊重,才说了你说的那些”有可能“,我的观点是在“但是”以后的描述。显然你似乎不是针对我的观点的,或者就是你不能理解我的观点。

回复 | 0
作者:马甲 回复 远方的孤独 留言时间:2018-10-17 09:00:31

不够什么?说出来!别夜路吹哨壮胆结果什么道理也说不出来。我这里每一条都针对你的话来说,而你只会打马虎眼。

回复 | 1
作者:远方的孤独 回复 马甲 留言时间:2018-10-16 10:52:59

说"可能"是对你的尊重,显然你觉得不够.

回复 | 0
作者:马甲 回复 远方的孤独 留言时间:2018-10-16 09:55:53

【你说得这些都是可能的,但是。。。】你说的和我说的是“但是”的关系吗?两个不同层次的问题。我是说不用象你说的那么牛就已经问题大到了可以颠覆甚至毁灭的程度,你是说不可能那么牛。。。这是“但是”的关系吗?

回复 | 0
作者:远方的孤独 回复 马甲 留言时间:2018-10-15 22:54:15

你说得这些都是可能的,但是人类社会如果是个大系统,活人也会找到一个新的平衡。因为人活着最有意义和最让人激动不已赏心悦目的是surprise,当然冒险者喜欢的风险,也是surprise。所谓feel of action。这些AI是不可能达到的,因为AI要是出现surprise的话,那可能就是巨大的灾难了。顺便说下,为啥只有资本主义的自由市场经济才能支撑人类文明向前,其他,共产主义,社会主义,都是planning,都是一小帮人自认自己什么知道了,plan一下就行了,本质上干掉人的surprise。在AI方面一样,我最担心的是一小帮人,自认自己什么都懂了,结果都知道了,人不需要surprise了,这些人本质上为啥,还不是power和control,因为power和control给这些人获得他们人性中美妙的surprise,代价当然是缺资源的大众了。

回复 | 0
作者:特有理 留言时间:2018-10-14 20:02:56

“以人为本”在这里就是一个概念的错乱。在智能上,人工智能的能力将远远超过人类。这里的关键,是把智能割裂,还是把智能作为一个整体?如果作为整体来看,可以把智能的发展分为不同的层次:从生物智能,到星球智能,到星系智能…。从这个角度,人工智能永远不会成为人类的敌人,而是人类的发展的依托和保障。

人工智能发展的关键,是与人类的情感。

回复 | 0
作者:南大街哦哦 回复 马甲 留言时间:2018-10-14 00:18:41

没有人删,你在随便发一个帖子,所谓被删的帖子就出来了。

回复 | 0
作者:马甲 留言时间:2018-10-13 10:29:51

奇怪。被删的贴又出来了。

回复 | 0
作者:马甲 留言时间:2018-10-13 10:28:09

谁删了这个跟帖(不太相信是老高删的也不太可能是万维。如果是骇客,就有意思了):

回复 | 0
作者:马甲 回复 远方的孤独 留言时间:2018-10-13 09:26:56

鸿海之所以可以移到美国是因为以他的大规模机器人车间可以不依赖美国的昂贵的人工。

丰田等日本制造业早就有无人车间,中国也有了无人码头。这就是为什么今天世界各国都有年轻人觉得没希望,一代不如一代,永远买不起房的一个基本的原因。只不过它还没有到直接大规模(50%)从现有市场剔除劳力的程度,但是,当那个剔除量接近50%时,就不是仅仅年轻人觉得有压力了,整个社会的火药库就要爆发。

到时候,是搞全球一体化,还是保护自己的国民?

1)全球一体化就是全世界资本者联合起来,共同将被人工智能取代的人力从主流中剔除,也就是每个国家负责搞定自己内部的问题。

2)保护自己的国民,也就是目前川普声称要做的,便是先顾好自己的国民再说,如果有必要就对他国动手。

所以,别以为今天的国家政治都是所谓左右派之间的一时兴起争斗。这是人类未来走向的前奏曲。但是,不论是全球一体化,还是川普的先顾好自己的国民,只要人类不致力于解决公平的哲学问题,由人工智能带来的大规模的人类的消亡是难以避免的,区别是由各国政府自己搞定,还是由世界大战来搞定而已。

当然,大国之间的扩张是否一定会马上导致直接的战争又是另一回事。或许他们可以先彼此妥协在世界范围的分赃,然后在决定直接的冲突。但也有可能先干掉潜在对手再说。

回复 | 0
作者:双不 留言时间:2018-10-13 08:41:48

一般来说计算机还是严格执行人的指令去想。但制造中有了bug, 机器如何去想就不是人说的算了。

回复 | 0
作者:马甲 回复 远方的孤独 留言时间:2018-10-13 07:51:28

人工智能根本不需要象你说的那样牛就可以在市场上大规模的地取代人类,只要被取代的人类接近甚至远超过50%,各国的政治生态必然发生巨大变化。如果不是严厉镇压国内的动乱,就是要将国内压力转嫁给他国,那时恐怕想要避免战争都难。

回复 | 0
作者:远方的孤独 留言时间:2018-10-12 23:28:08

这位江教授,好像没看过《altered carbon》。人工智能再怎么厉害,还是由人控制的。而且人工智能领域吹牛的成分远大于实际的进展。本人是干这行的。人工智能在统计模型方面很成功了,现在在因果模型方面也取得相当的进展,问题是非线性模型至今还是不存在的。打个比方,人的意识是非线性的,没有一个数学模型可以模拟的。退一步讲,某一天人工智能的确是无所不能了,我可以复制多个我自己,但是如果我没有资源,我还是做不到的。人类文明总是需要一个hierarchy,那样人才会觉得有榜样,有追赶的目标,等等。人工智能不可能把人类打成flat,每个人都一样。人工智能让我最担忧的是产生lord of tech,聪明的高技术人成了我们人类的上帝。

回复 | 0
作者:双不 留言时间:2018-10-12 20:00:55

当年学算术,有啥用呢?买东西找钱可是学算术最大的应用了。

现在买东西用信用卡,不用算账了,小孩因此学算术没动力了。

技术进步常带来大脑退化。

回复 | 0
作者:秋念11 留言时间:2018-10-12 19:56:01

美国无人机杀了很多平民

回复 | 0
作者:马甲 留言时间:2018-10-12 10:19:19

与其担心人工智能消灭人类还是先担心因为人工智能人类自相残杀吧。人工在远没有能力消灭人类之前就已经有能力在市场上取代人类了,而被取代的人类会被自己的同类淘汰掉。因此,有两种可能:1)那些被人工智能取代的人一点点地被从地球上消失掉;2)由于大量的人类被人工智能取代而造成巨大的社会动荡,乃至世界大战。

如果人工智能取代的人类只是人类总劳动力的1%或更少,那么恐怕上述1)更为可能,但是,如果在未来几十年里人工智能取代的是人类总劳动力的50%以上,你认为上述两种可能中哪种发生的可能性更大?

自古以来,人类自己造成的灾难导致的人口消失远大于自然灾难。未来人类自身的相互残杀也有可能会超过人工智能。人类有能力发展人工智能甚至探索太阳系之外的太空,但是没有能力解决公平的问题。

回复 | 3
 
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2017. CyberMedia Network /Creaders.NET. All Rights Reserved.