本月累计签到次数:

今天获取 积分

深度学习

深度学习

170 浏览

深度学习中的「卷积层」如何深入理解?

智能科技类 朝中有人 2017-12-01 09:32 发表了文章 来自相关话题

近来,深度学习的火爆程度显而易见,而在深度学习领域,卷积网络则是引起这许多令人惊叹的结果的主要原因。自从2012年AlexNet公开亮相之后,现如今,我们很难列举一个根本不使用卷积架构,具有突破性的计算机视觉架构。

在现有深度学习框架下,我们所编写的卷积层往往是一个单行语句,它可以抽象出许多结构细节。不过,有时候后 查看全部
近来,深度学习的火爆程度显而易见,而在深度学习领域,卷积网络则是引起这许多令人惊叹的结果的主要原因。自从2012年AlexNet公开亮相之后,现如今,我们很难列举一个根本不使用卷积架构,具有突破性的计算机视觉架构。

在现有深度学习框架下,我们所编写的卷积层往往是一个单行语句,它可以抽象出许多结构细节。不过,有时候后
205 浏览

To 深度学习 or Not to 深度学习,这是一个问题

工业大数据 钱途无量 2017-05-12 13:54 发表了文章 来自相关话题

我们应该对基于深度学习的新兴解决方案感到高兴吗?我们应不应该感到沮丧或无奈?深度学习在成像科学的作用是什么?图像领域的研究人员在会议中遇到这些问题时,答案多种多样,令人困惑。
事实胜于雄辩:大多数情况下,基于深度学习的解决方案缺乏数学的优雅,对找到解决方案或对理解基础现象基本没有提供什么信息。然而,好的一面是获得的成 查看全部
我们应该对基于深度学习的新兴解决方案感到高兴吗?我们应不应该感到沮丧或无奈?深度学习在成像科学的作用是什么?图像领域的研究人员在会议中遇到这些问题时,答案多种多样,令人困惑。
事实胜于雄辩:大多数情况下,基于深度学习的解决方案缺乏数学的优雅,对找到解决方案或对理解基础现象基本没有提供什么信息。然而,好的一面是获得的成
3 回答

能告诉我们有关机器学习中使用的一些有用的工具吗?

IT软件类 diesermensch 2017-04-19 10:56 回复了问题 • 4 人关注 来自相关话题

1 回答

解决ML问题的步骤是什么?

工业大数据 匆匆岁岁 2017-04-19 10:50 回复了问题 • 2 人关注 来自相关话题

185 浏览

想了解概率图模型?你要先理解图论的基本定义与形式

工业大数据 开始弯 2017-04-05 09:47 发表了文章 来自相关话题

    我们都知道机器学习里的决策树,其可以表示为给定特征条件下类的条件概率分布。并且我们知道决策树由结点和有向边组成,结点又由表示特征的内部结点和表示类的叶结点构成。而通常决策树的学习又包括了特征的选择、决策树的生成和决策树的剪枝。那么这种树型算法又是来自哪呢?其实树型只是图的一个小分支,而接下来我们将进一步了解源 查看全部
    我们都知道机器学习里的决策树,其可以表示为给定特征条件下类的条件概率分布。并且我们知道决策树由结点和有向边组成,结点又由表示特征的内部结点和表示类的叶结点构成。而通常决策树的学习又包括了特征的选择、决策树的生成和决策树的剪枝。那么这种树型算法又是来自哪呢?其实树型只是图的一个小分支,而接下来我们将进一步了解源
252 浏览

深度学习的过去、现在和未来

智能科技类 南巷孤人 2017-03-24 15:39 发表了文章 来自相关话题

 
一、过去:从猫到狗
 

翻阅1982年第1期的《世界科学》杂志,看到这样一则消息:“1981年10月17日,在瑞典的斯德哥摩尔城举行的诺贝尔奖授奖大会上,美国加州理工学院的罗杰•握尔考特•斯佩里(Roger Wolcott Sperry)博士和加拿大出生的美国人戴维•哈贝尔教授以及瑞典的托尔斯滕•韦塞尔分享了1 查看全部
 
一、过去:从猫到狗
 

翻阅1982年第1期的《世界科学》杂志,看到这样一则消息:“1981年10月17日,在瑞典的斯德哥摩尔城举行的诺贝尔奖授奖大会上,美国加州理工学院的罗杰•握尔考特•斯佩里(Roger Wolcott Sperry)博士和加拿大出生的美国人戴维•哈贝尔教授以及瑞典的托尔斯滕•韦塞尔分享了1
441 浏览

人类和AI的关系正在从“人机回圈”向着“众机回圈”进行转变

智能科技类 天朝脸谱 2017-02-13 10:41 发表了文章 来自相关话题

   随着人工智能的应用不断推进,参与我们的日常生活和社会治理,如何设计一个人工智能系统不仅仅是科学家和工程师的工作。越来越多的设计范式涌现,“人机回圈”(Human-in-the-Loop)是其中一个核心部分。在许多情况中,机器所面临的是一个复杂的问题,需要决策与妥协。而通常,如何妥协的问题是一个伦理问题,不能单纯 查看全部
   随着人工智能的应用不断推进,参与我们的日常生活和社会治理,如何设计一个人工智能系统不仅仅是科学家和工程师的工作。越来越多的设计范式涌现,“人机回圈”(Human-in-the-Loop)是其中一个核心部分。在许多情况中,机器所面临的是一个复杂的问题,需要决策与妥协。而通常,如何妥协的问题是一个伦理问题,不能单纯
242 浏览

探讨人工智能的「理性人」行为

智能科技类 天朝脸谱 2017-02-13 10:27 发表了文章 来自相关话题

我们应用深度多代理强化学习(deep multi-agent reinforcement learning)的方式模拟了合作的出现。连续社会困境(sequential social dilemmas)这个新概念允许我们为理性智能体互动方式建模,并根据环境性质和人工智能认知能力多少促成一些合作。这项研究可以使我们更好理 查看全部
我们应用深度多代理强化学习(deep multi-agent reinforcement learning)的方式模拟了合作的出现。连续社会困境(sequential social dilemmas)这个新概念允许我们为理性智能体互动方式建模,并根据环境性质和人工智能认知能力多少促成一些合作。这项研究可以使我们更好理
浏览

陈园园 发表了文章 来自相关话题

浏览

陈园园 发表了文章 来自相关话题

3 回答

能告诉我们有关机器学习中使用的一些有用的工具吗?

IT软件类 diesermensch 2017-04-19 10:56 回复了问题 • 4 人关注 来自相关话题

1 回答

解决ML问题的步骤是什么?

工业大数据 匆匆岁岁 2017-04-19 10:50 回复了问题 • 2 人关注 来自相关话题

5 回答

深度学习用到哪些数学知识?难懂?

机械自动化类 开始弯 2016-12-01 15:44 回复了问题 • 6 人关注 来自相关话题

170 浏览

深度学习中的「卷积层」如何深入理解?

智能科技类 朝中有人 2017-12-01 09:32 发表了文章 来自相关话题

近来,深度学习的火爆程度显而易见,而在深度学习领域,卷积网络则是引起这许多令人惊叹的结果的主要原因。自从2012年AlexNet公开亮相之后,现如今,我们很难列举一个根本不使用卷积架构,具有突破性的计算机视觉架构。

在现有深度学习框架下,我们所编写的卷积层往往是一个单行语句,它可以抽象出许多结构细节。不过,有时候后退一步去揭开一些抽象概念也是一个不错的选择。本文试图阐述卷积层的一个特定的解剖特征,而这是在大多数文章和相关讨论中被忽略的问题。

许多卷积架构是从一个外部卷积单元开始的,它将信道RGB的输入图像映射到一系列内部过滤器中。在当下最通用的深度学习框架中,这个代码可能如下所示:

out_1=Conv2d(input=image, filter=32, kernel_size=(3,3), strides=(1,1))
relu_out=relu(out_1)
pool_out=MaxPool(relu_out, kernel_size=(2,2), strides=2)

对许多人来说,我们都很清楚,上面的结果是一系列的具有32层深度的过滤器。我们不知道的是,该如何将具有3个信道的图像精确地映射到这32层中!另外,我们也不清楚该如何应用最大池(max-pool)操作符。例如,是否一次性将最大池化应用到了所有的过滤层中以有效地生成一个单一的过滤映射?又或者,是否将最大池独立应用于每个过滤器中,以产生相同的32层的池化过滤器?

如何做

一张图胜过千言万语,下面有一个图表,可以显示上述代码片段中所有的操作。




观察上图,可以看到最显著的一点是,步骤1中的每个过滤器(即过滤器-1、过滤器-2……)实际上包含一组3个卷积核(Wt-R、Wt-G和WT-B)。这些内核中的每一个分别保存为输入图像中的红(R)、绿(G)和蓝(B)信道。

在正向传播期间,图像中的R、G和B像素值分别与Wt-R、Wt-G和Wt-B内核相乘以产生一个间歇激活映射(intermittent activation map)(图中未标出)。然后将三个核的输出相加以为每个过滤器产生一个激活映射。

随后,这些激活中的每一个都要受到ReLu函数的支配,最后运行到最大池化层,而后者主要负责减少输出激活映射的维度。最后,我们得到的是一组激活映射,通常其维数是输入图像的一半,但现在其信号跨越了一组32个选择(我们选择作为过滤器的数量)作为二维张量。

来自卷积层的输出经常用作后续卷积层的输入。因此,如果我们的第二个卷积单元如下:

conv_out_2 = Conv2d(input = relu_out,filters = 64)

那么框架就需要实例化64个过滤器,每个过滤器使用一组32个独特的核。
来源网络 查看全部
近来,深度学习的火爆程度显而易见,而在深度学习领域,卷积网络则是引起这许多令人惊叹的结果的主要原因。自从2012年AlexNet公开亮相之后,现如今,我们很难列举一个根本不使用卷积架构,具有突破性的计算机视觉架构。

在现有深度学习框架下,我们所编写的卷积层往往是一个单行语句,它可以抽象出许多结构细节。不过,有时候后退一步去揭开一些抽象概念也是一个不错的选择。本文试图阐述卷积层的一个特定的解剖特征,而这是在大多数文章和相关讨论中被忽略的问题。

许多卷积架构是从一个外部卷积单元开始的,它将信道RGB的输入图像映射到一系列内部过滤器中。在当下最通用的深度学习框架中,这个代码可能如下所示:

out_1=Conv2d(input=image, filter=32, kernel_size=(3,3), strides=(1,1))
relu_out=relu(out_1)
pool_out=MaxPool(relu_out, kernel_size=(2,2), strides=2)

对许多人来说,我们都很清楚,上面的结果是一系列的具有32层深度的过滤器。我们不知道的是,该如何将具有3个信道的图像精确地映射到这32层中!另外,我们也不清楚该如何应用最大池(max-pool)操作符。例如,是否一次性将最大池化应用到了所有的过滤层中以有效地生成一个单一的过滤映射?又或者,是否将最大池独立应用于每个过滤器中,以产生相同的32层的池化过滤器?

如何做

一张图胜过千言万语,下面有一个图表,可以显示上述代码片段中所有的操作。
QQ图片20171201093117.jpg

观察上图,可以看到最显著的一点是,步骤1中的每个过滤器(即过滤器-1、过滤器-2……)实际上包含一组3个卷积核(Wt-R、Wt-G和WT-B)。这些内核中的每一个分别保存为输入图像中的红(R)、绿(G)和蓝(B)信道。

在正向传播期间,图像中的R、G和B像素值分别与Wt-R、Wt-G和Wt-B内核相乘以产生一个间歇激活映射(intermittent activation map)(图中未标出)。然后将三个核的输出相加以为每个过滤器产生一个激活映射。

随后,这些激活中的每一个都要受到ReLu函数的支配,最后运行到最大池化层,而后者主要负责减少输出激活映射的维度。最后,我们得到的是一组激活映射,通常其维数是输入图像的一半,但现在其信号跨越了一组32个选择(我们选择作为过滤器的数量)作为二维张量。

来自卷积层的输出经常用作后续卷积层的输入。因此,如果我们的第二个卷积单元如下:

conv_out_2 = Conv2d(input = relu_out,filters = 64)

那么框架就需要实例化64个过滤器,每个过滤器使用一组32个独特的核。
来源网络
205 浏览

To 深度学习 or Not to 深度学习,这是一个问题

工业大数据 钱途无量 2017-05-12 13:54 发表了文章 来自相关话题

我们应该对基于深度学习的新兴解决方案感到高兴吗?我们应不应该感到沮丧或无奈?深度学习在成像科学的作用是什么?图像领域的研究人员在会议中遇到这些问题时,答案多种多样,令人困惑。
事实胜于雄辩:大多数情况下,基于深度学习的解决方案缺乏数学的优雅,对找到解决方案或对理解基础现象基本没有提供什么信息。然而,好的一面是获得的成果确实是非常棒的。这显然不是我们在学校学的那套研究方法,也不是我们想做的那种科学。我们该不该坚守更严谨的方式,即使在最终的结果上落后于人?或者我们该不该反击,寻求将深度学习融入我们更坚实基础的方法?
使问题进一步复杂化的是,不得不说,一些基于深度学习的成功方法确实带有一些优雅。风格迁移就是这样一个例子,比如谷歌的 Deep Dream 项目,其结果令人惊艳,技术思路也十分巧妙。几年前,我们完全没有想到如何处理这样复杂的任务;现在这个问题很好地被解决了,而且还是被为了完全无关的视觉分类任务而训练的深度神经网络顺便解决的。
从我个人的角度来看,图像处理研究人员对最近这种趋势——深度学习不断侵蚀自己的研究领域——感到既厌恶又羡慕。我们中的一些人现在已经选择暂时成为旁观者,而另外一些人则会相互协调和转移他们的研究议程。我属于后者,但有一些限制。在我看来,深度学习这股巨浪不可能不对图像领域产生影响。因此,我愿意让深度学习影响我的研究团队的想法和行动。但是,我们继续坚守寻求数学上的优雅,清楚地了解我们想法的原理。至于这个选择是否正确,就由时间去判断吧。
再稍微呼应一下前文,深度学习将对人类产生巨大的影响,人类生活在未来几十年可能会有很大的不同。人型机器人和智能系统可能随处可见并影响到我们日常生活中的许多活动,招聘和就业也可能成为过去,人与人之间的关系可能会急剧变化。坦白说,你的孙子很可能有一个机器人配偶。而最重要的是:这一奇怪的未来背后的大部分技术很可能来自于深度学习及其衍生领域。
虽然深度学习这项技术进步很快,但我们并没有停止思考,这是不是我们想要的未来。工程师和研究人员的好奇心和巨大的才能正推动着我们走向未来,正如企业以盈利为主要目的。为什么我们很少参与到有关规范或控制这一进展的讨论,并引导它走向一个我们所期望的未来?那这就是另一篇文章要讨论的话题了。 查看全部
我们应该对基于深度学习的新兴解决方案感到高兴吗?我们应不应该感到沮丧或无奈?深度学习在成像科学的作用是什么?图像领域的研究人员在会议中遇到这些问题时,答案多种多样,令人困惑。
事实胜于雄辩:大多数情况下,基于深度学习的解决方案缺乏数学的优雅,对找到解决方案或对理解基础现象基本没有提供什么信息。然而,好的一面是获得的成果确实是非常棒的。这显然不是我们在学校学的那套研究方法,也不是我们想做的那种科学。我们该不该坚守更严谨的方式,即使在最终的结果上落后于人?或者我们该不该反击,寻求将深度学习融入我们更坚实基础的方法?
使问题进一步复杂化的是,不得不说,一些基于深度学习的成功方法确实带有一些优雅。风格迁移就是这样一个例子,比如谷歌的 Deep Dream 项目,其结果令人惊艳,技术思路也十分巧妙。几年前,我们完全没有想到如何处理这样复杂的任务;现在这个问题很好地被解决了,而且还是被为了完全无关的视觉分类任务而训练的深度神经网络顺便解决的。
从我个人的角度来看,图像处理研究人员对最近这种趋势——深度学习不断侵蚀自己的研究领域——感到既厌恶又羡慕。我们中的一些人现在已经选择暂时成为旁观者,而另外一些人则会相互协调和转移他们的研究议程。我属于后者,但有一些限制。在我看来,深度学习这股巨浪不可能不对图像领域产生影响。因此,我愿意让深度学习影响我的研究团队的想法和行动。但是,我们继续坚守寻求数学上的优雅,清楚地了解我们想法的原理。至于这个选择是否正确,就由时间去判断吧。
再稍微呼应一下前文,深度学习将对人类产生巨大的影响,人类生活在未来几十年可能会有很大的不同。人型机器人和智能系统可能随处可见并影响到我们日常生活中的许多活动,招聘和就业也可能成为过去,人与人之间的关系可能会急剧变化。坦白说,你的孙子很可能有一个机器人配偶。而最重要的是:这一奇怪的未来背后的大部分技术很可能来自于深度学习及其衍生领域。
虽然深度学习这项技术进步很快,但我们并没有停止思考,这是不是我们想要的未来。工程师和研究人员的好奇心和巨大的才能正推动着我们走向未来,正如企业以盈利为主要目的。为什么我们很少参与到有关规范或控制这一进展的讨论,并引导它走向一个我们所期望的未来?那这就是另一篇文章要讨论的话题了。
185 浏览

想了解概率图模型?你要先理解图论的基本定义与形式

工业大数据 开始弯 2017-04-05 09:47 发表了文章 来自相关话题

    我们都知道机器学习里的决策树,其可以表示为给定特征条件下类的条件概率分布。并且我们知道决策树由结点和有向边组成,结点又由表示特征的内部结点和表示类的叶结点构成。而通常决策树的学习又包括了特征的选择、决策树的生成和决策树的剪枝。那么这种树型算法又是来自哪呢?其实树型只是图的一个小分支,而接下来我们将进一步了解源于离散数学并十分重要的分支:图论(graph theory)。
    如果这是你第一次涉足关于图论的内容,那么本篇文章将会给你一个清晰的概念。同时也希望本文能将图论的思想、基本模型阐述清楚,因此不论是对以后的机器学习模型构建还是概率图模型的理解都能提供一定的助力。
Loosey–goosey图
    当第一次开始研究非线性结构时,我们需要学习它们最基础的特征:即数据并不遵循特有的顺序,至少是没有明显的数值关系,这一点就和我们看到的数组与链表一样。正如我们所了解的,树型结构从根结点开始,并能和其他结点相连接,也就是说一棵完整的树可以由其子树构成。树由一组规则定义而成:即一个根结点可能连接或不连接到其他结点,但最终所有叶结点或内部结点都能追溯到这个特定的位置。一些树有更多的特定规则,如二叉搜索树,该树在任意时间内每个结点都只和两个子结点相连。而机器学习常用的决策树就可以看成是 IF-THEN 规则的集合。即由决策树的根结点到叶结点的每一条路径构建一条规则,路径上内部结点的特征对应着规则的条件,而叶结点的类对应着规则的结论。
       那我们是否能将构成树状的这些规则抛弃掉,不用再严格地遵守这些规则而生成图(graph)。当然这样做是不会出错的,只是生成不了树,也不能以树状的结构进行计算了。但是我们进一步能用图进行计算或处理任务。
那么到底是什么让树型有别于伞状图呢?
      首先,一棵树只能朝一个方向传播,即树型是由有向边(directed edge)构成的。每一颗树都是由根节点开始,向下往子节点或叶节点传播。同样树型的每一条路径都是唯一的,并且路径上的所有子结点有且仅有一个父节点。所以这种树型结构一定不会存在循环结构或链路。





而通过图,所有的这些限制好像都突然消失了。因为图是没有任何「根结点」、「叶节点」和「单向边」等这些概念的,所以图中的结点可以连接多个子结点也可以有多个父结点,路径也可以是有向流或者无向边。或者如果想要图更加复杂一点,也可以采用有向流和无向边的组合,但是本文暂时并不会关注这些复杂系统。
   有向图和无向图
   现在我们已经知道图确实打破了构造树型的所有规则。但每一个图都必须遵守一个基本原则:即图有且至少有一个单结点。就像树型至少需要一个根结点才可以看作是「树」,图也至少需要一个单结点以便可以看作是「图」。只有一个结点的图通常称为「单例图」,基本上我们不会使用这种单例图处理任务。
通常能进行运算处理的图都是更复杂一些的图,但是不要太担心,本文所描述的图都不会太复杂,不过有些图真的是超级复杂的。
首先我们会探讨一下很容易辨认和理解的两种图:有向图(directed graphs)和无向图(undirected graphs)。这两种图在图论(graph theory)探讨的问题中十分常见。
   在图中,结点和结点之间的连接并没有确切的规则,边(有时候也称为链接)能以任何方式连接结点。





不同类型的边或路径对定义和识别图时非常重要。边的类型实际上是图之间最大、最明显的区别之一。大多数情况下(只有一种例外),图会有两种类型的边:即具有方向或流向的边和不具有方向或流动的边。我们将其称为有向边(directed edges)和无向边(undirected edges)。
在有向边中,两个结点以特定的方式连接。如下图结点 A 连接结点 B 的方式所示,有向边规定了两个结点之间只有单一的方向,即只能从起始结点(origin)沿特定方向到目标结点(destination),永远不能反过来从目标结点到起始结点。这种类型的有向边在图论问题中十分常见。





现在,我们再介绍一下与有向边完全不同的无向边。在无向边(undirected edge)里,可通过的路径是双向的。也即两个结点之间的路径是双向互通的,起始结点和目标结点并没有固定。
这种差异是十分重要的,因为图中的边确定了图的类型。如果图中所有的边都是有向边,那么该图就是有向图(directed graph)。如果图所有的边都是无向边,那么该图就是无向图(undirected graph)。





以上所描述的图看起来很有结构性,但也许我们更应该关心两件事情:首先具体是什么条件或事件填充了图,其次我们具体要关注图的什么信息? 查看全部
    我们都知道机器学习里的决策树,其可以表示为给定特征条件下类的条件概率分布。并且我们知道决策树由结点和有向边组成,结点又由表示特征的内部结点和表示类的叶结点构成。而通常决策树的学习又包括了特征的选择、决策树的生成和决策树的剪枝。那么这种树型算法又是来自哪呢?其实树型只是图的一个小分支,而接下来我们将进一步了解源于离散数学并十分重要的分支:图论(graph theory)。
    如果这是你第一次涉足关于图论的内容,那么本篇文章将会给你一个清晰的概念。同时也希望本文能将图论的思想、基本模型阐述清楚,因此不论是对以后的机器学习模型构建还是概率图模型的理解都能提供一定的助力。
Loosey–goosey图
    当第一次开始研究非线性结构时,我们需要学习它们最基础的特征:即数据并不遵循特有的顺序,至少是没有明显的数值关系,这一点就和我们看到的数组与链表一样。正如我们所了解的,树型结构从根结点开始,并能和其他结点相连接,也就是说一棵完整的树可以由其子树构成。树由一组规则定义而成:即一个根结点可能连接或不连接到其他结点,但最终所有叶结点或内部结点都能追溯到这个特定的位置。一些树有更多的特定规则,如二叉搜索树,该树在任意时间内每个结点都只和两个子结点相连。而机器学习常用的决策树就可以看成是 IF-THEN 规则的集合。即由决策树的根结点到叶结点的每一条路径构建一条规则,路径上内部结点的特征对应着规则的条件,而叶结点的类对应着规则的结论。
       那我们是否能将构成树状的这些规则抛弃掉,不用再严格地遵守这些规则而生成图(graph)。当然这样做是不会出错的,只是生成不了树,也不能以树状的结构进行计算了。但是我们进一步能用图进行计算或处理任务。
那么到底是什么让树型有别于伞状图呢?
      首先,一棵树只能朝一个方向传播,即树型是由有向边(directed edge)构成的。每一颗树都是由根节点开始,向下往子节点或叶节点传播。同样树型的每一条路径都是唯一的,并且路径上的所有子结点有且仅有一个父节点。所以这种树型结构一定不会存在循环结构或链路。

QQ图片20170405093940.jpg

而通过图,所有的这些限制好像都突然消失了。因为图是没有任何「根结点」、「叶节点」和「单向边」等这些概念的,所以图中的结点可以连接多个子结点也可以有多个父结点,路径也可以是有向流或者无向边。或者如果想要图更加复杂一点,也可以采用有向流和无向边的组合,但是本文暂时并不会关注这些复杂系统。
   有向图和无向图
   现在我们已经知道图确实打破了构造树型的所有规则。但每一个图都必须遵守一个基本原则:即图有且至少有一个单结点。就像树型至少需要一个根结点才可以看作是「树」,图也至少需要一个单结点以便可以看作是「图」。只有一个结点的图通常称为「单例图」,基本上我们不会使用这种单例图处理任务。
通常能进行运算处理的图都是更复杂一些的图,但是不要太担心,本文所描述的图都不会太复杂,不过有些图真的是超级复杂的。
首先我们会探讨一下很容易辨认和理解的两种图:有向图(directed graphs)和无向图(undirected graphs)。这两种图在图论(graph theory)探讨的问题中十分常见。
   在图中,结点和结点之间的连接并没有确切的规则,边(有时候也称为链接)能以任何方式连接结点。

QQ图片20170405094329.jpg

不同类型的边或路径对定义和识别图时非常重要。边的类型实际上是图之间最大、最明显的区别之一。大多数情况下(只有一种例外),图会有两种类型的边:即具有方向或流向的边和不具有方向或流动的边。我们将其称为有向边(directed edges)和无向边(undirected edges)。
在有向边中,两个结点以特定的方式连接。如下图结点 A 连接结点 B 的方式所示,有向边规定了两个结点之间只有单一的方向,即只能从起始结点(origin)沿特定方向到目标结点(destination),永远不能反过来从目标结点到起始结点。这种类型的有向边在图论问题中十分常见。

QQ图片20170405094536.jpg

现在,我们再介绍一下与有向边完全不同的无向边。在无向边(undirected edge)里,可通过的路径是双向的。也即两个结点之间的路径是双向互通的,起始结点和目标结点并没有固定。
这种差异是十分重要的,因为图中的边确定了图的类型。如果图中所有的边都是有向边,那么该图就是有向图(directed graph)。如果图所有的边都是无向边,那么该图就是无向图(undirected graph)。

QQ图片20170405094618.jpg

以上所描述的图看起来很有结构性,但也许我们更应该关心两件事情:首先具体是什么条件或事件填充了图,其次我们具体要关注图的什么信息?
252 浏览

深度学习的过去、现在和未来

智能科技类 南巷孤人 2017-03-24 15:39 发表了文章 来自相关话题

 
一、过去:从猫到狗
 

翻阅1982年第1期的《世界科学》杂志,看到这样一则消息:“1981年10月17日,在瑞典的斯德哥摩尔城举行的诺贝尔奖授奖大会上,美国加州理工学院的罗杰•握尔考特•斯佩里(Roger Wolcott Sperry)博士和加拿大出生的美国人戴维•哈贝尔教授以及瑞典的托尔斯滕•韦塞尔分享了1981年诺贝尔生理学、医学奖。斯佩里因证明大脑两半球的高度专门化以及许多较高级的功能集中在右半球而获奖;哈贝尔和韦塞尔因研究视觉系统的信息处理方面有所发现而获奖。”






哈贝尔和韦塞尔的获奖要归功于“猫星人”,据说这个研究从1958年开始,在猫的后脑头骨上,开了一个小洞,向洞里插入电极,测量神经元的活跃程度,从而发现了一种神经元细胞——“方向选择性细胞”,即后脑皮层的不同视觉神经元与瞳孔所受刺激之间确实存在某种对应关系。这一重要发现,激活了一度沉寂的神经网络的研究。但是,人们不得不面对这样的现实:神经网络相关运算中耗费的运算量与神经元数目的平方成正比。基于硬件基础,那个时候人们普遍认为潜在的庞大的计算量是几乎无法实现的。
 






计算能力成了拦路虎,人们探寻真理的脚步一刻没有停歇。同样是1981年,IBM PC机中首次应用了8088芯片,开创了全新的微机时代。1985年INTEL推出了32位微处理器,而且制造工艺也有了很大的进步。许多人对286、386、486机器还存有记忆,人类的计算能力伴随着摩尔定律在大踏步前进。关于神经网络的算法也有了新的突破,1986年Hinton和David Rumelhard联合在国际权威杂志《自然》上提出在神经网络模型上运用反向传播算法,大大降低了原来预计的运算量。20世纪80年代末到90年代初,共享存储器方式的大规模并行计算机又获得了新的发展。1993年,Cray公司研制成功了第一台具有标志性的大规模并行计算机。我国的银河系列并行计算机,在国际上也独树一帜。新世纪以来,大规模并行计算机蓬勃发展,逐渐成为国际上高性能计算机的主流。
 






伴随着计算处理能力的提升,深度学习有了较快的发展,从结构上分为生成型深度结构、判别型深度结构、混合型深度结构三类。1989年,加拿大多伦多大学教授Yann LeCun就和他的同事提出了卷积神经网络,是一种包含卷积层的深度神经网络模型,较早尝试深度学习对图像的处理。2012年,Hinton构建深度神经网络,在图像识别问题上取得质的提升和突破。百度公司将相关最新技术成功应用到人脸识别和自然图像识别问题,并推出相应的产品。同样是从2012年,人们逐渐熟悉Google Brain团队。2015年至2017年初,一只“狗”引起世界的关注,人类围棋大师们陷入沉思。





 
 
 
二、现在:深度学习有多深
 

回答这个问题之前,让我们回顾一下机器学习。以使用决策树、推导逻辑规划、聚类、贝叶斯网络等传统算法对结构化的数据进行分析为基础,对真实世界中的事件作出决策和预测,通常被称为机器学习。比如无人驾驶汽车识别交通标志,这种机器视觉就是典型的机器学习。但是在特定的天气条件下,算法不灵,机器学习就有了局限。
 

深度学习在机器学习的基础上又前进了一步,同样是从数据中提取知识来解决和分析问题,深度学习使用的是人工神经网络算法,允许发现中间表示来扩展标准机器学习,这些中间表示能够解决更复杂的问题,并且以更高的精度、更少的观察和更不麻烦的手动调谐,潜在地解决其它问题。最常见的深度学习类型是前馈深层神经网络(DNN),其使用大量的互连处理单元层从原始输入数据中“发现”适当的中间呈现。DNN提供了一个强大的框架,可应用于各种业务问题。例如可以分析视网膜扫描以“辨识”哪些模式指示健康或患病视网膜(并指示特定疾病)。“辨识”过程依赖于强力的高性能计算。







根据Gartner的相关资料,深度学习已经在图像识别、机器翻译、语音识别、欺诈检测、产品推荐等方面得到应用,如下表1、2:











Gartner估计,从初创公司到技术巨头,全球有2,000多家供应商正在推出深度学习相关产品。但是,当前的深度学习有其一定的局限:


1、深度学习技术是启发式的。深度学习是否会解决一个给定的问题是不清楚的,根本没有数学理论可以表明一个“足够好”的深度学习解决方案是否存在。该技术是启发式的,工作即代表有效。

2、深度学习技术的不可预期性。深度学习涉及隐藏层,在许多情况下,即使是领先的科学家也不能解释这些层面发生了什么,这样的“黑盒子” 可能对解释甚至接受结果造成问题,有时甚至破坏合规性和道德性。

3、深度学习系统化运用不成熟。没有适合所有行业且通用的深度学习,企业想要创建自己的解决方案,目前必须混合和匹配可用的工具,并跟上新软件的快速出现。

4、部分错误的结果造成不良影响。深度学习目前不能以100%的精度解决问题。深度学习延续了较浅层机器学习的大多数风险和陷阱。

5、学习速度不尽如人意。一个两岁的孩子可以在被告知几次后识别大象,而深度学习系统可能需要成千上万的例子,并且“看”这些例子数十万或数百万次,才能成功。

6、当前的范围比较狭窄。比如,AlphaGo系统学会了在大师水平线上玩Go,也只会玩Go。应用于任何其他游戏(甚至更简单)时,系统将彻底失败。




三、未来:从GPU到?PU
 

深度学习是人工智能发展的主要驱动力。目前主要是在弱人工智能的发展中产生重要作用,主要是特定的行业应用,如上文提到的图像识别、自动驾驶和机器翻译等。但是要支撑和实现和人脑类似的强人工智能,OSTP(美国白宫科技政策办公室)认为至少在几十年内无法实现。除了上文提及的数据不足、相关算法需要改进外,对高性能计算的追求就是一个长期的持续的根本任务。





 

GPU这个概念在当前的“读图时代”,很多人并不陌生。GPU是相对于CPU的一个概念,由于在现代的计算机中(特别是家用系统,游戏的发烧友)图形的处理变得越来越重要,需要一个专门的图形的核心处理器,这就是GPU。GPU对于深度学习技术非常重要。随着技术的演进,核心处理器也将更新迭代。例如,谷歌大脑团队正在设计TPU(深度学习芯片),这是针对深度神经网络运算的改进版的处理器。





 

量子计算至少在未来十年内不会影响深度学习。谷歌大脑团队的科学家Jeff Dean认为,人的大脑不是量子计算机,量子计算几乎不会对深度学习造成特别明显的影响,特别是在中短期内(比如未来十年)。但是,未来的未来,量子计算是不是能根本上改变深度学习,这谁也说不准。
 
 
 
 
更多内容请关注:www.imefuture.com
 
 
来源:微信公众号 人工智能学家 查看全部

1.JPG

 
一、过去:从猫到狗
 

翻阅1982年第1期的《世界科学》杂志,看到这样一则消息:“1981年10月17日,在瑞典的斯德哥摩尔城举行的诺贝尔奖授奖大会上,美国加州理工学院的罗杰•握尔考特•斯佩里(Roger Wolcott Sperry)博士和加拿大出生的美国人戴维•哈贝尔教授以及瑞典的托尔斯滕•韦塞尔分享了1981年诺贝尔生理学、医学奖。斯佩里因证明大脑两半球的高度专门化以及许多较高级的功能集中在右半球而获奖;哈贝尔和韦塞尔因研究视觉系统的信息处理方面有所发现而获奖。”

2.jpg


哈贝尔和韦塞尔的获奖要归功于“猫星人”,据说这个研究从1958年开始,在猫的后脑头骨上,开了一个小洞,向洞里插入电极,测量神经元的活跃程度,从而发现了一种神经元细胞——“方向选择性细胞”,即后脑皮层的不同视觉神经元与瞳孔所受刺激之间确实存在某种对应关系。这一重要发现,激活了一度沉寂的神经网络的研究。但是,人们不得不面对这样的现实:神经网络相关运算中耗费的运算量与神经元数目的平方成正比。基于硬件基础,那个时候人们普遍认为潜在的庞大的计算量是几乎无法实现的。
 

3.JPG


计算能力成了拦路虎,人们探寻真理的脚步一刻没有停歇。同样是1981年,IBM PC机中首次应用了8088芯片,开创了全新的微机时代。1985年INTEL推出了32位微处理器,而且制造工艺也有了很大的进步。许多人对286、386、486机器还存有记忆,人类的计算能力伴随着摩尔定律在大踏步前进。关于神经网络的算法也有了新的突破,1986年Hinton和David Rumelhard联合在国际权威杂志《自然》上提出在神经网络模型上运用反向传播算法,大大降低了原来预计的运算量。20世纪80年代末到90年代初,共享存储器方式的大规模并行计算机又获得了新的发展。1993年,Cray公司研制成功了第一台具有标志性的大规模并行计算机。我国的银河系列并行计算机,在国际上也独树一帜。新世纪以来,大规模并行计算机蓬勃发展,逐渐成为国际上高性能计算机的主流。
 

4.JPG


伴随着计算处理能力的提升,深度学习有了较快的发展,从结构上分为生成型深度结构、判别型深度结构、混合型深度结构三类。1989年,加拿大多伦多大学教授Yann LeCun就和他的同事提出了卷积神经网络,是一种包含卷积层的深度神经网络模型,较早尝试深度学习对图像的处理。2012年,Hinton构建深度神经网络,在图像识别问题上取得质的提升和突破。百度公司将相关最新技术成功应用到人脸识别和自然图像识别问题,并推出相应的产品。同样是从2012年,人们逐渐熟悉Google Brain团队。2015年至2017年初,一只“狗”引起世界的关注,人类围棋大师们陷入沉思。

5.jpg

 
 
 
二、现在:深度学习有多深
 

回答这个问题之前,让我们回顾一下机器学习。以使用决策树、推导逻辑规划、聚类、贝叶斯网络等传统算法对结构化的数据进行分析为基础,对真实世界中的事件作出决策和预测,通常被称为机器学习。比如无人驾驶汽车识别交通标志,这种机器视觉就是典型的机器学习。但是在特定的天气条件下,算法不灵,机器学习就有了局限。
 

深度学习在机器学习的基础上又前进了一步,同样是从数据中提取知识来解决和分析问题,深度学习使用的是人工神经网络算法,允许发现中间表示来扩展标准机器学习,这些中间表示能够解决更复杂的问题,并且以更高的精度、更少的观察和更不麻烦的手动调谐,潜在地解决其它问题。最常见的深度学习类型是前馈深层神经网络(DNN),其使用大量的互连处理单元层从原始输入数据中“发现”适当的中间呈现。DNN提供了一个强大的框架,可应用于各种业务问题。例如可以分析视网膜扫描以“辨识”哪些模式指示健康或患病视网膜(并指示特定疾病)。“辨识”过程依赖于强力的高性能计算。

6.JPG



根据Gartner的相关资料,深度学习已经在图像识别、机器翻译、语音识别、欺诈检测、产品推荐等方面得到应用,如下表1、2:

7.JPG


8.JPG


Gartner估计,从初创公司到技术巨头,全球有2,000多家供应商正在推出深度学习相关产品。但是,当前的深度学习有其一定的局限:


1、深度学习技术是启发式的。深度学习是否会解决一个给定的问题是不清楚的,根本没有数学理论可以表明一个“足够好”的深度学习解决方案是否存在。该技术是启发式的,工作即代表有效。

2、深度学习技术的不可预期性。深度学习涉及隐藏层,在许多情况下,即使是领先的科学家也不能解释这些层面发生了什么,这样的“黑盒子” 可能对解释甚至接受结果造成问题,有时甚至破坏合规性和道德性。

3、深度学习系统化运用不成熟。没有适合所有行业且通用的深度学习,企业想要创建自己的解决方案,目前必须混合和匹配可用的工具,并跟上新软件的快速出现。

4、部分错误的结果造成不良影响。深度学习目前不能以100%的精度解决问题。深度学习延续了较浅层机器学习的大多数风险和陷阱。

5、学习速度不尽如人意。一个两岁的孩子可以在被告知几次后识别大象,而深度学习系统可能需要成千上万的例子,并且“看”这些例子数十万或数百万次,才能成功。

6、当前的范围比较狭窄。比如,AlphaGo系统学会了在大师水平线上玩Go,也只会玩Go。应用于任何其他游戏(甚至更简单)时,系统将彻底失败。




三、未来:从GPU到?PU
 

深度学习是人工智能发展的主要驱动力。目前主要是在弱人工智能的发展中产生重要作用,主要是特定的行业应用,如上文提到的图像识别、自动驾驶和机器翻译等。但是要支撑和实现和人脑类似的强人工智能,OSTP(美国白宫科技政策办公室)认为至少在几十年内无法实现。除了上文提及的数据不足、相关算法需要改进外,对高性能计算的追求就是一个长期的持续的根本任务。

9.JPG

 

GPU这个概念在当前的“读图时代”,很多人并不陌生。GPU是相对于CPU的一个概念,由于在现代的计算机中(特别是家用系统,游戏的发烧友)图形的处理变得越来越重要,需要一个专门的图形的核心处理器,这就是GPU。GPU对于深度学习技术非常重要。随着技术的演进,核心处理器也将更新迭代。例如,谷歌大脑团队正在设计TPU(深度学习芯片),这是针对深度神经网络运算的改进版的处理器。

10.jpg

 

量子计算至少在未来十年内不会影响深度学习。谷歌大脑团队的科学家Jeff Dean认为,人的大脑不是量子计算机,量子计算几乎不会对深度学习造成特别明显的影响,特别是在中短期内(比如未来十年)。但是,未来的未来,量子计算是不是能根本上改变深度学习,这谁也说不准。
 
 
 
 
更多内容请关注:www.imefuture.com
 
 
来源:微信公众号 人工智能学家
441 浏览

人类和AI的关系正在从“人机回圈”向着“众机回圈”进行转变

智能科技类 天朝脸谱 2017-02-13 10:41 发表了文章 来自相关话题

   随着人工智能的应用不断推进,参与我们的日常生活和社会治理,如何设计一个人工智能系统不仅仅是科学家和工程师的工作。越来越多的设计范式涌现,“人机回圈”(Human-in-the-Loop)是其中一个核心部分。在许多情况中,机器所面临的是一个复杂的问题,需要决策与妥协。而通常,如何妥协的问题是一个伦理问题,不能单纯依靠机器学习的算法来得到答案。这时,需要一个人机回圈的过程来辅助机器做决策支持,人是规划环路的一部分,人的判断既用于业务决策,又被反馈到机器学习算法中,使其更智能。在涉及到千万人的社会问题中,更需要由大家众筹得到一些社会问题的共识,形成自动算法+社会判断的反馈回路,这就是所谓的“众机回圈”(Society-in-the-Loop)。启蒙时代标志着人类向现代的社会契约转型。现在,我们致力于缩小“众机回圈”的差距可能将人类带向一个新的算法化的社会契约。通过协作式规划,迎接人机共存的未来。
  人工智能前沿之“众机回圈”
Iyad Rahwan在刚刚发表在《科学》杂志上的文章中第一次使用“众机回圈”(Society-in-the-Loop)这个术语。在这篇论文中,他在线测试公众会如何为一辆自动驾驶汽车在不同情况下做各种决定—这是个现代版本的伦理学中的“电车难题”(注:该项目名为Moral Machine,是一个致力于采集人类对自动驾驶汽车等未来智能机器可能遇到的各种道德难题的意见的平台)。实验背后的想法是,通过理解公众的优先选项和价值观,我们可以训练机器,使它按照社会认可道德的方式行事。我们还可以创造一个系统,允许人们与人工智能(AI)进行交互,并通过提出问题或观察其行为来测试道德。

   “众机回圈”是“人机回圈”(Human-in-the-Loop)的拓展版本,这也是AI研究中一个越来越重要的领域。通常,机器由AI工程师使用大量数据“训练”。由工程师决定使用什么数据,如何加权,使用的学习算法类型和各种参数来尝试创建一个准确有效的模型,做出正确的决策并提供准确的见解。训练机器的人通常不是某个领域的专家。多数情况下,机器学习的训练由机器学习专家完成。这产生了一个重要的问题,数据中的任何偏差或错误将导致偏差和错误的模型。一个例子是如果数据来自于允许拦截和搜身的地区 - 很明显,目标社区会显示出更高的犯罪率。

   “人机回圈”机器学习是一种尝试创建允许通过让专家与机器的一系列交互参与到机器学习的训练中的系统工作。“人机回圈”的核心是构建模型的想法不仅来自数据,而且来自于人们怎样看待数据。 Karthik Dinakar称这个过程为“透镜”,提取某领域专家或公众的视角,并将其用于训练机器学习算法。我们认为这对于提供机器学习的民主化的工具有重要的启示。
在最近一次与哲学家和人工智能及技术专家的会议上,我们讨论了机器替代法官工作的可能性。我们有证据表明,机器可以对涉及数据的事情做出非常准确的评估,并且我们可以合理假设用机器来判断保释金额或假释之类的决定可以比人类更准确。此外,有研究表明人在授予保释或判断保释金额时并没有优势。例如,判决是在午餐前后会对结果产生重大影响。

   在讨论中,我们中的一些人提议用机器代替法官的某些职能,例如判断保释和假释。然而哲学家们解释说,虽然它从功利主义的角度看结果可能更正确,但对于社会来说,“法官是人”比获得“正确”的答案更重要。因此,获得公众的接受对于任何机器学习系统来说都是很重要的,解释这个观点也是很重要的。

   有两种方法可以解决这个问题:一种方法是尝试将人纳入循环中(Human-in-the-Loop),并使用机器来协助或扩大人类法官的能力。这可能是有效的。另一方面,在医学或飞行飞机等其他领域的经验表明,人们可能以错误的决定推翻机器的选择,在一些情况下很有必要防止人们推翻机器的选择。同样,人类可能信任结果,只让机器运行系统。

   第二种方式是机器由公众社会纳入循环中的训练(Society-in-the-Loop),通过这样的方式,人们可以感受到机器更可靠地代表了人类,并且包含不同的价值观。这并不是前所未有的。在许多方面,理想的政府是一个人民感到充分知情和参与,允许政府行使权力,并相信它代表他们,并且能为行为负责的政府。也许有办法设计一个机器,可以获得公众的支持和代理,能够受到公众的培训,并且足够透明能让公众可以信任它。政府处理能处理竞争和利益冲突,那么机器也可以。虽然还存在明显的复杂障碍,包括:与传统软件不同,机器学习模型更像是一个大脑,其中代码像一系列规则,不可能查看每一个比特来理解它究竟做什么或将做什么。需要有一种方法让公众测试、审核机器的价值观和行为。

   如果我们能够弄清楚如何从公众获取输入,然后获得公众的支持,使他们成为这台机器的最终创造者和控制者,它可以解决这个司法问题的另一方,由人制造的机器犯罪的问题。例如,如果公众认为他们对自动驾驶汽车的行为有足够的投入和控制,公众是否也能感觉到公众或代表公众的政府能对自动驾驶汽车可能造成的损害负责,从而帮助我们解决任何公司开发自驾车汽车将面临的产品责任问题?

   机器将如何接受来自公众的输入,并由公众进行审核和控制,可能是最重要的需要开发的领域之一。这个领域可以使人工智能实现决策功能,保证公正甚至挽救生命。这需要向每个人提供机器学习的工具,建立一个非常开放和包容性的对话,并重新分配来自人工智能进步的力量,而不仅仅是找出方法来训练它显得符合伦理。 查看全部
   随着人工智能的应用不断推进,参与我们的日常生活和社会治理,如何设计一个人工智能系统不仅仅是科学家和工程师的工作。越来越多的设计范式涌现,“人机回圈”(Human-in-the-Loop)是其中一个核心部分。在许多情况中,机器所面临的是一个复杂的问题,需要决策与妥协。而通常,如何妥协的问题是一个伦理问题,不能单纯依靠机器学习的算法来得到答案。这时,需要一个人机回圈的过程来辅助机器做决策支持,人是规划环路的一部分,人的判断既用于业务决策,又被反馈到机器学习算法中,使其更智能。在涉及到千万人的社会问题中,更需要由大家众筹得到一些社会问题的共识,形成自动算法+社会判断的反馈回路,这就是所谓的“众机回圈”(Society-in-the-Loop)。启蒙时代标志着人类向现代的社会契约转型。现在,我们致力于缩小“众机回圈”的差距可能将人类带向一个新的算法化的社会契约。通过协作式规划,迎接人机共存的未来。
  人工智能前沿之“众机回圈”
Iyad Rahwan在刚刚发表在《科学》杂志上的文章中第一次使用“众机回圈”(Society-in-the-Loop)这个术语。在这篇论文中,他在线测试公众会如何为一辆自动驾驶汽车在不同情况下做各种决定—这是个现代版本的伦理学中的“电车难题”(注:该项目名为Moral Machine,是一个致力于采集人类对自动驾驶汽车等未来智能机器可能遇到的各种道德难题的意见的平台)。实验背后的想法是,通过理解公众的优先选项和价值观,我们可以训练机器,使它按照社会认可道德的方式行事。我们还可以创造一个系统,允许人们与人工智能(AI)进行交互,并通过提出问题或观察其行为来测试道德。

   “众机回圈”是“人机回圈”(Human-in-the-Loop)的拓展版本,这也是AI研究中一个越来越重要的领域。通常,机器由AI工程师使用大量数据“训练”。由工程师决定使用什么数据,如何加权,使用的学习算法类型和各种参数来尝试创建一个准确有效的模型,做出正确的决策并提供准确的见解。训练机器的人通常不是某个领域的专家。多数情况下,机器学习的训练由机器学习专家完成。这产生了一个重要的问题,数据中的任何偏差或错误将导致偏差和错误的模型。一个例子是如果数据来自于允许拦截和搜身的地区 - 很明显,目标社区会显示出更高的犯罪率。

   “人机回圈”机器学习是一种尝试创建允许通过让专家与机器的一系列交互参与到机器学习的训练中的系统工作。“人机回圈”的核心是构建模型的想法不仅来自数据,而且来自于人们怎样看待数据。 Karthik Dinakar称这个过程为“透镜”,提取某领域专家或公众的视角,并将其用于训练机器学习算法。我们认为这对于提供机器学习的民主化的工具有重要的启示。
在最近一次与哲学家和人工智能及技术专家的会议上,我们讨论了机器替代法官工作的可能性。我们有证据表明,机器可以对涉及数据的事情做出非常准确的评估,并且我们可以合理假设用机器来判断保释金额或假释之类的决定可以比人类更准确。此外,有研究表明人在授予保释或判断保释金额时并没有优势。例如,判决是在午餐前后会对结果产生重大影响。

   在讨论中,我们中的一些人提议用机器代替法官的某些职能,例如判断保释和假释。然而哲学家们解释说,虽然它从功利主义的角度看结果可能更正确,但对于社会来说,“法官是人”比获得“正确”的答案更重要。因此,获得公众的接受对于任何机器学习系统来说都是很重要的,解释这个观点也是很重要的。

   有两种方法可以解决这个问题:一种方法是尝试将人纳入循环中(Human-in-the-Loop),并使用机器来协助或扩大人类法官的能力。这可能是有效的。另一方面,在医学或飞行飞机等其他领域的经验表明,人们可能以错误的决定推翻机器的选择,在一些情况下很有必要防止人们推翻机器的选择。同样,人类可能信任结果,只让机器运行系统。

   第二种方式是机器由公众社会纳入循环中的训练(Society-in-the-Loop),通过这样的方式,人们可以感受到机器更可靠地代表了人类,并且包含不同的价值观。这并不是前所未有的。在许多方面,理想的政府是一个人民感到充分知情和参与,允许政府行使权力,并相信它代表他们,并且能为行为负责的政府。也许有办法设计一个机器,可以获得公众的支持和代理,能够受到公众的培训,并且足够透明能让公众可以信任它。政府处理能处理竞争和利益冲突,那么机器也可以。虽然还存在明显的复杂障碍,包括:与传统软件不同,机器学习模型更像是一个大脑,其中代码像一系列规则,不可能查看每一个比特来理解它究竟做什么或将做什么。需要有一种方法让公众测试、审核机器的价值观和行为。

   如果我们能够弄清楚如何从公众获取输入,然后获得公众的支持,使他们成为这台机器的最终创造者和控制者,它可以解决这个司法问题的另一方,由人制造的机器犯罪的问题。例如,如果公众认为他们对自动驾驶汽车的行为有足够的投入和控制,公众是否也能感觉到公众或代表公众的政府能对自动驾驶汽车可能造成的损害负责,从而帮助我们解决任何公司开发自驾车汽车将面临的产品责任问题?

   机器将如何接受来自公众的输入,并由公众进行审核和控制,可能是最重要的需要开发的领域之一。这个领域可以使人工智能实现决策功能,保证公正甚至挽救生命。这需要向每个人提供机器学习的工具,建立一个非常开放和包容性的对话,并重新分配来自人工智能进步的力量,而不仅仅是找出方法来训练它显得符合伦理。
242 浏览

探讨人工智能的「理性人」行为

智能科技类 天朝脸谱 2017-02-13 10:27 发表了文章 来自相关话题

我们应用深度多代理强化学习(deep multi-agent reinforcement learning)的方式模拟了合作的出现。连续社会困境(sequential social dilemmas)这个新概念允许我们为理性智能体互动方式建模,并根据环境性质和人工智能认知能力多少促成一些合作。这项研究可以使我们更好理解和控制复杂的多人工智能系统行为,如经济,交通和环境等领域的各种挑战。

寻求自身利益的人们聚集在一起可以实现很多伟大的成就。为什么会是这样?最符合自己利益的策略会是只关注自己,而忽视他人利益的行动吗?

自私的个人如何、在什么情况下会趋向于合作的问题,是社会科学中的基本问题之一。描述这种现象的最简单和最优雅的模型之一就是著名的囚徒困境。

两名嫌疑犯都被逮捕并单独监禁。如没有任何一人供认,警方就没有足够的证据对两名嫌疑人的主要罪行定罪,但他们已经掌握的证据可为两名嫌疑人都判处一年徒刑。为了诱使囚犯承认,警察同时向两人提供以下选择:如果指证另一名囚犯(「叛变」),你将被释放,但另一个囚犯将服刑三年。如果两个囚犯互相指证(「叛变」),他们都将服刑两年。

事实证明,理性的智能体(agents)在博弈论的意义上是会在博弈过程中经常会选择叛变的,因为不论其他囚徒怎么选择,都会存在纳什均衡,而他们的最优决策就是选择叛变。然而,矛盾的是,如果两个囚徒都是理性人的情况下,他们每一个都会获得两年的囚禁,这要比他们一同狡辩或沉默多一年的囚禁。这种矛盾就是我们所说的社会困境(social dilemma)。

最近在人工智能,特别是深度强化学习方面的研究进展为我们提供了解决社会困境问题的新工具。传统的博弈论科学家是通过一个简单的二元选择合作或欺骗来为社会困境建模。而在现实生活中,合作和欺骗可能需要复杂的行为,因为它涉及到理性人需要学习执行任务的复杂行动序列。我们将这种新设置作为序列社会困境,并通过深层多代理强化学习(deep multi-agent reinforcement learning)训练的人工智能体来研究它。
     我们的研究表明:可以将近期深度多智能体强化学习的人工智能技术应用于社会科学中的「古老」问题,例如,合作出现的神秘性。我们可以将所训练的人工智能智能体视为经济学理性智能体模型——理性经济人(homo economicus)的等价近似。因此,这样的模型赋予我们测试互动智能体(包括人以及人工智能智能体)所组成的仿造系统的特殊能力,可以测试在系统中设置不同的政策和调解方案将会产生何种结果。因此,我们能够更好的理解和控制复杂多智能体系统,如经济系统、交通系统、地球健康生态体系等所有依赖持续合作所构建的系统。

  查看全部
我们应用深度多代理强化学习(deep multi-agent reinforcement learning)的方式模拟了合作的出现。连续社会困境(sequential social dilemmas)这个新概念允许我们为理性智能体互动方式建模,并根据环境性质和人工智能认知能力多少促成一些合作。这项研究可以使我们更好理解和控制复杂的多人工智能系统行为,如经济,交通和环境等领域的各种挑战。

寻求自身利益的人们聚集在一起可以实现很多伟大的成就。为什么会是这样?最符合自己利益的策略会是只关注自己,而忽视他人利益的行动吗?

自私的个人如何、在什么情况下会趋向于合作的问题,是社会科学中的基本问题之一。描述这种现象的最简单和最优雅的模型之一就是著名的囚徒困境。

两名嫌疑犯都被逮捕并单独监禁。如没有任何一人供认,警方就没有足够的证据对两名嫌疑人的主要罪行定罪,但他们已经掌握的证据可为两名嫌疑人都判处一年徒刑。为了诱使囚犯承认,警察同时向两人提供以下选择:如果指证另一名囚犯(「叛变」),你将被释放,但另一个囚犯将服刑三年。如果两个囚犯互相指证(「叛变」),他们都将服刑两年。

事实证明,理性的智能体(agents)在博弈论的意义上是会在博弈过程中经常会选择叛变的,因为不论其他囚徒怎么选择,都会存在纳什均衡,而他们的最优决策就是选择叛变。然而,矛盾的是,如果两个囚徒都是理性人的情况下,他们每一个都会获得两年的囚禁,这要比他们一同狡辩或沉默多一年的囚禁。这种矛盾就是我们所说的社会困境(social dilemma)。

最近在人工智能,特别是深度强化学习方面的研究进展为我们提供了解决社会困境问题的新工具。传统的博弈论科学家是通过一个简单的二元选择合作或欺骗来为社会困境建模。而在现实生活中,合作和欺骗可能需要复杂的行为,因为它涉及到理性人需要学习执行任务的复杂行动序列。我们将这种新设置作为序列社会困境,并通过深层多代理强化学习(deep multi-agent reinforcement learning)训练的人工智能体来研究它。
     我们的研究表明:可以将近期深度多智能体强化学习的人工智能技术应用于社会科学中的「古老」问题,例如,合作出现的神秘性。我们可以将所训练的人工智能智能体视为经济学理性智能体模型——理性经济人(homo economicus)的等价近似。因此,这样的模型赋予我们测试互动智能体(包括人以及人工智能智能体)所组成的仿造系统的特殊能力,可以测试在系统中设置不同的政策和调解方案将会产生何种结果。因此,我们能够更好的理解和控制复杂多智能体系统,如经济系统、交通系统、地球健康生态体系等所有依赖持续合作所构建的系统。

 
271 浏览

深度 | 大脑如何思考?科学家正用机器学习解码人类智能

智能科技类 品管人生 2016-12-30 15:43 发表了文章 来自相关话题

为什么我们需要人工智能协助研究人类的天生才智(natural intelligence)。
 
 
过去几年中,Jack Gallant 的神经科学实验室已经发表了一串听起来有些荒诞的论文。


2011 年,实验室证实,仅通过观察人类观影时的脑部活动,就可能再造电影片段。某种意义上,扫描观影人大脑再用计算机生成这部电影就像是读心术。类似地,2015 年,这个团队通过观察人类大脑活动成功预测了被试脑中勾勒着的名画。


2016 年,该团队在《自然》上发表了著名论文,宣布画出一万多个单个语词在大脑中的位置地图——方法是让被试收听 podcast 节目。( Nature 封面:神经科学家成功绘制大脑语义地图,解读人类思想迈出关键一步)


他们怎么做到的?研究人员使用了机器学习工具——一种人工智能——挖掘海量大脑数据、找到了大脑活动模式、预测人类感知。


不过,他们的目标并不是要打造一台读心机器。神经科学家对盗取藏在脑中的密码不感兴趣,也对那些见不得光的秘密不感冒。他们的目标更加远大。将神经科学转变为一种「大数据」科学,使用机器学习挖掘数据,Gallant 和该领域的其他科学家有可能革新我们对大脑的理解。


毕竟,人类大脑是宇宙中已知的最为复杂的东西,人类几乎搞不懂它。Gallant 实验室的雄心——让神经科学摆脱不成熟阶段——:或许可以打造出一台为我们解读大脑的机器。如果可以解码极端复杂的大脑模式,就有可能找出修复大脑的办法(当大脑深受疾病之苦时)。


MRI——我们用来窥探和分析大脑功能及其解剖学的工具——诞生于上世纪九十年代,效果透光不均匀。为了让效果透视化,fMRI 能够观察到的脑部活动最小单元到了体素(voxel)层面。这些体素通常小于 1 立方毫米。而一个体素中可能有 10 万个神经元。德克萨斯大学的神经科学家 Tal Yarkoni 告诉我,fMRI「就像飞过城市,找到哪里亮着灯。」







传统的 fMRI 成像可以呈现出对某个行为至关重要的广阔区域在哪里——比如,你可以看到大脑哪里处理负面情绪或者当我们看到熟悉面孔时,哪里会亮起来。


但是,你无法确切知道这个区域在行为中扮演什么样的角色,或者其他不那么活跃的区域是否也扮演着重要作用。大脑不是乐高玩具,每块玩具都有着特定的功能。大脑是一张活动之网。Gallant 说,「每个大脑区域会有 50% 的可能与大脑其他区域连接起来。」


这就是为什么简单的实验——识别「hunger(饥饿)」或者「vigilance(警觉)」所在大脑区域——无法真的得出让人满意的答案。


美国国家精神健康研究院(National Institute of Mental Health)fMRI 部门负责人 Peter Bandettini 告诉我,「过去十五年中,我们一直研究这些一团一团东西的活动。结果,每一团中细微差别、每一次波动的细微差别都包含着大脑运动的信息,而我们无法真正挖掘出来。这也是我们需要这些机器学习技术的原因。我们可以看到一团团的东西,却识别不出模式,因为这些模式太复杂了。」


举个例子。大脑如何处理语言?传统的看法是活动发生在左半球的两个特定区域——布洛卡区和威尔尼克区域——这是语言活动的中心区域。如果它们受损,人就会失去语言能力。不过,Gallant 实验室的博士后 Alex Huth 最近发现,这个观点太过简单。他想知道整个大脑是否都与语言理解相关。


实验中,他请几个被试听两个小时的故事节目 The Moth,与此同时,同事们用 fMRI 扫描仪记录被试大脑活动。他们想要将大脑不同区域与所听到的单个语词关联起来。


实验产生了很多数据,人力很难处理。Gallant 说。但是,可以训练计算机程序寻找数据中的模式。因此,Huth 设计了可以揭示出语义地图的程序,地图显示出每个语词所在大脑区域。


「Alex 的研究表明,语义理解需要动用大脑的大部分区域,」Gallant 说道。Alex 同时也展示了意义相似的单词(如 poodle 和 dog)在大脑中的刺激到的位置彼此靠近。


这个研究的意义何在?在科学里,预测就是力量。如果科学家可以预测让人眼花缭乱的大脑活动是如何进行语言理解的,他们就可以受此启发构建更高效的模型。而一旦新的模型被建立起来,他们就可以更好地认识变量改动后的情况——大脑出现病变时。




什么是机器学习?


「机器学习」是一个内容广泛的概念,包含了各类算法与系统。机器学习目前已经被大量应用到消费级产品中去了——例如让计算设备学会识别图片中的物体,其准确程度堪比人类。机器学习的一个分支「深度学习」是最近最为引人注目的词汇,这种技术已经让谷歌的翻译服务从生硬的单词翻译进化到可以把海明威的著作翻译成各国语言,同时保留原作风格的水平。


在最基本的层面上看,机器学习程序需要先使用数据集进行「训练」。在训练中,程序会在数据中寻找模式。通常来说,训练越多的数据,系统就会有更好的表现。一旦经过训练,在遇到同类型的数据之后,系统就可以展开预测了。


最常见的例子就是电子邮件中的垃圾邮件过滤程序。机器学习通过扫描足够数量的垃圾邮件,学习其中内容的特性,从而在收到新的邮件时帮你进行分析和拦截。


机器学习可以是非常简单的程序,仅仅进行数学回归运算(这只是中学数学知识,比如从一些已知条件中算出一条线段的斜率);也可以是非常复杂的系统,就像谷歌 DeepMind,经过了数以百万条数据的训练,从而在围棋上打败人类世界冠军(围棋的棋局变化数量超过了宇宙中所有原子的数量)。


神经科学家正在使用机器学习进行着一些研究。如编码与解码。


通过「编码」,研究人员试图使用机器学习来预测不同刺激在大脑中造成的影响。


「解码」则与之相反,通过观察大脑活动来反推受试者正在思考什么。(注:神经科学家可以使用不同大脑扫描方式为机器学习提供数据,除了 fMRI 以外还有 EEG 和 MEG 等)

俄勒冈大学的神经科学家 Brice Kuhl 最近使用 fMRI 数据解码,重建了受实验者眼睛里看到的内容。


Kuhl 通过核磁共振成像研究的脑区一直被认为与人类记忆密切相关。「这个脑区的活动显示了你所看到物体的细节——或许仅仅是(点亮),因为它是你非常确定的记忆。」Kuhl 说道。机器学习程序可以从这个脑区的活动图像中预测被试者看到的人的面部特征,这表明这个位置就是「你看到的细节」被处理的地方。






第一行是 Kuhl 研究中的原始面孔;第二行是基于大脑的两个不同区域中的活动,机器学习进行的猜测,重建远非完美,但它们表现出了原面部的一些基本细节,如性别、肤色和表情


同样,Gallant 有关艺术作品的实验揭示了一个关于心灵的小秘密:当我们看到相同物体时,我们会激活大脑中相同的区域。


所有接受采访的神经科学家们都表示机器学习并没有彻底改变他们的领域。究其原因——没有足够的数据。扫描大脑活动需要花费大量时间,而且价格昂贵。同时,一项研究通常会招募几十名受试者,而不会有几百人。


「在 20 世纪 90 年代,神经影像学刚刚起飞时,人们关注类层面(category level)的表征——大脑的哪个部分处理人的面孔(而不是房子和物体),这是大尺度的问题,」匹茨堡大学的神经科学研究院 Avniel Ghuman 解释道。「现在我们可以研究很多细节上的问题,比如:这让他/她回忆起了十分钟前想到的同一件事吗?」


「这种进步是革命性的。」Ghuman 说道。




神经科学家希望机器学习可以帮助诊断和治疗精神障碍


目前,精神科医生还不能通过让病人接受 fMRI 扫描来确定他/她是否患有精神疾病(如精神分裂症)。他们仍然不得不依靠在临床上与患者进行对话(毫无疑问,这种方式获得的信息具有很大价值)。但机器学习带来的新型诊断方法将会让疾病的诊断更加准确,这无疑会给医疗领域带来新的进步。为了做到这一点,美国国家精神健康研究院(NIMH)的 Bandettini 表示,神经科学家们需要获得 10,000 份以上 fMRI 扫描结果的数据集。


机器学习程序可以从精神病人的大脑活动图像中寻找模式,学会进行识别。「随后你可以开始把它应用在临床上,扫描一个病人然后说:基于容量为 10,000 的数据集的训练,我们现在可以作出初步诊断,此人患有精神分裂症。」Bandettini 表示,现在,这些研究仍然处于初级阶段,新的突破还没有出现。


但是,如果我们理解了大脑中各区域组成的网络是如何工作的,这些方向很快就会转化为成果。「在未来,我们也许能设计复杂的干预措施在大脑出现病变时进行治疗,」MIT 计算神经科学家 Dan Yamins 说道。「也许我们可以把某种植入物放进大脑,用来治疗阿尔茨海默病,或者也可以治疗帕金森症。」


机器学习还可以帮助精神科医生预测不同患者的大脑会如何对抑郁症的药物治疗产生反应。「现在的精神病医生不得不猜测,从诊断角度来看,哪种药物可能是有效的,」Yamin 说道。「因为有时症状并不能说明大脑中发生的一切。」


但 Yamin 同时指出,这些愿景可能很长一段时间都无法实现。很多科学家们现在正在思考这些问题。NeuroImage 期刊曾出版过一个专刊登载预测个体大脑差异和神经影像学诊断的论文。


这是非常重要的研究方向,因为当涉及到医疗领域时,预测为治疗和预防疾病带来了新思路。


机器学习可以预测癫痫发作


癫痫病的患者永远无法得知自己将在何时发病。「这对你的生活来说是致命的——你不能开车,不能正常生活,因为你随时有可能发病,」国立卫生研究院的神经科学家 Christian Meisel 说道。「如果拥有一个预警系统,一切都将会不同。」


目前人们对癫痫病的治疗方式也不甚完美。一些患者不得不 24 个小时不断服用抗惊厥药物,而这些药物具有严重的副作用。而对于 20%-30% 的患者来说,没有任何药物对他们有效。


用预测来改变这一切。


如果癫痫患者知道癫痫发作即将来临,他们至少可以提前找到一个安全的地方。预测还可以改变治疗方式:提前警告可以告诉患者快速服用癫痫药物,或发送电信号以阻止其即将出现的发作。


这是一个 EEG——脑电图图像——Meisel 分享了一个癫痫病人的例子。「现在是没有癫痫发作的情况,」Meisel 说道。「问题是,这种情形距离发病有一小时还是四个多小时?」






对于临床医生来说,预测是非常困难的,他说,甚至是不可能的。


但关于一场即将发作的癫痫的信息可能隐藏得非常微妙。为了测试这种可能性,Meisel 的实验室最近参加了一个由网络上的数据科学社区中心 Kaggle 主办的比赛。Kaggle 提供了三位癫痫患者的几个月和几年的 EEG 记录。Meisel 使用了深度学习来分析这些数据并寻找其中的模式。


根据癫痫的前奏的 EEG 扫描来预测癫痫发作,这能够做到多好?「如果你有一个可以预测一切的完美系统,你得 1 分。」Meisel 说,「如果你只有一个抛硬币的随机系统,你得分 0.5。而我们现在的得分是 0.8。也就是说我们的系统现在并不能做到完美预测,但却比随机好很多。」(这听起来似乎不错,但目前这个方法更多还是理论上的,并不实用。这些患者是通过颅内 EEG 监测的,这是一种侵入式操作。)


Meisel 是一位神经学理论学家,绘制了癫痫发作病症如何从小型的神经活动发展成完全的衰竭型行为的模型。他说,机器学习是帮助他改善其理论的有用工具。他可以将自己的理论引入到机器学习模型中,观察它是否使得系统更具预测性。「如果有效,那我的理论就是正确的。」他说。


从机器学习到真正有用,神经科学将需要变成一种大数据科学。







机器学习并不能解决神经科学领域内的所有大问题。它可能会受限于来自 fMRI 和其它脑扫描技术的数据的质量。(最好的也就是 fMRI 绘制出的大脑的模糊影像。)「就算我们有无限的成像数据,你也不能得到完美的预测,因为这些成像流程本身是非常不完美的。」计算机科学家 Gael Varoquaux 如是说,他已经开发出了一款用于神经科学的机器学习工具包。


但至少我访问过的神经科学家都对机器学习感到兴奋,因为机器学习有利于实现更干净的科学(cleaner science)。机器学习解决了所谓的「多重比较问题(multiple comparison problem)」,其中研究者的工作本质上是在他们的数据中挖掘出统计学上显著的结果(只要有足够的脑扫描数据,某些地方的一些区域就会「点亮」)。使用机器学习,不管你对大脑行为的预测是否正确,Varoquanx 说:「预测是你可以控制的东西」。


大数据的方法也意味着神经科学家可以在实验室之外开始自己的行为研究。「我们所有的关于大脑活动方式的传统模型都基于那些人工设置的实验环境」,Ghuman 说,「当涉及到真实世界环境时,我们并不完全清楚它是否还是有效。」如果我们有了关于大脑活动(也许来自可穿戴的 EEG 监测器)和行为的足够数据,机器学习就可以开始寻找将这两者联系起来的模式,而不再需要认为设置的实验。


在神经科学领域使用深度学习还有最后一个可能性,这听起来很科幻:我们在大脑上使用机器学习来开发更好的机器学习程序。过去十年机器学习领域内最大的进步是被称为「卷积神经网络」的思想。谷歌就是用这种技术来识别照片中的物体的。这些神经网络基于神经科学的理论。所以,随着机器学习在理解大脑上做得越来越好,机器学习本身也可以从中学习技巧,从而变得更加聪明。经过这样改进的机器学习程序又可以继续研究大脑,让我们可以更进一步地了解更多神经科学。


(研究人员也可以从机器学习项目中吸取洞见,比如训练机器学习重现视觉这样的人类行为的项目。可能在学习这些行为的过程中,这些项目能重现大脑做出行为的方式。)


Varoquanx 说,「我不想让人们认为我们突然开始研发大脑读取设备,事实不是这样。我们希望得到更丰富的计算模型,从而更好地理解大脑,这才是我们想要做的。」
 
来源:机器之心
 
 
 
 
更多内容请关注:www.imefuture.com
 
人们都在说人工智能,其实现在我们真正做的是智能增强
用深度学习对抗癌症:从分子层面研究到大规模人口建模
 
智造家 查看全部
为什么我们需要人工智能协助研究人类的天生才智(natural intelligence)。
 
 
过去几年中,Jack Gallant 的神经科学实验室已经发表了一串听起来有些荒诞的论文。


2011 年,实验室证实,仅通过观察人类观影时的脑部活动,就可能再造电影片段。某种意义上,扫描观影人大脑再用计算机生成这部电影就像是读心术。类似地,2015 年,这个团队通过观察人类大脑活动成功预测了被试脑中勾勒着的名画。


2016 年,该团队在《自然》上发表了著名论文,宣布画出一万多个单个语词在大脑中的位置地图——方法是让被试收听 podcast 节目。( Nature 封面:神经科学家成功绘制大脑语义地图,解读人类思想迈出关键一步)


他们怎么做到的?研究人员使用了机器学习工具——一种人工智能——挖掘海量大脑数据、找到了大脑活动模式、预测人类感知。


不过,他们的目标并不是要打造一台读心机器。神经科学家对盗取藏在脑中的密码不感兴趣,也对那些见不得光的秘密不感冒。他们的目标更加远大。将神经科学转变为一种「大数据」科学,使用机器学习挖掘数据,Gallant 和该领域的其他科学家有可能革新我们对大脑的理解。


毕竟,人类大脑是宇宙中已知的最为复杂的东西,人类几乎搞不懂它。Gallant 实验室的雄心——让神经科学摆脱不成熟阶段——:或许可以打造出一台为我们解读大脑的机器。如果可以解码极端复杂的大脑模式,就有可能找出修复大脑的办法(当大脑深受疾病之苦时)。


MRI——我们用来窥探和分析大脑功能及其解剖学的工具——诞生于上世纪九十年代,效果透光不均匀。为了让效果透视化,fMRI 能够观察到的脑部活动最小单元到了体素(voxel)层面。这些体素通常小于 1 立方毫米。而一个体素中可能有 10 万个神经元。德克萨斯大学的神经科学家 Tal Yarkoni 告诉我,fMRI「就像飞过城市,找到哪里亮着灯。」

3.1_.jpg



传统的 fMRI 成像可以呈现出对某个行为至关重要的广阔区域在哪里——比如,你可以看到大脑哪里处理负面情绪或者当我们看到熟悉面孔时,哪里会亮起来。


但是,你无法确切知道这个区域在行为中扮演什么样的角色,或者其他不那么活跃的区域是否也扮演着重要作用。大脑不是乐高玩具,每块玩具都有着特定的功能。大脑是一张活动之网。Gallant 说,「每个大脑区域会有 50% 的可能与大脑其他区域连接起来。」


这就是为什么简单的实验——识别「hunger(饥饿)」或者「vigilance(警觉)」所在大脑区域——无法真的得出让人满意的答案。


美国国家精神健康研究院(National Institute of Mental Health)fMRI 部门负责人 Peter Bandettini 告诉我,「过去十五年中,我们一直研究这些一团一团东西的活动。结果,每一团中细微差别、每一次波动的细微差别都包含着大脑运动的信息,而我们无法真正挖掘出来。这也是我们需要这些机器学习技术的原因。我们可以看到一团团的东西,却识别不出模式,因为这些模式太复杂了。」


举个例子。大脑如何处理语言?传统的看法是活动发生在左半球的两个特定区域——布洛卡区和威尔尼克区域——这是语言活动的中心区域。如果它们受损,人就会失去语言能力。不过,Gallant 实验室的博士后 Alex Huth 最近发现,这个观点太过简单。他想知道整个大脑是否都与语言理解相关。


实验中,他请几个被试听两个小时的故事节目 The Moth,与此同时,同事们用 fMRI 扫描仪记录被试大脑活动。他们想要将大脑不同区域与所听到的单个语词关联起来。


实验产生了很多数据,人力很难处理。Gallant 说。但是,可以训练计算机程序寻找数据中的模式。因此,Huth 设计了可以揭示出语义地图的程序,地图显示出每个语词所在大脑区域。


「Alex 的研究表明,语义理解需要动用大脑的大部分区域,」Gallant 说道。Alex 同时也展示了意义相似的单词(如 poodle 和 dog)在大脑中的刺激到的位置彼此靠近。


这个研究的意义何在?在科学里,预测就是力量。如果科学家可以预测让人眼花缭乱的大脑活动是如何进行语言理解的,他们就可以受此启发构建更高效的模型。而一旦新的模型被建立起来,他们就可以更好地认识变量改动后的情况——大脑出现病变时。




什么是机器学习?


「机器学习」是一个内容广泛的概念,包含了各类算法与系统。机器学习目前已经被大量应用到消费级产品中去了——例如让计算设备学会识别图片中的物体,其准确程度堪比人类。机器学习的一个分支「深度学习」是最近最为引人注目的词汇,这种技术已经让谷歌的翻译服务从生硬的单词翻译进化到可以把海明威的著作翻译成各国语言,同时保留原作风格的水平。


在最基本的层面上看,机器学习程序需要先使用数据集进行「训练」。在训练中,程序会在数据中寻找模式。通常来说,训练越多的数据,系统就会有更好的表现。一旦经过训练,在遇到同类型的数据之后,系统就可以展开预测了。


最常见的例子就是电子邮件中的垃圾邮件过滤程序。机器学习通过扫描足够数量的垃圾邮件,学习其中内容的特性,从而在收到新的邮件时帮你进行分析和拦截。


机器学习可以是非常简单的程序,仅仅进行数学回归运算(这只是中学数学知识,比如从一些已知条件中算出一条线段的斜率);也可以是非常复杂的系统,就像谷歌 DeepMind,经过了数以百万条数据的训练,从而在围棋上打败人类世界冠军(围棋的棋局变化数量超过了宇宙中所有原子的数量)。


神经科学家正在使用机器学习进行着一些研究。如编码与解码。


通过「编码」,研究人员试图使用机器学习来预测不同刺激在大脑中造成的影响。


「解码」则与之相反,通过观察大脑活动来反推受试者正在思考什么。(注:神经科学家可以使用不同大脑扫描方式为机器学习提供数据,除了 fMRI 以外还有 EEG 和 MEG 等)

俄勒冈大学的神经科学家 Brice Kuhl 最近使用 fMRI 数据解码,重建了受实验者眼睛里看到的内容。


Kuhl 通过核磁共振成像研究的脑区一直被认为与人类记忆密切相关。「这个脑区的活动显示了你所看到物体的细节——或许仅仅是(点亮),因为它是你非常确定的记忆。」Kuhl 说道。机器学习程序可以从这个脑区的活动图像中预测被试者看到的人的面部特征,这表明这个位置就是「你看到的细节」被处理的地方。

3.2_.jpg


第一行是 Kuhl 研究中的原始面孔;第二行是基于大脑的两个不同区域中的活动,机器学习进行的猜测,重建远非完美,但它们表现出了原面部的一些基本细节,如性别、肤色和表情


同样,Gallant 有关艺术作品的实验揭示了一个关于心灵的小秘密:当我们看到相同物体时,我们会激活大脑中相同的区域。


所有接受采访的神经科学家们都表示机器学习并没有彻底改变他们的领域。究其原因——没有足够的数据。扫描大脑活动需要花费大量时间,而且价格昂贵。同时,一项研究通常会招募几十名受试者,而不会有几百人。


「在 20 世纪 90 年代,神经影像学刚刚起飞时,人们关注类层面(category level)的表征——大脑的哪个部分处理人的面孔(而不是房子和物体),这是大尺度的问题,」匹茨堡大学的神经科学研究院 Avniel Ghuman 解释道。「现在我们可以研究很多细节上的问题,比如:这让他/她回忆起了十分钟前想到的同一件事吗?」


「这种进步是革命性的。」Ghuman 说道。




神经科学家希望机器学习可以帮助诊断和治疗精神障碍


目前,精神科医生还不能通过让病人接受 fMRI 扫描来确定他/她是否患有精神疾病(如精神分裂症)。他们仍然不得不依靠在临床上与患者进行对话(毫无疑问,这种方式获得的信息具有很大价值)。但机器学习带来的新型诊断方法将会让疾病的诊断更加准确,这无疑会给医疗领域带来新的进步。为了做到这一点,美国国家精神健康研究院(NIMH)的 Bandettini 表示,神经科学家们需要获得 10,000 份以上 fMRI 扫描结果的数据集。


机器学习程序可以从精神病人的大脑活动图像中寻找模式,学会进行识别。「随后你可以开始把它应用在临床上,扫描一个病人然后说:基于容量为 10,000 的数据集的训练,我们现在可以作出初步诊断,此人患有精神分裂症。」Bandettini 表示,现在,这些研究仍然处于初级阶段,新的突破还没有出现。


但是,如果我们理解了大脑中各区域组成的网络是如何工作的,这些方向很快就会转化为成果。「在未来,我们也许能设计复杂的干预措施在大脑出现病变时进行治疗,」MIT 计算神经科学家 Dan Yamins 说道。「也许我们可以把某种植入物放进大脑,用来治疗阿尔茨海默病,或者也可以治疗帕金森症。」


机器学习还可以帮助精神科医生预测不同患者的大脑会如何对抑郁症的药物治疗产生反应。「现在的精神病医生不得不猜测,从诊断角度来看,哪种药物可能是有效的,」Yamin 说道。「因为有时症状并不能说明大脑中发生的一切。」


但 Yamin 同时指出,这些愿景可能很长一段时间都无法实现。很多科学家们现在正在思考这些问题。NeuroImage 期刊曾出版过一个专刊登载预测个体大脑差异和神经影像学诊断的论文。


这是非常重要的研究方向,因为当涉及到医疗领域时,预测为治疗和预防疾病带来了新思路。


机器学习可以预测癫痫发作


癫痫病的患者永远无法得知自己将在何时发病。「这对你的生活来说是致命的——你不能开车,不能正常生活,因为你随时有可能发病,」国立卫生研究院的神经科学家 Christian Meisel 说道。「如果拥有一个预警系统,一切都将会不同。」


目前人们对癫痫病的治疗方式也不甚完美。一些患者不得不 24 个小时不断服用抗惊厥药物,而这些药物具有严重的副作用。而对于 20%-30% 的患者来说,没有任何药物对他们有效。


用预测来改变这一切。


如果癫痫患者知道癫痫发作即将来临,他们至少可以提前找到一个安全的地方。预测还可以改变治疗方式:提前警告可以告诉患者快速服用癫痫药物,或发送电信号以阻止其即将出现的发作。


这是一个 EEG——脑电图图像——Meisel 分享了一个癫痫病人的例子。「现在是没有癫痫发作的情况,」Meisel 说道。「问题是,这种情形距离发病有一小时还是四个多小时?」

3.3_.jpg


对于临床医生来说,预测是非常困难的,他说,甚至是不可能的。


但关于一场即将发作的癫痫的信息可能隐藏得非常微妙。为了测试这种可能性,Meisel 的实验室最近参加了一个由网络上的数据科学社区中心 Kaggle 主办的比赛。Kaggle 提供了三位癫痫患者的几个月和几年的 EEG 记录。Meisel 使用了深度学习来分析这些数据并寻找其中的模式。


根据癫痫的前奏的 EEG 扫描来预测癫痫发作,这能够做到多好?「如果你有一个可以预测一切的完美系统,你得 1 分。」Meisel 说,「如果你只有一个抛硬币的随机系统,你得分 0.5。而我们现在的得分是 0.8。也就是说我们的系统现在并不能做到完美预测,但却比随机好很多。」(这听起来似乎不错,但目前这个方法更多还是理论上的,并不实用。这些患者是通过颅内 EEG 监测的,这是一种侵入式操作。)


Meisel 是一位神经学理论学家,绘制了癫痫发作病症如何从小型的神经活动发展成完全的衰竭型行为的模型。他说,机器学习是帮助他改善其理论的有用工具。他可以将自己的理论引入到机器学习模型中,观察它是否使得系统更具预测性。「如果有效,那我的理论就是正确的。」他说。


从机器学习到真正有用,神经科学将需要变成一种大数据科学。

3.4_.jpg



机器学习并不能解决神经科学领域内的所有大问题。它可能会受限于来自 fMRI 和其它脑扫描技术的数据的质量。(最好的也就是 fMRI 绘制出的大脑的模糊影像。)「就算我们有无限的成像数据,你也不能得到完美的预测,因为这些成像流程本身是非常不完美的。」计算机科学家 Gael Varoquaux 如是说,他已经开发出了一款用于神经科学的机器学习工具包。


但至少我访问过的神经科学家都对机器学习感到兴奋,因为机器学习有利于实现更干净的科学(cleaner science)。机器学习解决了所谓的「多重比较问题(multiple comparison problem)」,其中研究者的工作本质上是在他们的数据中挖掘出统计学上显著的结果(只要有足够的脑扫描数据,某些地方的一些区域就会「点亮」)。使用机器学习,不管你对大脑行为的预测是否正确,Varoquanx 说:「预测是你可以控制的东西」。


大数据的方法也意味着神经科学家可以在实验室之外开始自己的行为研究。「我们所有的关于大脑活动方式的传统模型都基于那些人工设置的实验环境」,Ghuman 说,「当涉及到真实世界环境时,我们并不完全清楚它是否还是有效。」如果我们有了关于大脑活动(也许来自可穿戴的 EEG 监测器)和行为的足够数据,机器学习就可以开始寻找将这两者联系起来的模式,而不再需要认为设置的实验。


在神经科学领域使用深度学习还有最后一个可能性,这听起来很科幻:我们在大脑上使用机器学习来开发更好的机器学习程序。过去十年机器学习领域内最大的进步是被称为「卷积神经网络」的思想。谷歌就是用这种技术来识别照片中的物体的。这些神经网络基于神经科学的理论。所以,随着机器学习在理解大脑上做得越来越好,机器学习本身也可以从中学习技巧,从而变得更加聪明。经过这样改进的机器学习程序又可以继续研究大脑,让我们可以更进一步地了解更多神经科学。


(研究人员也可以从机器学习项目中吸取洞见,比如训练机器学习重现视觉这样的人类行为的项目。可能在学习这些行为的过程中,这些项目能重现大脑做出行为的方式。)


Varoquanx 说,「我不想让人们认为我们突然开始研发大脑读取设备,事实不是这样。我们希望得到更丰富的计算模型,从而更好地理解大脑,这才是我们想要做的。」
 
来源:机器之心
 
 
 
 
更多内容请关注:www.imefuture.com
 
人们都在说人工智能,其实现在我们真正做的是智能增强
用深度学习对抗癌症:从分子层面研究到大规模人口建模
 
智造家
258 浏览

用深度学习对抗癌症:从分子层面研究到大规模人口建模

机械自动化类 密泰传动系统 2016-12-27 13:33 发表了文章 来自相关话题

Rick Stevens 表示,首个先进癌症计算解决方案的联合设计(Joint Design of Advanced Computing Solutions for Cancer,JDACS4C)「成果」将于 2017 年第二季度的某个时间公开。JDACS4C 一共有三个试点项目,Rick 领导了其中之一,将深度学习(DL)应用到癌症治疗中去。这些项目不仅可以推进癌症研究和治疗,而且可以提高深度学习的能力和基础架构,最终着眼于百亿亿次计算机的研究,DOE 将对这些项目提供部分的资金支持。


无论以哪种标准,美国对抗癌症(U.S. War on Cancer)和 Precision Medicine Initiative(精准医学计划,PMI)都颇具野心。过去,对抗癌症一直没有很明显的进步,但也不是说没有取得很多成绩。


只是现在看来前景更为光明。生物医学的进步和下一代领先计算机的兴起(百亿亿次计算机的开发)推动着癌症治疗的发展。深度学习和数据驱动科学的快速发展,使许多人对前景报以乐观的态度,所以 2016 全球超级计算机大会重点关注精准医疗和 HPC 的作用就是偶然了。


三个 JDACS4C 试点项目,包括从分子层面到人口规模方面的诸多研究,以支持 CANcer 分布式学习环境项目(CANcer Distributed Learning Environment project):这些工作旨在洞察可扩展机器学习工具;通过深度学习、模拟和分析技术,减少治疗时间;为未来计算方案提供信息。也希望能建立「有效利用日益增长的数据和与癌症相关数据的多样性来打造预测性模型,为接下来的癌症研究提供一个新的范式,更好地理解疾病并最终提供指导,支持基于个体预期治疗结果的决策,Rick 说。


这些都是远大的目标。因此想要总结出 JDACS4C 的准确谱系,确实有点麻烦,广义上来看,它属于 PMI,美国国家癌症研究所的癌症登月计划,也集中在 美国国家战略计算计划(NSCI)之下。Stevens 指出,早在几年前就开始讨论创建这个大项目框架了,8 月拿到了第一笔资金。以下是三个试点项目的简介:

RAS 分子项目: 这个项目((Molecular Level Pilot for RAS Structure and Dynamics in Cellular Membranes)旨在开发新的计算方法,支持 RAS 计划下已经完成的研究,最终完善我们对癌症中的 RAS(基因家族)及其相关信号通路作用的理解,识别 RAS 蛋白膜信号复合物中独有的新治疗靶点。
 
临床前筛选: 该项目(Cellular Level Pilot for Predictive Modeling for Pre-clinical Screening)将开发「基于源自人源性肿瘤组织异种移植实验性生物数据的机器学习、大规模数据和预测模型」。旨在创建一个反馈回路,其中,实验模型指导计算模型的方案。这些预测模型可能给癌症治疗的指明了新目标,并帮助确定新的治疗方法。
 
人口模型:这个项目(Population Level Pilot for Population Information Integration, Analysis and Modeling))旨在建立一个可扩展的框架,能够高效提取、延展、整合及 构建癌症患者的病例信息。这样的一个「引擎」应用在医疗保健的许多方面(转移、成本控制、研究等),将会十分强大。


显而易见的是,这么复杂的工作需要很多组织的配合。国家癌症研究所的部门包括生物医学信息和信息技术中心(CBIIT),癌症治疗诊断部(DCTD),癌症控制和人口科学部(DCCPS)和弗雷德里克国家癌症研究实验室(Frederick National Laboratory for Cancer Research)。也有四个美国能源部国家实验室被正式分派从事这个项目,这四个实验室分别是阿贡国家实验室(Argonne National Laboratory)、橡树岭国家实验室(Oak Ridge National Laboratory)、劳伦斯利弗莫尔国家实验室(Lawrence Livermore National Laboratory)和洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory)。


当所有的试验项目放在一起时,Stevens 指出,我们意识到每个项目都需要深度学习,而且需要它的各种不同用途。因此,我们的想法是,既要构建软件环境和网络拓扑,也要建造这三个项目所需的所有东西,所以我们不会复制。研究人员也定义了关键标准——与我们用来解决不同癌症子问题资源相匹配的、易于处理的深度学习问题。





早期的第一步是吸引供应商参与,这充分地证明了 Stevens 所说的话,因为几乎所有的主要 HPC 供应商都在积极地加速深度学习路线图。大多数人认为 JDACS4C 试点项目是学习和完善的机会。Stevens 说,JDASC4C 已经与英特尔、Cray、NVIDIA、IBM 等公司达成了合作关系。


「所有的实验室都配备了 DGX-1,并且 NVIDIA 已经为不同 GPU、Pascal 等优化了大多数的通用框架。我们在 DGX-1 上运行的任何东西都可以很容易地实现分布式。英特尔有自己的长远计划,并且并不是所有的这些计划都是公开的。我可以表明的是,我们正在与英特尔的所有适合的部门合作。」Stevens 说,他是 ANL 研究员和临床前筛选项目的领导者。


事实上,英特尔一直很忙,忙于购买 Nervana(一个用于深度学习的完整平台),最近又推出了扩展计划。Stevens 说:「他们谈论到为机器学习而优化的 Knights X 系列的版本。Knights Mil 是他们的线路图的第一个版本,」这个芯片巨头还在 SC16 上推出了深度学习推理加速卡;它是用于神经网络加速的基于现场可编程门阵列(field-programmable gate array (FPGA))的软硬件解决方案。Stevens 认为英特尔像 NVIDIA 一样,正在制定一个应用战略。


他说:「英特尔非常想尝试确定一种战略,以区分训练和推理平台之间的某些级别。大多数深度学习系统现在在『quasi』上做推理,它比用于训练的平台更小。英特尔希望确保『未来的 IA 架构擅长推理』」。


不足为奇的是现在人们花费了大量的精力用于评估来自谷歌、微软、Facebook 等公司的深度学习框架。Stevens 说:「我们也正在评估哪些框架最适合解决我们的问题,我们正在与供应商一起在硬件上优化它们。同时我们也与 Livermore 有合作关系,他们有一个内部的被称为 LBANN 的项目,该项目旨在构建一个可扩展的人工神经网络框架。」


「该计划是想以一种独立于框架的方式去开发我们的模型,所以我们可以在不需要重新编码我们的模型的情况下交换框架。这是一个非常常见的深度学习方法,其中有一个脚本层(scripting layer)可以捕获您的模型的表示(用于训练和管理数据的元算法(meta algorithms)等),我们同时与学术界和 NVIDIA 在顶层的工作流引擎上进行合作。因此,我们有一种堆叠式架构(stacked architecture),它与深度学习全景周围的所有不同群体进行合作。」


Stevens 说:「有趣的是下一代平台的供应商强烈支持提高机器学习所需的架构理念和功能,以及传统的物理驱动仿真(physics-driven simulation)。」他指出,与传统 HPC 相比,深度学习的快速增长和市场压力正在推动它们朝着这个方向发展。「它也让我们洞察到了 DOE 应用的发展方向:将需要传统的物理驱动的仿真的地方,但通常我们也可以找到一个利用机器学习的方法。」


共享学习是试点项目的重要组成部分。Stevens 说:「我们正在为机器学习社区抽象模型问题,这也是我们正在研究的 seven candle benchmarks 的一种净化版本,」这将包括可分布式的数据、代码,这些内容都 将在 GitHub 上开放。这些元素的第一部分预计会在第二季度发行。


个别试点小组也正在与学术界开展自己的外联活动。在试点项目计算能力的方面,「我们瞄准了一些平台,特别是 CORAL 平台、Oak Ridge 和 Livermore 的新机器,然后最终选定百亿亿次(exascale)级。这是一个普遍化的概念,所以它不是具体的 GPU 或者具体的多少核。」


有趣的是,这三个项目计划会用不同的方式使用深度学习。






因为 RAS 是在分子尺度上的项目,所以它在所有项目中拥有最小尺寸规模。你可能听说过 RAS,它是一个著名的癌症基因,其编码会生成嵌入在细胞膜中信号蛋白(signaling protein)。这些蛋白质控制着可以延伸到细胞中并驱动许多不同的细胞过程的信号传导途径。RAS 目前涉及约 30% 的癌症,包括一些最棘手的癌症,例如胰腺癌。该试点项目将把模拟和湿实验室筛选数据进行结合,以详细阐述 RAS 相关信号级联的细节,并且希望可以找到用于制造能干预这种病症所使用的新药的关键点。


即使一个相对较小的肿瘤也可能有「成千上万个突变,包括驱动突变(driver mutation)和许多偶然突变(passenger mutation),」Stevens 说。这些遗传差异会改变信令网络(signaling network)的重要细节信息。多年来,RAS 本身及其相关信令网已经成为药物靶点,但正如 Stevens 指出的:「这种信令网的行为很不直观。有时如果你击中了其中一个下游组分,它其实会产生负反馈,这实际上增加了你试图去抑制的效果。」


在 RAS 项目中,仿真基本上是一种在不同粒度(一直延伸到到原子行为,包括量子效应)上进行的分子动力学运动。所需的计算能力(会非常巨大)自然取决于所仿真的粒度水平。


「机器学习被用于跟踪仿真所经历的状态空间(state space),并进行决策——这里是否放大、是否缩小、是否改变我们在集合空间(ensemble space)的不同部分中所观察的参数。它基本上像是该仿真的一个智能监督人那样去更有效地使用它。


「从某种意义上讲,这就像是网络正在观看一部电影并且说道,『好吧,我之前已经看过电影的这个部分了,让我们快进吧,或是哇这真有趣,我之前从来没见过,让我们用慢镜头并放大看。』这种就是机器学习在模拟中所做的事情。在某种意义上,它能够快进并且跳过,「Stevens 说。由 Stevens 领导的这个临床前筛选项目是一个雄心勃勃的尝试,它基本上是从所能得到的尽可能多的临床前及临床癌症数据中进行精筛,并与小鼠模型中产生的新数据结合来建立药物-肿瘤相互作用的预测模型。这是一种生物信息学的和实验性的反馈方法。最终,给定一个特定肿瘤,其分子属性(基因表达、单核苷酸的多态性(Single Nucleotide Polymorphisms/SNP)、蛋白质组学等)已被确定,那么将该数据插到模型中来确定最佳治疗方案就应该是可以实现的。


此处的微妙之处在于,这种在单一类肿瘤或相对小门类药物上进行的小规模机器学习工作已做了很多,Stevens 说。「我们正在尝试使用深度学习来整合所有对象(成千上万的细胞系以及从较小数量细胞系中筛选出的化合物)的信息,然后就能将其应用在实验鼠身上。你培养了一群源自该人类肿瘤的实验鼠,而这些小鼠会成为人类临床试验的替代物。因此我可以在肿瘤鼠群体中尝试不同化合物来提供信息——我的肿瘤对给定药物可能会如何反应。」


一个巨大的挑战来自于是否能够理解所有历史数据,其中大部分数据是非结构化的,且往往是主观的(如病理报告)。「我们所做的第一件事情之一是建立分类器,它可以告诉我们该肿瘤的类型或者是它在身体的哪个部位(根据不同的数据),」他说。数据可疑的情况并不少见。「我们通过我们的分类器来运行它,而如果它是一个新的数据集,那么分类器就可能会说,它真不是来自肝脏,它来自一些其他部位。」通常临床前数据是基于结果的;它不会解释该结果是如何实现的。


「现在我们所建立的机器学习模型能够十分精确地预测出一个药物反应或肿瘤类型/结果,但它们不能相当有效地告诉我们个中原因。它们不是解释性的,不是机械论的,」Stevens 说,「我们要做的是以某种方式带来一些机械论的模型或机械论的数据,并将其与机器学习模型混合从而得到两样东西——拥有高精度预测能力的模型以及拥有预测解释能力的模型。因此这种混合方法的思想是一个宽广的开放空间,而我们认为这将会被推广到许多领域。」获得大而高质量的训练模型数据仍然具有挑战性,他说。


第三个项目致力于开发可预测人口规模的模型,Stevens 称之为「病人轨迹(patient trajectories)」,它基本上是在挖掘全国的监控数据。虽然该数据有些分散,但美国国家癌症研究所(National Cancer Institute/NCI)、美国国立卫生研究院(National Institutes of Health/NIH)、美国食品和药物管理局(Food and Drug Administration/FDA)、制药公司和付款人组织(病理报告、疗法、结果、生活方式、人口统计等)所持有的病人数据体量却十分庞大。不幸的是,在很大程度上它像许多生物医学数据一样是非结构化的。「我们不能真正以我们所希望的方式用它进行计算,因此我们正在使用机器学习来将非结构化数据翻译成我们可用于计算的结构化数据,」Stevens 说。


「因此,例如我们想用一台机器来读取所有病理报告并输出生物标记物(biomarkers)、突变状态或药物之类的信息,这样我们才能创建出具有一致性的病例报告。将它看做是一个以人口为基础的模型。在临床前筛选试点项目中,比如我们发现了一些对治疗某一类癌症非常有效的疗法和策略。我们想提取这些信息并将其输入到人口模型中,并说『如果这成为一种常见疗法的话,那么它在全球或全国范围内会对统计数字有多少改变?』或类似的话。」


这也是一种连接所有试点项目的方法,Stevens 说。从 RAS 项目中获得的认识以后可能会被用于观察那些或许适用于新疗法的一部分癌症;再反过来把它纳入人口模型项目中以了解可能会产生的影响。


JDACS4C 试点项目仍处在初期阶段,但希望很高。Stevens 指出,NCI 和 DOE 都获得了它们无法轻易获得的东西。「NCI 没有 DOE 所拥有的众多数学家和计算机科学家。他们也没办法使用最领先的机器。我们(DOE)所获得的是访问所有这些伟大的实验数据、实验设施和公共数据库的权限。」
 
 
来源:机器之心
 
 
 
 
 
 
更多内容请关注:www.imefuture.com
 
机器真的已经战胜人类医生了吗?医学AI标题党文章中的三大陷阱
深度学习与计算机视觉课时16-迁移学习之物体定位与检测(上)
深度学习与计算机视觉课时15-卷积神经网络详解(下)
 
智造家 查看全部
Rick Stevens 表示,首个先进癌症计算解决方案的联合设计(Joint Design of Advanced Computing Solutions for Cancer,JDACS4C)「成果」将于 2017 年第二季度的某个时间公开。JDACS4C 一共有三个试点项目,Rick 领导了其中之一,将深度学习(DL)应用到癌症治疗中去。这些项目不仅可以推进癌症研究和治疗,而且可以提高深度学习的能力和基础架构,最终着眼于百亿亿次计算机的研究,DOE 将对这些项目提供部分的资金支持。


无论以哪种标准,美国对抗癌症(U.S. War on Cancer)和 Precision Medicine Initiative(精准医学计划,PMI)都颇具野心。过去,对抗癌症一直没有很明显的进步,但也不是说没有取得很多成绩。


只是现在看来前景更为光明。生物医学的进步和下一代领先计算机的兴起(百亿亿次计算机的开发)推动着癌症治疗的发展。深度学习和数据驱动科学的快速发展,使许多人对前景报以乐观的态度,所以 2016 全球超级计算机大会重点关注精准医疗和 HPC 的作用就是偶然了。


三个 JDACS4C 试点项目,包括从分子层面到人口规模方面的诸多研究,以支持 CANcer 分布式学习环境项目(CANcer Distributed Learning Environment project):这些工作旨在洞察可扩展机器学习工具;通过深度学习、模拟和分析技术,减少治疗时间;为未来计算方案提供信息。也希望能建立「有效利用日益增长的数据和与癌症相关数据的多样性来打造预测性模型,为接下来的癌症研究提供一个新的范式,更好地理解疾病并最终提供指导,支持基于个体预期治疗结果的决策,Rick 说。


这些都是远大的目标。因此想要总结出 JDACS4C 的准确谱系,确实有点麻烦,广义上来看,它属于 PMI,美国国家癌症研究所的癌症登月计划,也集中在 美国国家战略计算计划(NSCI)之下。Stevens 指出,早在几年前就开始讨论创建这个大项目框架了,8 月拿到了第一笔资金。以下是三个试点项目的简介:

  • RAS 分子项目: 这个项目((Molecular Level Pilot for RAS Structure and Dynamics in Cellular Membranes)旨在开发新的计算方法,支持 RAS 计划下已经完成的研究,最终完善我们对癌症中的 RAS(基因家族)及其相关信号通路作用的理解,识别 RAS 蛋白膜信号复合物中独有的新治疗靶点。

 
  • 临床前筛选: 该项目(Cellular Level Pilot for Predictive Modeling for Pre-clinical Screening)将开发「基于源自人源性肿瘤组织异种移植实验性生物数据的机器学习、大规模数据和预测模型」。旨在创建一个反馈回路,其中,实验模型指导计算模型的方案。这些预测模型可能给癌症治疗的指明了新目标,并帮助确定新的治疗方法。

 
  • 人口模型:这个项目(Population Level Pilot for Population Information Integration, Analysis and Modeling))旨在建立一个可扩展的框架,能够高效提取、延展、整合及 构建癌症患者的病例信息。这样的一个「引擎」应用在医疗保健的许多方面(转移、成本控制、研究等),将会十分强大。



显而易见的是,这么复杂的工作需要很多组织的配合。国家癌症研究所的部门包括生物医学信息和信息技术中心(CBIIT),癌症治疗诊断部(DCTD),癌症控制和人口科学部(DCCPS)和弗雷德里克国家癌症研究实验室(Frederick National Laboratory for Cancer Research)。也有四个美国能源部国家实验室被正式分派从事这个项目,这四个实验室分别是阿贡国家实验室(Argonne National Laboratory)、橡树岭国家实验室(Oak Ridge National Laboratory)、劳伦斯利弗莫尔国家实验室(Lawrence Livermore National Laboratory)和洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory)。


当所有的试验项目放在一起时,Stevens 指出,我们意识到每个项目都需要深度学习,而且需要它的各种不同用途。因此,我们的想法是,既要构建软件环境和网络拓扑,也要建造这三个项目所需的所有东西,所以我们不会复制。研究人员也定义了关键标准——与我们用来解决不同癌症子问题资源相匹配的、易于处理的深度学习问题。

2.1_.jpg

早期的第一步是吸引供应商参与,这充分地证明了 Stevens 所说的话,因为几乎所有的主要 HPC 供应商都在积极地加速深度学习路线图。大多数人认为 JDACS4C 试点项目是学习和完善的机会。Stevens 说,JDASC4C 已经与英特尔、Cray、NVIDIA、IBM 等公司达成了合作关系。


「所有的实验室都配备了 DGX-1,并且 NVIDIA 已经为不同 GPU、Pascal 等优化了大多数的通用框架。我们在 DGX-1 上运行的任何东西都可以很容易地实现分布式。英特尔有自己的长远计划,并且并不是所有的这些计划都是公开的。我可以表明的是,我们正在与英特尔的所有适合的部门合作。」Stevens 说,他是 ANL 研究员和临床前筛选项目的领导者。


事实上,英特尔一直很忙,忙于购买 Nervana(一个用于深度学习的完整平台),最近又推出了扩展计划。Stevens 说:「他们谈论到为机器学习而优化的 Knights X 系列的版本。Knights Mil 是他们的线路图的第一个版本,」这个芯片巨头还在 SC16 上推出了深度学习推理加速卡;它是用于神经网络加速的基于现场可编程门阵列(field-programmable gate array (FPGA))的软硬件解决方案。Stevens 认为英特尔像 NVIDIA 一样,正在制定一个应用战略。


他说:「英特尔非常想尝试确定一种战略,以区分训练和推理平台之间的某些级别。大多数深度学习系统现在在『quasi』上做推理,它比用于训练的平台更小。英特尔希望确保『未来的 IA 架构擅长推理』」。


不足为奇的是现在人们花费了大量的精力用于评估来自谷歌、微软、Facebook 等公司的深度学习框架。Stevens 说:「我们也正在评估哪些框架最适合解决我们的问题,我们正在与供应商一起在硬件上优化它们。同时我们也与 Livermore 有合作关系,他们有一个内部的被称为 LBANN 的项目,该项目旨在构建一个可扩展的人工神经网络框架。」


「该计划是想以一种独立于框架的方式去开发我们的模型,所以我们可以在不需要重新编码我们的模型的情况下交换框架。这是一个非常常见的深度学习方法,其中有一个脚本层(scripting layer)可以捕获您的模型的表示(用于训练和管理数据的元算法(meta algorithms)等),我们同时与学术界和 NVIDIA 在顶层的工作流引擎上进行合作。因此,我们有一种堆叠式架构(stacked architecture),它与深度学习全景周围的所有不同群体进行合作。」


Stevens 说:「有趣的是下一代平台的供应商强烈支持提高机器学习所需的架构理念和功能,以及传统的物理驱动仿真(physics-driven simulation)。」他指出,与传统 HPC 相比,深度学习的快速增长和市场压力正在推动它们朝着这个方向发展。「它也让我们洞察到了 DOE 应用的发展方向:将需要传统的物理驱动的仿真的地方,但通常我们也可以找到一个利用机器学习的方法。」


共享学习是试点项目的重要组成部分。Stevens 说:「我们正在为机器学习社区抽象模型问题,这也是我们正在研究的 seven candle benchmarks 的一种净化版本,」这将包括可分布式的数据、代码,这些内容都 将在 GitHub 上开放。这些元素的第一部分预计会在第二季度发行。


个别试点小组也正在与学术界开展自己的外联活动。在试点项目计算能力的方面,「我们瞄准了一些平台,特别是 CORAL 平台、Oak Ridge 和 Livermore 的新机器,然后最终选定百亿亿次(exascale)级。这是一个普遍化的概念,所以它不是具体的 GPU 或者具体的多少核。」


有趣的是,这三个项目计划会用不同的方式使用深度学习。

2.2_.jpg


因为 RAS 是在分子尺度上的项目,所以它在所有项目中拥有最小尺寸规模。你可能听说过 RAS,它是一个著名的癌症基因,其编码会生成嵌入在细胞膜中信号蛋白(signaling protein)。这些蛋白质控制着可以延伸到细胞中并驱动许多不同的细胞过程的信号传导途径。RAS 目前涉及约 30% 的癌症,包括一些最棘手的癌症,例如胰腺癌。该试点项目将把模拟和湿实验室筛选数据进行结合,以详细阐述 RAS 相关信号级联的细节,并且希望可以找到用于制造能干预这种病症所使用的新药的关键点。


即使一个相对较小的肿瘤也可能有「成千上万个突变,包括驱动突变(driver mutation)和许多偶然突变(passenger mutation),」Stevens 说。这些遗传差异会改变信令网络(signaling network)的重要细节信息。多年来,RAS 本身及其相关信令网已经成为药物靶点,但正如 Stevens 指出的:「这种信令网的行为很不直观。有时如果你击中了其中一个下游组分,它其实会产生负反馈,这实际上增加了你试图去抑制的效果。」


在 RAS 项目中,仿真基本上是一种在不同粒度(一直延伸到到原子行为,包括量子效应)上进行的分子动力学运动。所需的计算能力(会非常巨大)自然取决于所仿真的粒度水平。


「机器学习被用于跟踪仿真所经历的状态空间(state space),并进行决策——这里是否放大、是否缩小、是否改变我们在集合空间(ensemble space)的不同部分中所观察的参数。它基本上像是该仿真的一个智能监督人那样去更有效地使用它。


「从某种意义上讲,这就像是网络正在观看一部电影并且说道,『好吧,我之前已经看过电影的这个部分了,让我们快进吧,或是哇这真有趣,我之前从来没见过,让我们用慢镜头并放大看。』这种就是机器学习在模拟中所做的事情。在某种意义上,它能够快进并且跳过,「Stevens 说。由 Stevens 领导的这个临床前筛选项目是一个雄心勃勃的尝试,它基本上是从所能得到的尽可能多的临床前及临床癌症数据中进行精筛,并与小鼠模型中产生的新数据结合来建立药物-肿瘤相互作用的预测模型。这是一种生物信息学的和实验性的反馈方法。最终,给定一个特定肿瘤,其分子属性(基因表达、单核苷酸的多态性(Single Nucleotide Polymorphisms/SNP)、蛋白质组学等)已被确定,那么将该数据插到模型中来确定最佳治疗方案就应该是可以实现的。


此处的微妙之处在于,这种在单一类肿瘤或相对小门类药物上进行的小规模机器学习工作已做了很多,Stevens 说。「我们正在尝试使用深度学习来整合所有对象(成千上万的细胞系以及从较小数量细胞系中筛选出的化合物)的信息,然后就能将其应用在实验鼠身上。你培养了一群源自该人类肿瘤的实验鼠,而这些小鼠会成为人类临床试验的替代物。因此我可以在肿瘤鼠群体中尝试不同化合物来提供信息——我的肿瘤对给定药物可能会如何反应。」


一个巨大的挑战来自于是否能够理解所有历史数据,其中大部分数据是非结构化的,且往往是主观的(如病理报告)。「我们所做的第一件事情之一是建立分类器,它可以告诉我们该肿瘤的类型或者是它在身体的哪个部位(根据不同的数据),」他说。数据可疑的情况并不少见。「我们通过我们的分类器来运行它,而如果它是一个新的数据集,那么分类器就可能会说,它真不是来自肝脏,它来自一些其他部位。」通常临床前数据是基于结果的;它不会解释该结果是如何实现的。


「现在我们所建立的机器学习模型能够十分精确地预测出一个药物反应或肿瘤类型/结果,但它们不能相当有效地告诉我们个中原因。它们不是解释性的,不是机械论的,」Stevens 说,「我们要做的是以某种方式带来一些机械论的模型或机械论的数据,并将其与机器学习模型混合从而得到两样东西——拥有高精度预测能力的模型以及拥有预测解释能力的模型。因此这种混合方法的思想是一个宽广的开放空间,而我们认为这将会被推广到许多领域。」获得大而高质量的训练模型数据仍然具有挑战性,他说。


第三个项目致力于开发可预测人口规模的模型,Stevens 称之为「病人轨迹(patient trajectories)」,它基本上是在挖掘全国的监控数据。虽然该数据有些分散,但美国国家癌症研究所(National Cancer Institute/NCI)、美国国立卫生研究院(National Institutes of Health/NIH)、美国食品和药物管理局(Food and Drug Administration/FDA)、制药公司和付款人组织(病理报告、疗法、结果、生活方式、人口统计等)所持有的病人数据体量却十分庞大。不幸的是,在很大程度上它像许多生物医学数据一样是非结构化的。「我们不能真正以我们所希望的方式用它进行计算,因此我们正在使用机器学习来将非结构化数据翻译成我们可用于计算的结构化数据,」Stevens 说。


「因此,例如我们想用一台机器来读取所有病理报告并输出生物标记物(biomarkers)、突变状态或药物之类的信息,这样我们才能创建出具有一致性的病例报告。将它看做是一个以人口为基础的模型。在临床前筛选试点项目中,比如我们发现了一些对治疗某一类癌症非常有效的疗法和策略。我们想提取这些信息并将其输入到人口模型中,并说『如果这成为一种常见疗法的话,那么它在全球或全国范围内会对统计数字有多少改变?』或类似的话。」


这也是一种连接所有试点项目的方法,Stevens 说。从 RAS 项目中获得的认识以后可能会被用于观察那些或许适用于新疗法的一部分癌症;再反过来把它纳入人口模型项目中以了解可能会产生的影响。


JDACS4C 试点项目仍处在初期阶段,但希望很高。Stevens 指出,NCI 和 DOE 都获得了它们无法轻易获得的东西。「NCI 没有 DOE 所拥有的众多数学家和计算机科学家。他们也没办法使用最领先的机器。我们(DOE)所获得的是访问所有这些伟大的实验数据、实验设施和公共数据库的权限。」
 
 
来源:机器之心
 
 
 
 
 
 
更多内容请关注:www.imefuture.com
 
机器真的已经战胜人类医生了吗?医学AI标题党文章中的三大陷阱
深度学习与计算机视觉课时16-迁移学习之物体定位与检测(上)
深度学习与计算机视觉课时15-卷积神经网络详解(下)
 
智造家
254 浏览

《经济学人》:深度剖析DeepMind之于谷歌的价值有多大?

机械自动化类 集运物流 2016-12-21 14:54 发表了文章 来自相关话题

人工智能学家





 
《经济学人》杂志撰文深度剖析了人工智能公司DeepMind对谷歌的价值。DeepMind带来的最直接利益是,让谷歌和Alphabet在全球科技公司的AI争夺战中拥有了战略优势,这有助于吸纳AI人才。“阿法尔狗”因打败世界围棋冠军李世石而出尽风头,谷歌因此赢得更大声望。如果DeepMind能够成功研制出通用型AI,这等同于创造了一种可不断复制的数字化员工,并用于解决各种问题。哪怕DeepMind无法研制出等同于或超越人类水平的人工智能,它已取得进展的AI学习软件也有利于其它业务,例如,通过减少电耗而节约开支。

Deepmind的战略意义

Deepmind位于伦敦国王十字火车站附近一栋不起眼的楼房中。从外部看,一点都看不出来这家公司有什么特别之处,值得谷歌和Facebook争相购买。2014年1月,谷歌胜出,以6.6亿美元买下了这家AI公司。在此之前,谷歌在机器学习和AI领域已处在最前沿的位置,为什么要大费周章地购买位于英国的AI公司?Deepmind究竟会带来怎样的价值?

2015年10月之前,谷歌的巨额广告收入让DeepMind等项目可以无后顾之忧地自如发展。这些项目野心勃勃,但在收益上却颗粒无收。但后来母公司Alphabet创立,整个企业的架构经历了剧变,资产负债表开始分账计算,许多业务被独立出来,再无法依赖谷歌这棵摇钱树的庇荫了。

在这种形势下,为何购买Deepmind这一问题就值得探讨了。但理解DeepMind的价值并不是一个简单的金融问题,而需从更深的层次来分析。

DeepMind带来的最直接利益是,让谷歌和Alphabet在全球科技公司的AI争夺战中拥有了战略优势,这有助于吸纳AI人才,让Facebook、微软和亚马逊等竞争对手在研究人力上失去一定优势。DeepMind已招揽大约400名电脑科学家和神经系统科学家,据称团队规模还将扩大到1000人。






此外,Alphabet也因DeepMind而赢得更大声望。被收购后,DeepMind两次登上《自然》的封面,一次是由于一个视频游戏AI程序,另一次则是由于AI软件“阿法尔狗(AlphaGo)”。《自然》是一份获得高度好评的学术期刊。DeepMind公司大厅的墙上贴着这两次封面图片的大幅复制品。2016年3月,“阿法尔狗”打败了世界围棋冠军李世石而成为大量媒体的头条新闻。

DeepMind的战略意义还远不止于人才吸纳和公众关注两个方面。CEO兼联合创始人德米斯-哈撒比斯(Demis Hassabis)把DeepMind描述为一种新型的研究机构,结合了学术界的长远眼光以及“科技初创公司的活力和专注”。2010年,他与穆斯塔法-苏莱曼(Mustafa Suleyman)和施恩-莱格(Shane Legg)一同创建了公司。莱格和哈撒比斯同为伦敦大学学院的神经科学研究者。苏莱曼是哈撒比斯童年时结识的好友。

DeepMind受益于谷歌的强大资源和雄厚财力

据哈撒比斯的描述,DeepMind的总目标是“攻克智能领域的难题”。这促使公司不断研发多功能的、能够像人类那样广泛和高效思考的“通用型”人工智能。被谷歌购买拥有几大吸引之处。一是,能够获得谷歌强大的计算资源。再者,谷歌的财力雄厚。如果实力较弱的公司购买了DeepMind,很可能要求它尽快生钱。在谷歌旗下做事,哈撒比斯就能够更专注于研究,而不是运营公司。而DeepMind办公地点和过去一样依旧设在伦敦,与谷歌的硅谷总部之间保持安全距离,让他能够对DeepMind拥有更多的实控权。

如果他能够成功研制出通用型AI,这明显对Alphabet意义重大。这等同于创造了一种可不断复制的数字化员工,并用于解决各种问题。从总体研究日程来看,DeepMind并不是一家以商业模式运作的公司。它的研发周期相当长。哈撒比斯的蓝图规划长达20年.DeepMind希望在人脑运作方式的启示下发明新型的AI算法。这也是它拥有庞大的神经科学家团队的原因。哈撒比斯声称,从人脑中获取灵感使DeepMind截然不同于其它专注于机器学习、尤其“深度学习”的研究机构。深度学习是机器学习的一项重要分支,也是Google Brain项目的研发焦点。

哪怕DeepMind无法研制出等同于或超越人类水平的人工智能,它已取得进展的学习软件也有利于Alphabet的其它业务。今年7月,公司宣布,DeepMind研发的学习软件已经找到方法以节约用于冷却谷歌数据中心的电力,节约幅度达五分之二。该软件把数据中心的操作日志进行压缩,并以模拟形式反复执行压缩任务以实现过程的优化。

DeepMind已进军医疗市场

DeepMind已利用现有的AI成果为公司创收。苏莱曼表示,某些研发进展可用于管理能源基础设施、改进医疗系统以及改进洁净水源。DeepMind已开始进军医疗市场并从中盈利。今年11月,它与英国伦敦皇家自由医院签订了为期五年的合同,任务是处理170万名患者的医疗记录。今年早些时候,DeepMind获得了访问其它伦敦医院两个数据库的机会,通过分析约100万份视网膜扫描报告,让AI软件寻找退行性眼疾的早期征兆,或通过头颈部癌症图像让AI软件学会区分健康组织和癌组织。

DeepMind如何借助海量数据训练人工智能?

资深的程序员和性能强大的电脑对AI业务至关重要。但获取真实环境数据也至关重要。利用AI和机器学习技术改进医院、电网和工厂等场合的不同系统时,需要具体的操作数据。

当然,Alphabet拥有海量可服务于这些目的的数据,以供DeepMind“挖宝”。但有关每个探索领域,DeepMind现有的数据还远远满足不了需求。最近它参与了一个研究读唇语的项目,并取得了成功,而成功的关键就在于研究团队掌握了一个庞大的数据集。该项目的研究团队主要来自牛津大学,并以计算机视觉研究者安德鲁-西塞曼(Andrew Zisserman)为首。BBC向研究团队提供了数十万小时的新闻剪辑资料。如果没有这些资料,他们根本无法让AI系统接受读唇语的训练。

数据获取对DeepMind未来的重要性,哈撒比斯持轻描淡写的态度。他称,让人类工程师打造出模拟待解决问题的模型就足够了,再在这些模型中部署AI学习工具。但这并不是目前大多数机器学习系统的运作方式。“阿法尔狗”经历了怎样的魔鬼训练才能打败世界一流的围棋棋手?它先得从16万场人类对弈的围棋比赛中学习数百万棋步,然后才能展开迭代式的自我对弈,不断通过训练提升棋艺。如果DeepMind需要收集大量个人信息,它将需要考虑清楚:如何应对消费者对企业访问个人数据这类行为的担忧?

如果DeepMind能够解决这类问题,它将是Alphabet的无价之宝:一个算法工厂。它将远不仅仅是Alphabet的AI研究机构和人才集聚地。DeepMind处理过的数据仍属于原本的拥有者,但从数据中学习的软件将属于Alphabet。无疑,在未来,DeepMind将把AI程序用来解决复杂问题,但它或许无法靠这种方式来创造大量营收。然而,AI软件通过分析数据获取的知识或技能将极具价值,让谷歌为竞标付出的一切努力物有所值。


能否找到新的摇钱树?





Alphabet仍在寻求新的摇钱树,而搜索业务这一现成的摇钱树正面临严峻的挑战。

伏尔泰曾说过,“判断一个人凭的是他的问题而不是他的回答。”这句话刚好契合了谷歌的成功之道,谷歌根据用户往搜索引擎中输入的问题来判断用户喜好,在提供搜索结果的同时推送高相关度的广告。但数年来谷歌一直面临一个问题:它能否创造一种盈利能力可与搜索业务相媲美的新业务?

迄今谷歌还未找到答案。2015年10月,控股公司Alphabet创立,旗下拥有谷歌等不同子公司。过去五年,Alphabet投入了460亿美元的研发资金(如图),其中许多资金被用Moonshot项目中,如,自主驾驶汽车、智能隐形眼镜以及互联网热气球。在财报中,DeepMind被划分为“其它项目”一栏中。自2015年初,被归为“其它项目”一栏的业务共亏损60亿美元。






纽约市场研究机构Pivotal Research Group的分析师布莱恩-维泽(Brian Wieser)表示,广告业务占据了Alphabet营收近90%的比例,几乎所有利润也都来自广告。其中搜索广告约占广告总营收的四分之三。剩余四分之一主要来自YouTube以及一项向非谷歌网站投放广告的业务。

谷歌机构重组后Alphabe创立一些高管被气走

12月12日,Alphabet把自主驾驶汽车项目改头换面为独立子公司Waymo,以激励员工更专注于让产品实现商业化。事实上,Waymo不算十分独立,因为这家公司仍位于Alphabet办公地点内,也不会对外透露更多金融细节。其它业务的拆分则更为决然。过去半年,风投、无人机、自主驾驶汽车、高速网络和智能恒温器等业务的一些主管纷纷离开公司。Alphabet也正尝试出售成绩并不斐然的波斯顿动力机器人公司。

高管离开的原因在于,Alphabet对成本控制上的矛盾态度。2014年当谷歌以32亿美元收购恒温器制造商Nest时,谷歌承诺数年内将对Nest持续投资并助其扩大业务。但当Alphabet创立,整体格局重组后,态度就发生了改变。突然间,母公司要求子公司各自承担盈亏。这激怒了一些高管,因为他们记得,在过去,谷歌会慷慨发放丰厚的薪酬、免费提供员工食物,这类福利待遇突然消失了。还有少数人乐观地认为,Alphabet即将迎来同搜索业务一样规模庞大、利润丰厚的新业务。但一名离任的前高管表示,“你不可能两次都抽中大奖。”


谷歌的广告盈利业务遭遇挑战

与此同时,用户使用互联网的习惯开始发生改变,这将对谷歌的搜索广告业务构成威胁。目前,使用习惯上存在两大改变趋势。一是利用语音获取信息,二是虚拟助手的兴起。目前,Android设备中大约五分之一的搜索操作由语音完成,而不是文本输入,随着语音识别功能的提升,这一比例将不断增长。随着可回复用户语音请求的独立智能设备的崛起(如亚马逊Echo以及谷歌Google Home),语音功能也将变得更重要。

当这类设备能够支持更复杂和精细的互动功能时,用户将依赖它们来执行原本大多通过上网才能完成的操作,如,订购礼品、预定机票、定位附近的商店。能够预测用户需求的虚拟助手设备Google Home以及即时通讯应用Allo,也在为构建这种前景出力,但这些设备或应用在将来或许会对谷歌赖以生存的广告盈利模式造成冲击。在未来,“搜索”将更专注于任务的执行和信息的获取,而且在新型的搜索环境中,如通讯应用或智能家居设备中,广告的推送或许会让用户觉得别扭或不快。在Stratechery博客上撰稿的科技分析师本-汤普森(BenThompson)表示,“随着从搜索引擎向回复请求服务的转变和调整,谷歌的公共实用性将提升,但它本身的经营模式将可能瓦解。”

亚马逊Echo采纳的免广告模式对谷歌构成了直接威胁,原因在于,更多用户开始直接在亚马逊网站上搜索电子产品等商品,而非借助通用型搜索引擎。据估计,55%的互联网用户开始在亚马逊上搜索商品,这导致谷歌丧失了推送广告的机会。


摸索新的盈利模式


Alphabet此前经受过一些因潮流转变而引发的挑战,如,移动设备兴起,台式PC遭遇寒潮。但它的广告业务依旧红红火火,因为它摸索出在移动设备的小屏幕上推送广告的适宜方式。未来,谷歌的广告盈利模式可能会转变为向谷歌服务促成的每笔交易收取酬金。谷歌已经在航空服务中运行这种模式了。通过谷歌服务咨询航班的乘客若成功订票,航空公司就会向谷歌支付一定的费用。如果用户对着手机说“订个披萨”,谷歌也可以按照同样的思路收取费用。但是应如何选择合作的披萨公司,用户是否对订披萨的过程感到满意,这些都是棘手的问题,恐怕谷歌现在还未考虑这么多。(陈思)

本文来自:网易智能
 
 
 
 
更多内容请关注:www.imefuture.com






业界 | 谷歌自动驾驶公司Waymo展示新车型,计划明年上路
阿里发布全域营销方案,集团视角从电商转向大数据 甲骨文投资VR/AR项目
东芝应用VR技术打造磁共振影院
斯坦福CS231n深度学习与计算机视觉课时15-卷积神经网络详解(下)什么是对抗式生成网络
 
智造家
  查看全部
人工智能学家

5.1_.jpg

 
《经济学人》杂志撰文深度剖析了人工智能公司DeepMind对谷歌的价值。DeepMind带来的最直接利益是,让谷歌和Alphabet在全球科技公司的AI争夺战中拥有了战略优势,这有助于吸纳AI人才。“阿法尔狗”因打败世界围棋冠军李世石而出尽风头,谷歌因此赢得更大声望。如果DeepMind能够成功研制出通用型AI,这等同于创造了一种可不断复制的数字化员工,并用于解决各种问题。哪怕DeepMind无法研制出等同于或超越人类水平的人工智能,它已取得进展的AI学习软件也有利于其它业务,例如,通过减少电耗而节约开支。

Deepmind的战略意义

Deepmind位于伦敦国王十字火车站附近一栋不起眼的楼房中。从外部看,一点都看不出来这家公司有什么特别之处,值得谷歌和Facebook争相购买。2014年1月,谷歌胜出,以6.6亿美元买下了这家AI公司。在此之前,谷歌在机器学习和AI领域已处在最前沿的位置,为什么要大费周章地购买位于英国的AI公司?Deepmind究竟会带来怎样的价值?

2015年10月之前,谷歌的巨额广告收入让DeepMind等项目可以无后顾之忧地自如发展。这些项目野心勃勃,但在收益上却颗粒无收。但后来母公司Alphabet创立,整个企业的架构经历了剧变,资产负债表开始分账计算,许多业务被独立出来,再无法依赖谷歌这棵摇钱树的庇荫了。

在这种形势下,为何购买Deepmind这一问题就值得探讨了。但理解DeepMind的价值并不是一个简单的金融问题,而需从更深的层次来分析。

DeepMind带来的最直接利益是,让谷歌和Alphabet在全球科技公司的AI争夺战中拥有了战略优势,这有助于吸纳AI人才,让Facebook、微软和亚马逊等竞争对手在研究人力上失去一定优势。DeepMind已招揽大约400名电脑科学家和神经系统科学家,据称团队规模还将扩大到1000人。

5.2_.JPG


此外,Alphabet也因DeepMind而赢得更大声望。被收购后,DeepMind两次登上《自然》的封面,一次是由于一个视频游戏AI程序,另一次则是由于AI软件“阿法尔狗(AlphaGo)”。《自然》是一份获得高度好评的学术期刊。DeepMind公司大厅的墙上贴着这两次封面图片的大幅复制品。2016年3月,“阿法尔狗”打败了世界围棋冠军李世石而成为大量媒体的头条新闻。

DeepMind的战略意义还远不止于人才吸纳和公众关注两个方面。CEO兼联合创始人德米斯-哈撒比斯(Demis Hassabis)把DeepMind描述为一种新型的研究机构,结合了学术界的长远眼光以及“科技初创公司的活力和专注”。2010年,他与穆斯塔法-苏莱曼(Mustafa Suleyman)和施恩-莱格(Shane Legg)一同创建了公司。莱格和哈撒比斯同为伦敦大学学院的神经科学研究者。苏莱曼是哈撒比斯童年时结识的好友。

DeepMind受益于谷歌的强大资源和雄厚财力

据哈撒比斯的描述,DeepMind的总目标是“攻克智能领域的难题”。这促使公司不断研发多功能的、能够像人类那样广泛和高效思考的“通用型”人工智能。被谷歌购买拥有几大吸引之处。一是,能够获得谷歌强大的计算资源。再者,谷歌的财力雄厚。如果实力较弱的公司购买了DeepMind,很可能要求它尽快生钱。在谷歌旗下做事,哈撒比斯就能够更专注于研究,而不是运营公司。而DeepMind办公地点和过去一样依旧设在伦敦,与谷歌的硅谷总部之间保持安全距离,让他能够对DeepMind拥有更多的实控权。

如果他能够成功研制出通用型AI,这明显对Alphabet意义重大。这等同于创造了一种可不断复制的数字化员工,并用于解决各种问题。从总体研究日程来看,DeepMind并不是一家以商业模式运作的公司。它的研发周期相当长。哈撒比斯的蓝图规划长达20年.DeepMind希望在人脑运作方式的启示下发明新型的AI算法。这也是它拥有庞大的神经科学家团队的原因。哈撒比斯声称,从人脑中获取灵感使DeepMind截然不同于其它专注于机器学习、尤其“深度学习”的研究机构。深度学习是机器学习的一项重要分支,也是Google Brain项目的研发焦点。

哪怕DeepMind无法研制出等同于或超越人类水平的人工智能,它已取得进展的学习软件也有利于Alphabet的其它业务。今年7月,公司宣布,DeepMind研发的学习软件已经找到方法以节约用于冷却谷歌数据中心的电力,节约幅度达五分之二。该软件把数据中心的操作日志进行压缩,并以模拟形式反复执行压缩任务以实现过程的优化。

DeepMind已进军医疗市场

DeepMind已利用现有的AI成果为公司创收。苏莱曼表示,某些研发进展可用于管理能源基础设施、改进医疗系统以及改进洁净水源。DeepMind已开始进军医疗市场并从中盈利。今年11月,它与英国伦敦皇家自由医院签订了为期五年的合同,任务是处理170万名患者的医疗记录。今年早些时候,DeepMind获得了访问其它伦敦医院两个数据库的机会,通过分析约100万份视网膜扫描报告,让AI软件寻找退行性眼疾的早期征兆,或通过头颈部癌症图像让AI软件学会区分健康组织和癌组织。

DeepMind如何借助海量数据训练人工智能?

资深的程序员和性能强大的电脑对AI业务至关重要。但获取真实环境数据也至关重要。利用AI和机器学习技术改进医院、电网和工厂等场合的不同系统时,需要具体的操作数据。

当然,Alphabet拥有海量可服务于这些目的的数据,以供DeepMind“挖宝”。但有关每个探索领域,DeepMind现有的数据还远远满足不了需求。最近它参与了一个研究读唇语的项目,并取得了成功,而成功的关键就在于研究团队掌握了一个庞大的数据集。该项目的研究团队主要来自牛津大学,并以计算机视觉研究者安德鲁-西塞曼(Andrew Zisserman)为首。BBC向研究团队提供了数十万小时的新闻剪辑资料。如果没有这些资料,他们根本无法让AI系统接受读唇语的训练。

数据获取对DeepMind未来的重要性,哈撒比斯持轻描淡写的态度。他称,让人类工程师打造出模拟待解决问题的模型就足够了,再在这些模型中部署AI学习工具。但这并不是目前大多数机器学习系统的运作方式。“阿法尔狗”经历了怎样的魔鬼训练才能打败世界一流的围棋棋手?它先得从16万场人类对弈的围棋比赛中学习数百万棋步,然后才能展开迭代式的自我对弈,不断通过训练提升棋艺。如果DeepMind需要收集大量个人信息,它将需要考虑清楚:如何应对消费者对企业访问个人数据这类行为的担忧?

如果DeepMind能够解决这类问题,它将是Alphabet的无价之宝:一个算法工厂。它将远不仅仅是Alphabet的AI研究机构和人才集聚地。DeepMind处理过的数据仍属于原本的拥有者,但从数据中学习的软件将属于Alphabet。无疑,在未来,DeepMind将把AI程序用来解决复杂问题,但它或许无法靠这种方式来创造大量营收。然而,AI软件通过分析数据获取的知识或技能将极具价值,让谷歌为竞标付出的一切努力物有所值。


能否找到新的摇钱树?

5.3_.JPG

Alphabet仍在寻求新的摇钱树,而搜索业务这一现成的摇钱树正面临严峻的挑战。

伏尔泰曾说过,“判断一个人凭的是他的问题而不是他的回答。”这句话刚好契合了谷歌的成功之道,谷歌根据用户往搜索引擎中输入的问题来判断用户喜好,在提供搜索结果的同时推送高相关度的广告。但数年来谷歌一直面临一个问题:它能否创造一种盈利能力可与搜索业务相媲美的新业务?

迄今谷歌还未找到答案。2015年10月,控股公司Alphabet创立,旗下拥有谷歌等不同子公司。过去五年,Alphabet投入了460亿美元的研发资金(如图),其中许多资金被用Moonshot项目中,如,自主驾驶汽车、智能隐形眼镜以及互联网热气球。在财报中,DeepMind被划分为“其它项目”一栏中。自2015年初,被归为“其它项目”一栏的业务共亏损60亿美元。

5.4_.JPG


纽约市场研究机构Pivotal Research Group的分析师布莱恩-维泽(Brian Wieser)表示,广告业务占据了Alphabet营收近90%的比例,几乎所有利润也都来自广告。其中搜索广告约占广告总营收的四分之三。剩余四分之一主要来自YouTube以及一项向非谷歌网站投放广告的业务。

谷歌机构重组后Alphabe创立一些高管被气走

12月12日,Alphabet把自主驾驶汽车项目改头换面为独立子公司Waymo,以激励员工更专注于让产品实现商业化。事实上,Waymo不算十分独立,因为这家公司仍位于Alphabet办公地点内,也不会对外透露更多金融细节。其它业务的拆分则更为决然。过去半年,风投、无人机、自主驾驶汽车、高速网络和智能恒温器等业务的一些主管纷纷离开公司。Alphabet也正尝试出售成绩并不斐然的波斯顿动力机器人公司。

高管离开的原因在于,Alphabet对成本控制上的矛盾态度。2014年当谷歌以32亿美元收购恒温器制造商Nest时,谷歌承诺数年内将对Nest持续投资并助其扩大业务。但当Alphabet创立,整体格局重组后,态度就发生了改变。突然间,母公司要求子公司各自承担盈亏。这激怒了一些高管,因为他们记得,在过去,谷歌会慷慨发放丰厚的薪酬、免费提供员工食物,这类福利待遇突然消失了。还有少数人乐观地认为,Alphabet即将迎来同搜索业务一样规模庞大、利润丰厚的新业务。但一名离任的前高管表示,“你不可能两次都抽中大奖。”


谷歌的广告盈利业务遭遇挑战

与此同时,用户使用互联网的习惯开始发生改变,这将对谷歌的搜索广告业务构成威胁。目前,使用习惯上存在两大改变趋势。一是利用语音获取信息,二是虚拟助手的兴起。目前,Android设备中大约五分之一的搜索操作由语音完成,而不是文本输入,随着语音识别功能的提升,这一比例将不断增长。随着可回复用户语音请求的独立智能设备的崛起(如亚马逊Echo以及谷歌Google Home),语音功能也将变得更重要。

当这类设备能够支持更复杂和精细的互动功能时,用户将依赖它们来执行原本大多通过上网才能完成的操作,如,订购礼品、预定机票、定位附近的商店。能够预测用户需求的虚拟助手设备Google Home以及即时通讯应用Allo,也在为构建这种前景出力,但这些设备或应用在将来或许会对谷歌赖以生存的广告盈利模式造成冲击。在未来,“搜索”将更专注于任务的执行和信息的获取,而且在新型的搜索环境中,如通讯应用或智能家居设备中,广告的推送或许会让用户觉得别扭或不快。在Stratechery博客上撰稿的科技分析师本-汤普森(BenThompson)表示,“随着从搜索引擎向回复请求服务的转变和调整,谷歌的公共实用性将提升,但它本身的经营模式将可能瓦解。”

亚马逊Echo采纳的免广告模式对谷歌构成了直接威胁,原因在于,更多用户开始直接在亚马逊网站上搜索电子产品等商品,而非借助通用型搜索引擎。据估计,55%的互联网用户开始在亚马逊上搜索商品,这导致谷歌丧失了推送广告的机会。


摸索新的盈利模式


Alphabet此前经受过一些因潮流转变而引发的挑战,如,移动设备兴起,台式PC遭遇寒潮。但它的广告业务依旧红红火火,因为它摸索出在移动设备的小屏幕上推送广告的适宜方式。未来,谷歌的广告盈利模式可能会转变为向谷歌服务促成的每笔交易收取酬金。谷歌已经在航空服务中运行这种模式了。通过谷歌服务咨询航班的乘客若成功订票,航空公司就会向谷歌支付一定的费用。如果用户对着手机说“订个披萨”,谷歌也可以按照同样的思路收取费用。但是应如何选择合作的披萨公司,用户是否对订披萨的过程感到满意,这些都是棘手的问题,恐怕谷歌现在还未考虑这么多。(陈思)

本文来自:网易智能
 
 
 
 
更多内容请关注:www.imefuture.com

0.0_.jpg


业界 | 谷歌自动驾驶公司Waymo展示新车型,计划明年上路
阿里发布全域营销方案,集团视角从电商转向大数据 甲骨文投资VR/AR项目
东芝应用VR技术打造磁共振影院
斯坦福CS231n深度学习与计算机视觉课时15-卷积神经网络详解(下)什么是对抗式生成网络
 
智造家
 
417 浏览

斯坦福CS231n深度学习与计算机视觉课时15-卷积神经网络详解(下)

机械自动化类 密泰传动系统 2016-12-19 13:41 发表了文章 来自相关话题

 编者按:

本节课讲述了卷积神经网络方面涉及的一些内容。卷积网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现,其包括卷积层(alternating convolutional layer)和池层(pooling layer)。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。
 
 
斯坦福大学CS231N课程是深度学习与计算机视觉方面的经典教程,业界评价很高。之前也有国内朋友做一些零星的翻译,为了与更多读者分享高品质内容,大数据文摘和北邮模式识别实验室共同组织了强大的翻译团队,对笔记和视频进行了系统全面的翻译,并以每周一期的速度陆续推出。
 
 
在大数据文摘后台回复“斯坦福”,下载本期及过去五期课程完整版ppt。













































 
 
 
 
 
来源:大数据文摘
智造家 查看全部

2.1_.jpg

 编者按:

本节课讲述了卷积神经网络方面涉及的一些内容。卷积网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现,其包括卷积层(alternating convolutional layer)和池层(pooling layer)。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。
 
 
斯坦福大学CS231N课程是深度学习与计算机视觉方面的经典教程,业界评价很高。之前也有国内朋友做一些零星的翻译,为了与更多读者分享高品质内容,大数据文摘和北邮模式识别实验室共同组织了强大的翻译团队,对笔记和视频进行了系统全面的翻译,并以每周一期的速度陆续推出。
 
 
在大数据文摘后台回复“斯坦福”,下载本期及过去五期课程完整版ppt。

2.2_.jpg


2.3_.jpg


2.4_.jpg


2.5_.jpg


2.6_.jpg


2.7_.jpg


2.8_.jpg


2.9_.jpg


2.10_.jpg

 
 
 
 
 
来源:大数据文摘
智造家