本月累计签到次数:

今天获取 积分

9

什么是深度学习,Deep mind?

大家好,为了担心有些粉丝跑偏,我想对我提出的这个问题做个补充。“深度学习”这个热词是上个月,GOOGLE公司的人工智能Alphago战胜韩国围棋李世石九段,网上对这个人工智能的介绍时提到了,深度学习这个词,图片上的Deep Mind;所以我想能否在智造家网站,看看专家能否给我一个系统的介绍下,比如定义,算法等知识,谢谢!
已邀请 :
我对学习的理解是:
学习的本质是:通过人的感官器官接受信息(资讯)之后,发生了行为改变。并结合实践之后由不成熟的意识(不熟练或者模糊等)转变成潜意识(成熟)。其实也就是不断是大脑各个区皮层的“皱褶”像槽刻一样。而这种获得知识之后,发生行为改变的过程就是学习。
 
人群中分为:
1,先知先觉得人群(所占比例较少,不到17%)
2,后知后觉得人群(主流人群,70%左右)
3,不知不觉的人群(13%左右)
学习=学-->习-->变 是一个发生质变的过程。
学我认为分,3个层面,

学是:认知层面,二是知识层面
习是:实践 总结 应用(由量变到质变的过程)
变是:知识获得的检验标准(由不知,模糊,没有掌握等状态,通过学-->习-->变 之后变成潜意识
重点谈谈学,学是怎么学;无论你是想通过获得知识使其成为谋生技能,成为一种工具也好,还是为实现更高的理想或其他也罢;知识本身是目前人类对目前“世界”的认知能力 通过文字等信息对事物的描述和理解;随着认-知-了解的程度不一样从而发生改变;是某个领域的较为了解的人士(前辈)给后来人所描述的,被大众接受之后形成一种主流思想或者说是多数压到少数;
在我们对认知的由来和现有的认知产生疑问,猜疑之前(这是极少数)我们能做的就是对现有的知识变成改变自己行为的过程,达到学习的目的。除了知识(硬件部分)还有就是自我认知(软件部分)一种流行的说法是:“有知识(文化)的人不一定有修养,有修养的人不一定知识面广(不一定有文化)现实身边的例子和社会展现给我们的较多;
这就是当我们在学-->习-->变的过程中 对知识本身的”浅“意识状态 从听,看,等五官信息收集的渠道获得这些信息之后。由于我们的生长的环境,年龄,性别,职业,经历,经验,习惯,喜好,角度,关注点,敏感度,观察洞察力,旧的恶习等等。给尚未了解的人,事,物,主观的贴上”标贴“
在自我认知(软实力面前)需要“树立榜样”“照镜子”“自我反思” 悟“出符合客观实事的,悟出属于自己的技能,自己独立对生活的态度,对人,事,物的基本判断和客观理解。不须人云己云,不须跟风上;
也是由于以上所谓的“江湖”“经验”也罢等所主观引起,所导致我们唯一不同的大脑在“信息接收和信息输入”------>"黑匣子加工处理------>行为输出的过程有着天然之别,也是认证了“态度决定了命运”一说
大脑黑匣子的推理阶梯过程:(分为7步)
1,信息输入到大脑,根据观察到的资料或其他信息输入
2,从客观的资料中选择“我”要的资料
3,“我”对资料添加“我自己”的主观理解和分析
4,“我”依据“我”的主观理解做出“假设”
5,“我”推断出结论
6,“我”建立了信念(世界观)
7,行为输出,“我”依据我的信念采取行动
 
从浅意识-->潜意识 不断反复实践,应用获得知识和自我认知-->自我反省-->自我修养的过程。通过学-->习-->变-->悟的不断结合和揉面的质变之后;才认证了”万般皆下品唯有读书高“的真正含义,“知识的真正含义”,才会明白”所有的烦恼都是自己学习不够引起的“我认为这才是深度学习的理解;
 
 
 
 
 
 
“机器学习对日常生活影响深远。无论是在网站上点击个性化推荐内容、在智能手机上使用语音沟通,或利用面部识别技术来拍照,都用到了某种形式的人工智能技术。这股人工智能的新潮流也伴随着算法设计的理念转变。过去基于数据的机器学习大多是利用具体领域的专业知识来人工地“塑造”所要学习的“特征”,计算机从大量示例数据中习得组合特征提取系统的能力,则使得计算机视觉、语音识别和自然语言处理等关键领域实现了重大的性能突破。对这些数据驱动技术的研究被称为深度学习,如今正受到技术界两个重要群体的关注:一是希望使用并训练这些模型、从而实现极高性能跨任务计算的研究者,二是希望为现实世界中的新应用来部署这些模型的应用科学家。然而,他们都面临着一个限制条件,即硬件加速能力仍需加强,才可能满足扩大现有数据和算法规模的需求。

对于深度学习来说,目前硬件加速主要靠使用图形处理单元(GPU)集群作为通用计算图形处理单元(GPGPU)。相比传统的通用处理器(GPP),GPU的核心计算能力要多出几个数量级,也更容易进行并行计算。尤其是NVIDIA CUDA,作为最主流的GPGPU编写平台,各个主要的深度学习工具均用其来进行GPU加速。最近,开放型并行程序设计标准OpenCL作为异构硬件编程的替代性工具备受关注,而对这些工具的热情也在高涨。虽然在深度学习领域内,OpenCL获得的支持相较CUDA还略逊一筹,但OpenCL有两项独特的性能。首先,OpenCL对开发者开源、免费,不同于CUDA单一供应商的做法。其次,OpenCL支持一系列硬件,包括GPU、GPP、现场可编程门阵列(FPGA)和数字信号处理器(DSP)。”

在一个微信公众号上看到的一段话,分享给大家
作者:Lawrence
链接:https://www.zhihu.com/question ... 24814
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

深度学习,按我个人的理解主要就是多层神经网络。而多层神经网络目前效果比较好的是卷积神经网络,目前在图像和音频信号上效果比较好,而在自然语言处理上效果没有显示出来。
深度学习从统计学的角度来说,就是在预测数据的分布,从数据中学得一个模型然后再通过这个模型去预测新的数据,这一点就要求测试数据和训练数据必须是同分布。
从Inception的角度上来看的话,其实深度学习是在模拟人脑的工作机制。

定义一个深度学习模型,通常需要解决3个问题:
1)激活函数,也就是先对于输入神经元的激活值。一般的有 logistic 、tanh、以及ReLU。
2)代价函数。一般学习过程都是优化问题。代价函数一般采用欧式距离。
3)优化策略。最简单的用剃度下降。
根据剃度更新权重,进而减小代价函数。
由于多层神经网络通常模型很复杂,为此还需要解决过拟合问题,目前比较有效的是通过数据增广和dropout技术。
区别于一般的机器学习算法,深度学习更新是机器学习,之所以这么说是因为它能自动学习特征,不用人工定义特征,所以你可以不需要懂太多领域相关的知识,因为算法懂得自动学习特征。

国内在这方面走得比较前的是百度,尤其是其最新成立的深度学习研究院,最近更是收入华裔深度学习泰斗吴恩达教授;其次是腾讯,最近腾讯推出的一个深度学习平台,据说无论在学术界还是工业界都取得很好的口碑。
深度学习就是竭尽全力去研究高深学问,它应该是学习领域的最高境界。人工智能能打败代表人类有史以来最高大脑水平的韩国九段围棋高手李世石,因为它具备反复思考和琢磨的程序控制条件,所以能运筹帷幄,顾全大局,自然就能在犯严重错误的情况下以4比1轻松终结李世石。其实,人工智能运用深度学习这种超级技能起来确实挺可怕的,毕竟对手的一举一动都在它的掌控中,所以我想继续给深度学习下个系统综合的定义。所谓的深度学习就是集思广益,见微知著,用一切智慧解决一切问题,让无规律的变化成为意料之中的发展趋势。虽然深度学习的威力巨大到能战胜一切人类思想,但也有致命的缺点。就算在电量充足,性能稳定的情况下,人工智能用起来也要瞻前顾后,联系全局,这么高强度的应变机制应该会有不少漏洞,如果巧妙灵活地抓住它的失误,就等于让程序自乱阵脚,就会让它出现严重的BUG,那战胜它还不是轻而易举的事啊?综上所述,人工智能的深度学习并不是难以理解,无懈可击,只要巧使妙计,小心认真,那这个所向披靡的神话不用费太大的力量就可攻破了。
深度学习是人工智能技术朝新的研究方向迈出的第一步。简单地说,深度学习包含了构建能够模仿人类大脑行为的神经网络。这些多层次的电脑网络像人类大脑一样,可以收集信息,并基于收集到的信息产生相应的行为。这些电脑网络可以逐渐对事物的外形和声音进行感知和理解,也就是“认识”事物。

比如,为了赋予机器“视觉”,研究人员需要建立最基本的一层人工神经元,用来探知如物体的边缘形状等基本信息,第二层神经元可以将第一层感知到了物体边缘性状拼凑起来,鉴定较大块的物体形状,然后再加一层将第二层检测到的信息再拼凑从而使机器明白物体整体的形态。这里面关键的一点是,软件可以自行做到这一切——旧的“伪人工智能”往往需要工程师人工输入物体视觉或者声音的信息,然后由机器学习算法来处理这些信息数据。
任何想在当今残酷的商业环境中脱颖而出的公司或者个人,都必须首先解决一个问题,那就是:虽然大家都知道学习能力决定着成败,但是大部分人并不知如何学习,尤其是那些被认为学习能力很强的人往往并不擅长学习。比如在现代企业中担任关键领导职位的专业人士,他们通常拥有良好的教育背景,努力上进并富有奉献精神。
 
大多数公司在寻找出路时都困难重重。不仅如此,很多公司甚至对自身的学习困境浑然不觉。这是因为人们并不清楚什么是真正的学习以及怎样才能开始学习。因此,在尝试成为学习型组织过程中,公司很容易犯两个错误:
 
首先,大部分人对学习的定义过于狭窄,仅将其理解为“解决问题”。因此,人们关心如何找出并解决外部环境中存在的问题。解决问题固然很重要,但持续性学习必然包括自我反省。他们需要认真反省自身行为,找出自己无意间对组织造成负面影响的行为,然后做出相应改变。尤其需要指出的是,主管和员工必须认识到,定义问题和解决问题的方式本身可能就是问题之源。
 
哈佛商学院教授克里斯•阿吉里斯创造了两个词用以区分两者的重要差异:“单环”学习和“双环”学习。

举一简例:单环学习类似一个自动开关的恒温器,一旦室内温度低于68华氏度即自动打开。如果一个恒温器会思考“为什么我的开关温度被设置为68华氏度”这个问题,并尝试寻找性价比更合理的温度设置,这种方法就是双环学习。
 
高技能专业人士通常在单环学习方面大放光彩。毕竟,获得学位、专攻特定的知识领域并将这些知识用于解决现实问题是他们的惯常优势。但具有讽刺意味的是,这些优势正是专业人士在双环学习方面极其蹩脚的原因所在。
 
这些专业人士几乎总是诸事顺利,很少经历失败。因为很少体验失败,他们就不知道如何从失败中学习成长。因此,任何时候,只要单环学习战略失灵,他们就会立刻变得充满防御性,抵制批评并将指责的矛头对准每一个人,除了他们自己。简言之,最需要学习的时候,恰好是专业人士学习能力完全停滞之际。
 
专业人士的这种自我防御倾向,助长了人们易犯的第二个学习错误,即想当然地认为学习主要和动机有关:只要人们态度正确,愿意投入,自然会开始学习。因此,公司对创造组织架构(薪酬计划、业绩评估、公司文化等)不遗余力,旨在提高员工的积极性和投入度。
 
但是有效的双环学习并非只是由感觉驱动的行为,而是人们思维方式的反应,即人们做出的选择和行为背后的认知规则或思考模式。这些规则就像储存于大脑的某种“控制程序”,能主导人的所有行为。即使你的责任心很强,防御性思考模式仍会阻碍你的学习能力;就像一个带有隐性病毒的电脑程序,其运行结果与编程人员的初始目的可能完全相反。
 
专业人士为什么总是处于一种防御状态?根源不在于他们对持续进步的态度和追求上存在问题,因为他们确实希望更高效地工作。关键原因在于他们对自己和他人行为的思考方式。
 
我们不可能细细思考所有的处境。如果每次被问及“你情况怎样”时,我们都要把所有可能的回答前后思量一番,那么等我们想好,为时已晚。所以,每个人都会发展出一套“行动理论”机制,即用以指导自身行为和判断他人行为的规则。人们对这些行动理论习以为常,所以总是下意识地使用这些规则。这是人们往往意识不到的思维惯性。
 
解决这种学习困境最重要之处,就是在组织学习和持续提高项目中,重点聚焦主管和员工行为背后的思维模式。改变人的思维模式能成功卸下阻碍学习的防御机制。
如果不同思维和思想圈的人一起来谈论一下,“论深度学习”,
学习各个前辈的思想,我想我在工作,生活,处事,做人,自我管理,和自我修养方面会进步不少;
1,人的思维模式形成的因数是怎样产生的,因数和要素的组成部分?
2,思想境界要如何提升?
3,如何面对现状进行信息采集,分析,统计,判断,拍板等?
4,如何将学到的化作实际应用,并不断改进?形成创造力?赢得赞赏和尊重等?
5,如何让我的管理成本,时间成本更有效?
 
面对深度学习,感觉这是个很大的命题(涉及心理学,统计学,概率学,管理学,哲学,等)
又涉及为人,处事之道,销售等等;
 
真心喜欢这命题?适合各行各业? 各个年龄层次的人都可以表达自己的思想和领悟;
相互学习?相互探讨?
“单环”学习和“双环”学习。
还能更为具体的阐述一下吗?学习了不少,感觉脑洞大开的感觉. 有些思想和理论我还有点看不懂,不理解?
很少看到这种深度的讨论?谢谢!
思维模式怎么改变和转变,现在是个信息大爆炸的时代,各种各样的信息量很大;学习的途径和信息选择本身就是一个难点:在加上环境的局限;
周围的人智关注现象表面和短期回报,思维模式和行为机制在决定学习模式和结果导向,在这复杂的环境并存并相互相成,彼此考验,揉面似的持续提升; 有战术之后 上升到战略层面。。。。。
 
聪明人一定是占领思维和思想的高地;努力提高自己的情商和智商,占领“高地”
 
5

大叔来了

赞同来自 : 凯凯 金金 我来了 美人鱼 其中之一

随着每个人在与社会的接触,由环境,年龄,性别,职业,经历,等所形成的经验,习惯,喜好,角度,关注点,敏感度,观察洞察力,旧的恶习 而每个人形成的特有的行动理论和视角 再加上“自我本色”等;就很容易给人贴上标签,定性,也就是常说的的带上有色眼镜看人;与“应材施教”应人善用“等就越走越远;
 
我认为形成现在“你”“我”,本身就是双刃剑,无论行为导向的结果是什么?
1,持续坚持学习的好习惯,
2,在现有的“思维和思想”形成或者建立一套"过滤系统,净化系统,和吸收并反省系统;
 
 
 
5

我来了

赞同来自 : 阿祥 美人鱼 其中之一 大叔来了 凯凯

这是先做人后做事,谋而后定,
如何用最短的时间浓缩成长周期,获取最大回报,形成自我价值体现,和生活态度等的命题大讨论啊?
自我学习能力强的人,求知欲强的人,自我反省和总结的人是最有潜力的人;
我还是先学会怎么样使自己成熟度到达一定的境界 和如何控制自己的情绪和自我管理方面下功夫;
 
先看几遍毛泽东思想,呵呵
1

砸金蛋

赞同来自 : 其中之一

最近一只关注AI,关于深度学习的认知分享:
深度学习就是数学计算
深度学习正在迅速“吞噬”AI,但不要把这种方兴未艾的AI技术夸大其词。英国知名作家亚瑟·克拉克(Arthur C. Clarke)曾经说过:“任何足够先进的技术都与魔法无异。”深度学习当然是一种先进技术,它能识别图片中的物体和人脸,识别语音内容,将一种语言翻译成另一种语言,甚至还能在围棋比赛中战胜人类顶尖高手。但是,深度学习还没达到“魔法”的程度。

随着谷歌、Facebook和微软等科技巨头继续将该技术整合到日常在线服务中,以及全世界仍在为谷歌AlphaGo战胜李世石而感到惊叹之际,一些行业权威人士开始将深度学习技术吹嘘成“人脑模拟”。其实,机器学习就是简单的数学计算,只不过计算规模庞大而已。

事实上,深度计算就是一种算法,基于数据来调整神经网络。那么这句话到底是何含义呢?让我们来解释一下:一个神经网络就是一个计算机程序(受大脑结构而启发),它包括大量彼此连接的节点(或称 “神经元”),每个节点都会对接收到的数值输入进行简单的函数计算(如求和)。这里的“节点”远比大脑神经元要简单,其数量也远低于大脑神经元的数量。深度学习只是强化了神经网络中的这些节点的连接。

深度学习是机器学习的一个子域,机器学习是AI领域里一个非常活跃的研究分支。理论上讲,机器学习就是基于数据点收集的一种逼近函数(approximating functions)方法。例如,如果一组数字排列是 “2、4、6…” ,那么机器就能预测出第四个数字应该是“8”,第五个数字应该是“10”。计算公式就是2X,X代表排序中的位置。这种算法的应用空间很广泛,例如,在自动驾驶汽车、语音识别和预测机票价格波动等方面均有出色表现。

在某种意义上讲,深度学习不是独一无二、无规律可寻的。任何机器学习系统,无论是否属于“深度”学习,都由下列一些基本要素组成:

1.执行元素:系统中采取行动的部分。例如,在围棋比赛中负责走棋的部分。

2.目标函数:被学习的函数。例如,围棋比赛中棋盘位置或走子选择的映射。

3.训练数据:一套被标记的数据点集合,用于逼近目标函数。例如,围棋比赛中棋盘位置的集合,其中每一个位置都标注了人类专家在该位置上的走子选择。

4.数据表现:每个数据点通常会被表示为一个预先确定的变量的矢量。例如,围棋盘上每个棋子的位置。

5.学习算法:基于训练数据计算目标函数近似值的算法。

6.假设空间:学习算法可能考虑的函数的空间。

这种结构能适应所有取机器学习方法,包括从简单的线性回归方法到复杂的深度学习算法等。从技术上讲,我们指的正是监督学习(supervised learning),其中每个数据点都有人类做出的标记。如数据没有被标记,就是无监督学习,处理起来就要困难许多。如果有部分数据被标记,则属于半监督学习。

需要指出的是,机器学习架构中前五个部分都是人工输入的,意识到这一点很重要。人类程序员建构了其中每个元素,但并未控制机器学习程序。事实上,程序员通常会分析这个学习程序的行为,发现它不够完美之后,会手动修改其中一个或多个元素。这是一项非常艰苦的工作,在达到期望水平之前,可能需要几年、甚至更长时间的重复工作。

帮助人类

我们会发现,一个学习程序的能力会受到这种架构的严格限制。确切而言:

1.学习程序无法修改该架构的任何部分。

2.学习程序无法自我修改。

3.学习程序无法“学习”假设空间之外的函数。

正因为如此,像AlphaGo这样的学习程序,在没有人类帮助的情况下,是无法学会国际象棋或跳棋的。此外,如果未经过大量的专门训练,大多数程序员都无法成功地修改机器学习系统。即便是训练有素的数据科学家,也需要大量的时间和资源才能成功建立起一套成功的机器学习系统。

AlphaGo系统的设计和实现需要3000多万个从互联网上挑选的训练样本,以及一个庞大的研究人员和工程师团队的多年努力。其实,仅仅将AlphaGo击败欧洲围棋冠军樊麾的水平提升到击败李世石的水平,也需要几个月的努力工作 。

此外,AlphaGo还用到了一系列被称为“强化学习”的机器学习方法,通过不断地选择动作、并观察结果,以获得最大的赢面。在强化学习过程中,训练数据并不是“预先标记”的输入。相反,该学习程序被提供了一个“奖励函数”,即为不同的状态分配不同的奖励。强化学习方法通过执行某些动作、并观察奖励来获得训练数据,本文中的机器学习分析同样也适用于强化学习,该方法仍然受限于其目标函数、数据表现和假设空间等。

可能性空间

非常寻常的学习力量带来了显著结果,我们通常将其称之为“进化”。但需要指出的是,我们必须要意识到自然选择的进化过程和计算机程序模拟过程之间的区别。计算机程序模拟过程被称为遗传算法(Genetic algorithms),目前这种方法还不是特别成功。

遗传算法修改了“生命体”的表现形式,而这种表现形式是非常庞大的。例如,人类基因估计包含了10多亿比特的信息,这意味着人类DNA序列的可能数量是2的10亿次方。探索如此规模的空间所需的成本非常高,但这个空间的拓扑结构让它无法找到简单、适合的算法。相比之下,围棋的可能性空间就小很多,利用机器学习方法进行探索就会容易很多。

为了成功定义一个目标函数,将生活中的一项任务变成为一个简单的优化问题,计算机科学家、研究人员和统计学家整整花了十年时间。但是,许多问题在被表现为机器可操作的形式之前,还需要进行更多的分析。例如,如何以机器可以理解的语言写下一句话的含义?正如麻省理工学院教授杰拉尔德·萨斯曼( Gerald Sussman)所说的那样:“如果表达不出来,就学不会。”在这种情况下,选择适当的表现方法都做不到,更谈不上解决问题了。

因此,深度学习(或者从广义上讲是“机器学习”)已被证明是一种强大的AI方法,但当前的机器学习方法还需要大量的人工参与,才能将一些问题被表现为机器可操作的形式。之后,还需要大量的技巧和时间反复定义这些问题,直至这些问题最终被机器解决。最重要的是,该过程还被限定在很窄的范围内,机器的自主权限很低。和人不一样,AI不具备自主性。

因此,机器学习还远不是一个将从魔瓶里被放出的“妖怪”。相反,它只是理解智能、建立与人类水平相当的AI过程中所迈出的坚实一步。
2016-6-18
1

其中之一

赞同来自 : 大叔来了

学习深度学习的四个步骤
一个手写资源列表帮助你变成一个深度学习专家
 
首先,如果你需要一些基本的信息或者令人信服的关于深度学习为什么有非常大的影响,可以检验下面由Andrew Ng制作的视频。
                                                        https://www.youtube.com/watch?v=n1ViNeWhC24
步骤1:学习深度学习的基本知识
(可选的,但是建议你这样做)
 
由Andrew Ng的机器学习课程开始
https://www.coursera.org/learn/machine-learning.他的课程提供了一些关于各种机器学习算法的介绍,更重要的是,一般的程序/机器学习的方法,包括数据预处理,大参数调优等。
 
阅读由Geoff Hinton、Yoshua Bengio和Yann LeCun写的NIPS 2015 深度学习教材,
是一个以通俗易懂的介绍。
 
步骤2:深入专研深度学习
我学习的偏好是观看讲座视频,并感谢几个优秀的网上课程,这里有我喜欢的几个课程:
 
1、Deep learning at Oxford 2015,Nando de Freitas没有过于复杂的熟练解释基本原理。从讲座9开始,如果你熟悉神经网络并想要再深一点,他在他的例子中使用了火炬框架(Video on Youtube)。
2、Neural Network for Machine Learning :这是Geoff Hinton的课程。Hinton是一个杰出的研究者,他证明了一般的BP算法的使用并对于深度学习的发展起着至关重要的作用。我尊重他,但是我发现该课程没有组织。更进一步的,课程会由于布置的测试陷入困境。
3、Neural Networks Class,是由Hugo Larochelle 教授:另外一个极好的课程。
4、Yaser Abu-Mostafa’s machine learing course:如果你感兴趣更多的理论的话。
 
如果你更倾向于书籍,这里有一些极好的资源。
1、Neural Networks and Deep Learning Book,是由Michael Nielsen撰写:在线书籍并有几个交互式的JavaScript元素可以玩。
2、Deep Learning Book,是由Ian Goodfellow, Yoshua Bengio和Aaron Courville撰写:有一些密集。
 
步骤3:挑选一个专注领域并深入研究
确定你所热爱的并深入研究,领域是宽广的,所以列表是一个全面的列表。
 
1、计算机视觉
   深度学习已经改变了这一领域。斯坦福CS231课程是我最经历的最好课程,它教会你基础知识和卷积,同时也帮助你在AWS上建立GPU实例,同时,也可以看由Mofstafa S,Ibrahimz制作的课程Getting Started in Computer Vision。
2、自然语言处理(NLP)
  用于机器翻译,提问和回答,以及情感分析。为了掌握这一领域,深度理解自然语言的算法和基础计算属性是必须的。CS224N/Ling284课程是一个很好的起步课程。CS224d:Deep Learning for Natural Language Processing,是由David Socher教授的另外一门极好的课程,回顾了所有关于自然语言的最新深度学习的研究。更细节的可以看How do I learn Natural Language Processing?
 
 
3、记忆网络(RNN-LSTM)
最近的工作是将在LSTM复发神经的注意机制与外部可写内存相结合,这意味着在建筑系统中有一些有趣的工作,可以被理解、存储并在以问答的方式检索。这个研究领域是由Dr.Yann Lecun的facebook实验室起步的,原始文字是在arxiv上:Memory Network。这里有许多研究变体、数据集、标准等,比如,Metamind的 Dynamic Memory Networks for Natural Language Processing。
4、深度强化学习
   由AlphaGo出名,围棋系统在历史上击败了最强围棋选手,David Sliver的(谷歌深度思维)视频课程和教授Rich Stutton的书籍是很好的起步。对于关于LSTM的一般介绍可以看Christopher的文章Understand LSTM nework和Andrej karpathy的The Unreasonable Effectiveness of Recurrent Neural Networks。
5、一般模型
虽然有辨识率模型试着去检测、区分和分类,它们最终是在一个基本层面上寻找功能分化并不理解数据。除了短期应用之外,生成模型提供了潜在的自动学习的自然特性;类别、维度或者完全不同的东西。三个常用的生成模型——Generative Adversarial Networks(GANs),
Variational Autoencoders (VAEs) 和Autoregressive models(比如像素RNN),GAN是最流行的。想进一步深入阅读
(1)、Original GAN paper.
(2)、The Laplacian Adversarial Networks (LAPGAN) Paper.
(3)、The Deep Convolutional Generative Adversarial Networks (DCGAN)paper和DCGAN Code(可以被用来学习层次特征而不需要任何监督),也可以参考DCGNN used for Image Superresolution.
 
步骤4:建立一些东西
动手制作是成为一个专家的关键,试着去建立一些吸引你的并匹配你技能等级的。这里有一些建议去启发你。
1、作为传统,开始是从分类手写数据库MNIST dataset.
2、试着在数据库ImageNet上进行人脸识别和分类,如果你一直在做这个,可以参加ImageNet Challenge 2016.
3、使用RNNs或者CNNs做一个Twitter情绪分析。
4、训练一个神经网络去复制著名画家的艺术风格(A Neural Algorithm of Artistic Style)。
5、使用RNN制作音乐:Compose Music With Recurrent Neural Networks。
6、使用深度强化学习打乒乓球:Play ping-pong using Deep Reinforcement Learning。
7、使用神经网络自拍:Use Neural Networks to Rate a selfie。
8、使用深度学习自动着色黑白照片:Automatically color Black & White pictures using Deep Learning。
想获得更多的启示,可以看下CS231n在冬天2016以及冬天2015的项目,也可以看下Kaggle 和HackerRank为了有趣的东西以及竞争和学习的机会而比赛。

附加资源
这里有一些指示来帮助你持续学习
1、阅读一些极好的博客:Christopher Olah 和Andrew Karpathy博客很好的解释基本原理和最近突破
2、在Twitter上关注一些有影响的人,@drfeifei, @ylecun, @karpathy, @AndrewYNg, @Kdnuggets, @OpenAI, @googleresearch.(Who to follow on Twitter for machine learning
information ?)
3、Google + Deep Learning Community页面,是一个很好的方式与深度学习中的创新保持联系,同时也与其他深度学习的专家和爱好者交流。
 
参看ChristosChristofidis/awesome-deep-learning,关于深度学习课程、项目和社区的策划表是为了更多的乐趣。

要回复问题请先登录注册