脑机接口
人类唯一的出路：变成人工智能
-
-
Tim Urban，之前火热的文章《为什么有很多名人让人们警惕人工智能》也是出自他手，英文原文刊载于waitbutwhy.com，点击文末的阅读原文可以跳转到原文链接。
Wait but Why的作者Tim Urban 是埃隆马斯克（特斯拉/SpaceX创始人）强烈推荐的科技博主。他写的AI文章是全世界转发量最高的。他的粉丝还包括：Facebook创始人马克扎克伯格，Facebook COO谢丽桑伯格等。Tim也是TED演讲平台上有史以来最受欢迎的演讲者之一
在一个由人工智能和“其他所有生物”组成的未来， 人类只有一条出路：“变成人工智能。
本翻译版本由谢熊猫君提供，全文共六万字。两百余张图片，分成六个章节，将分成五篇推送完成。
- 第一章：人类巨灵 （约7000字）简述人类语言、智能和人类巨灵的崛起
- 第二章：大脑 （约8000字）简述大脑结构，为了解脑机接口提供基础知识
- 第三章：脑机接口（约12000字）讲述脑机接口的基本原理和目前的技术水平
- 第四章：挑战（约8000字）讲述目前脑机接口跨越到全脑接口所要面临的挑战
- 第五章：魔法纪元（约13000字）全脑接口实现后未来的人类会是怎样
- 第六章：大融合（约10000字）人类唯一的出路：变成人工智能
注：
- 原文请看:人类唯一的出路：变成人工智能，篇幅所限，不含第四章和第六章
- 微云完整版
- 60页的打印版下载，链接 密码：tvr5sa
- 全文地址：【完整版】人类唯一的出路：变成人工智能
- 原文地址：英文版- Neuralink and the Brain’s Magical Future
- Word文档版：腾讯文档
应用案例
【2020-1-16】浙大：机械臂
【2020-1-16】浙江大学：国内首例植入式脑机接口让“意念”控制机器臂
- 1月16日，浙江大学对外宣布“双脑计划”重要科研成果，求是高等研究院“脑机接口”团队与浙江大学医学院附属第二医院神经外科合作完成国内第一例植入式脑机接口临床研究，患者可以完全利用大脑运动皮层信号精准控制外部机械臂与机械手实现三维空间的运动，同时首次证明高龄患者利用植入式脑机接口进行复杂而有效的运动控制是可行的。
-
除了吃喝、社交、娱乐外，这项最新成果将有助于肢体瘫痪患者进行运动功能重建，从而提高生活质量，未来也将对辅助运动功能、失能者功能重建、老年机能增强等更多领域产生积极影响。
- 视频：
【2021-3-11】复旦：生物显示屏
- 【2021-3-11】复旦Nature论文实现《三体》科幻场景：把显示屏穿身上，还能导航、聊天那种，新一期《Nature》杂志刊载了复旦大学高分子科学系教授彭慧胜团队的一项研究成果——《大面积显示织物及其功能集成系统》。
- 在处理器的帮助下，人类脑电波可被转换为可读信息，并显示在织物上. 发光经纱 + 导电纬纱 = 显示织物. 该织物系统包括显示屏、键盘和电源，因而可作为通信工具来使用。它可以用电池充电，甚至使用太阳能。最重要的是，它还具备输入、沟通和导航等功能，是真正意义上的「可穿戴设备」。可以说，穿上它，你就是街上最「亮」的仔。
【2021-7-8】打字
- 【2021-7-8】意念打字登Nature封面！每分钟写90个字符，准确率超99%，一位截瘫患者，正在用“意念”打出一段话，0.5秒左右就能输出一个字母,他所需要做的，只是在脑中将字母“手写”出来，然后系统就会自动识别生成字母，一分钟可写90个字符。。图
- High-performance brain-to-text communication via handwriting
【2023-3-27】Fireship → Neurosity
【2023-3-27】一位名为Fireship的独立开发者发了一段令人震撼的视频：用 JavaScript 将他的大脑连接到 GPT-4。简单来说，他通过非侵入式脑机接口公司 Neurosity 提供的 JavaScript SDK和一个仪表板，通过脑机通信连接上了GPT-4。
只要头戴 Neurosity 意念一动，大脑就可以连接到 GPT-4，从而使 GPT-4 的整个知识库触手可及。如果你使用过 GPT-4，想象一下有个人拥有一个用脑机接口连接到 GPT-4 的大脑。
大脑如何连接GPT-4的过程。
- 通过不断地提示与训练，可以将自己转变为赛博格（半机械人），真正实现生物硅基的融合，应用在日常场景中，再借助设备，脑信号转文字，文字转语音，实现语音对话能力。
- 正在考试时，不晓得答案只要想一想，GPT-4就在你大脑里敲字，然后通过脑机接口告诉你；
- 上班迟到了，想要编一个借口，ChatGPT马上给你一个合理的理由…
不过用在这些地方，就有些大材小用了. 还可以通过脑电波“监听”自己过去的思维模式，以此进行矫正或者训练。
3月末，Neurosity 发布了一款名为 The Crown 的头戴式脑机接口。埃隆·马斯克前女友发推说想要的BCI设备， 这顶被誉为皇冠的BCI，戴上去像来自未来的人类。这款轻便的非侵入式脑机接口设备，可以监测人的脑电波，以辅助睡眠、学习、专注力等。
还可以意念操控物体，比如上个月初，一名研究人员用它操控一辆特斯拉汽车，虽然短短十几秒，却让人看到了未来人机融合和交互的想象力
Neurosity对这种对脑电波的理解，以及 Crown 的可编程性，开辟了 脑机接口+AI 世界的新领域 —— 生物硅基大脑驱动世界。
大脑是一个电化学器官。一个功能完备的大脑可以产生多达 10 瓦的电力。如果所有 100 亿个相互连接的神经元同时放电，那么放置在人类头皮上的单个电极将记录大约百万分之五到百万分之五十伏特的电压。如果你有足够的头皮连接起来，你也许可以点亮手电筒灯泡。
Neurosity 宣称 Crown 的计算模块与 MacBook Air 一样强大，配备四核 1.8Gz CPU，每秒可以从大脑中获取数千个数据点，而不会在传输过程中丢失数据。此外，新的传感器配置提供了对视觉皮层的访问，完成了对大脑所有四个叶(额叶、颞叶、顶叶、枕叶）的覆盖。
而现在它可以让你的大脑连接到GPT-4，将人脑与机器、AI进行融合。人们可以通过训练算法来识别各种思维模式，以便选取最优的方案或者预测行为。
这就像科幻电影里的半机械人，他们变得比人类还要强。不妨大胆畅想下，人们接入他人的记忆或者回忆梦境——这种《赛博朋克2077》的游戏里的剧情，似乎也可能实现。
【2023-11-10】斯坦福 NOIR 做家务
【2023-11-10】李飞飞团队新作：脑控机器人做家务，让脑机接口具备少样本学习能力
斯坦福大学的吴佳俊和李飞飞团队近日提出的 NOIR 系统让用户通过非侵入式脑电图装置控制机器人完成日常任务。
- 智能 BRI 系统 NOIR（Neural Signal Operated Intelligent Robots / 神经信号操控的智能机器人）
- 论文地址：NOIR: Neural Signal Operated Intelligent Robots for Everyday Activities
- 项目网站, video
NOIR 将脑电图信号解码为机器人技能库。
- 现在已能完成例如烹饪寿喜烧、熨衣服、磨奶酪、玩井字游戏，甚至抚摸机器狗等任务。
这个模块化系统具备强大的学习能力，可以应对日常生活中复杂多变的任务。
系统基于非侵入式的脑电图（EEG）技术。该系统主要原理是分层式共享自治（hierarchical shared autonomy），即人类定义高层级目标，而机器人通过执行低层级运动指令来实现目标。该系统纳入了神经科学、机器人学和机器学习领域的新进展，取得了优于之前方法的进步。
- 首先，NOIR 是通用型，可用于多样化的任务，也易于不同社区使用。研究表明，NOIR 可以完成多达 20 种日常活动；相较之下，之前的 BRI 系统通常是针对一项或少数几项任务设计的，或者就仅仅是模拟系统。此外，只需少量培训，普通人群也能使用 NOIR 系统。
- 其次，NOIR 中的 I 表示这个机器人系统是智能的（intelligent），具备自适应能力。该机器人配备了一个多样化的技能库，让其无需密集的人类监督也能执行低层级动作。使用参数化的技能原语，比如 Pick (obj-A) 或 MoveTo (x,y)，机器人可以很自然地取得、解读和执行人类的行为目标。
- 此外，NOIR 系统有能力在协作过程中学习人类想达成的目标。通过利用基础模型的最新进展，该系统甚至能适应很有限的数据。这能显著提升系统的效率。
NOIR 关键技术贡献包括一个模块化解码神经信号, 以获知人类意图的工作流程。从神经信号解码出人类意图目标是极具挑战性的。
- 该团队的做法: 将人类意图分解为三大组分：要操控的物体（What）、与该物体交互的方式（How）、交互的位置（Where）。研究表明可以从不同类型的神经数据中解码出这些信号。这些分解后的信号可以自然地对应于参数化的机器人技能，并且可以有效地传达给机器人。
在 20 项涉及桌面或移动操作的家庭活动（包括制作寿喜烧、熨烫衣物、玩井字棋、摸机器狗狗等）中，三名人类受试者成功地使用了 NOIR 系统，即通过他们的大脑信号完成了这些任务！
通过以人类为师进行少样本机器人学习，可以显著提升 NOIR 系统的效率。这种使用人脑信号协作来构建智能机器人系统的方法潜力巨大，可用于为人们（尤其是残障人士）开发至关重要的辅助技术，提升他们的生活品质。
清华“天机”
【2019-08-01】清华“天机”芯片登上Nature封面：全球首款异构融合类脑芯片
摘要：
这也是中国的人工智能芯片，首次登上Nature。
近日，权威科技杂志《自然》(Nature)封面报道了来自清华大学团队的“天机”类脑芯片，论文标题为“Towards artificial general intelligence with hybrid Tianjic chip architecture”(面向通用人工智能的异构融合“天机”芯片架构)。
传统芯片均基于冯诺依曼架构，清华天机则是一种类似人类大脑机制的非传统结构，类似Intel正在研究的神经拟态芯片Loihi。
其实早在2015年，清华团队就完成了第一代“天机”芯片，2017年进化为第二代，速度更快，性能更高，功耗更低，相比于当前世界先进的IBM TrueNorth，也具备功能更全、灵活性、扩展更好的优点，密度高出20%，速度高出至少10倍，带宽高出至少100倍。
最新一代天机芯片采用28nm工艺制造，核心面积仅仅3.8×3.8毫米，包含156个FCores核心，拥有大约40000个神经元和1000万个神经突触，可以同时支持机器学习算法和类脑电路。
它不仅算力高、功耗低、支持多种不同AI算法，而且采用了存算一体技术，不需要外挂DDR缓存，可大大节省空间、功耗和成本。
自行车
今天，一辆来自清华的无人驾驶自行车登上了Nature的封面。
在论文中，研究团队描述了天机芯片如何帮助机器响应语音命令，识别周围世界，避开障碍，并保持平衡，展示了搭载该芯片的自动驾驶自行车如何自动控制平衡，并在操场上对目标人物进行识别、跟随、自动避障。
这个无人智能自行车系统包括激光测速、陀螺仪、摄像头等传感器，刹车电机、转向电机、驱动电机等制动器，以及控制平台、计算平台、天机板级系统等处理平台等。
据介绍，天机芯片目前还是非常初步的研究，但是团队已经启动了下一代芯片的研发，预期明年初完成。
S型路线跟踪
语音控制“左转”
语音控制“直行和加速” 这辆自行车不仅可以平衡自身，还可以绕过障碍物，甚至可以响应简单的声音命令。
自行车能够按照声音命令改变方向或调整速度
自行车检测并跟踪移动的人，并在必要时避开障碍物
这辆自行车能够如此平衡、顺利的自主运行，靠的是自行车背后的大脑。它采用了一种名为“天机（Tianjic）”的新型计算机芯片，用于实时物体检测，跟踪，语音识别，避障和平衡控制。
邓磊介绍，无人自行车系统的语音识别、自主决策、视觉追踪功能运用了模拟大脑的模型，而目标探测、运动控制和躲避障碍功能运用了机器学习算法模型。
研究团队还指出：“通过随机将新变量实时引入环境中可以产生高时空复杂性，例如不同的道路条件、噪声、天气因素、多种语言、更多人等等。通过探索允许适应这些环境变化的解决方案，可以检查对AGI至关重要的问题，比如概括、稳健性和自主学习。”
这只来自清华的团队也凭借Tianjic芯片，登上了8月1日发布的最新一期Nature封面。
这也是中国的人工智能芯片，首次登上Nature。
论文的通讯作者、清华大学精密仪器系教授、类脑计算中心主任施路平教授表示，虽然这还是非常初步的一个研究，但或许能够推动通用人工智能（AGI）计算平台的进一步发展。
本次的论文作者来自清华大学、北京灵汐科技、北京师范大学、新加坡理工大学和美国加州大学圣塔芭芭拉分校等机构。
- 论文链接：https://www.nature.com/articles/s41586-019-1424-8
什么是AGI？
这款芯片可以同时融合两种方案正是其受到关注的关键所在。通用人工智能（Artificial General Intelligence，AGI），是一个尚未实现的研究课题，有时也被称作强人工智能，它所描述的机器智能可以理解或学习人类所能完成的任何智力任务。
对于AGI，部分人工智能学者认为，AGI的概念并不严肃，在实践中基本不可能实现。
另一些人则十分看好人工通用智能的发展，认为它有可能塑造人类的发展轨迹。
在Nature论文的新闻发布会中，施路平表示，“AGI是一个非常难的研究课题，但我们相信它是一定会实现的”。
施路平认为，发展通用人工智能的最佳方案之一是：把人脑和电脑的优势结合起来。
这种研究思路也就意味着要将计算机科学导向和神经科学导向这两种发展AGI的方法结合在一起。但是这两种方式在公式和编码方案上存在根本差异，想要结合困难重重。
也就是说，这种结合的核心挑战在于脉冲神经网络（SNN）和人工神经网络（ANN）的融合。
在生物大脑中，每个神经元都与各种输入相连。一些输入在神经元中产生激发，而另一些输入则抑制它，对于SNN（脉冲神经网络），在达到由变量（或者可能具有函数）描述的特定阈值状态时，神经元发出脉冲信号。
ANN则是是从信息处理角度对人脑神经元网络进行抽象，目前热门的AI神经网络CNN、RNN都属于ANN。
就可以理解SNN和ANN最大的差异
- ANN以精确的多位值处理信息
- 而SNN以脉冲处理信息
为了在一个平台上实现两种模型，脉冲需要表示为数字序列（1或0），以便与数字编码格式的ANN兼容。
当然，两者之间还存在其它差异，比如
- SNN在时空域中运行，而ANN依靠时钟在每个周期刷新信息。
- SNN的计算包括膜电位积分，阈值交叉和电位复位，ANN主要与乘法累加（MAC）操作和激活变换相关。
- SNN的处理需要比特可编程存储器和额外的高精度存储器来存储膜电位，发射阈值和不应期，ANN仅需要用字节存储器来进行激活存储和变换。
计算机科学+神经科学双导向，构建更普遍的通用平台
开发通用人工智能有两种主要方法：
- 一种是
神经科学导向，植根于神经科学，并试图构建与大脑非常相似的电路。 - 另一种是
计算机科学导向，以计算机科学为基础，并使用计算机来执行机器学习算法。
因为在制剂和编码方案的基本差异，这两种方法依赖于不同的和不兼容的平台，延缓了AGI的发展。
因此，通用人工智能的发展亟待一个支持更普遍的、基于计算机科学的人工神经网络以及神经科学启发的模型和算法的通用平台。
两种方法的结合促进AGI发展
这款天机（Tianjic）芯片则集成了两种方法，以提供混合、协同平台。
天机芯片采用多核架构，可重构构建模块和采用混合编码方案的流线型数据流，不仅可以适应基于计算机科学的机器学习算法，还可以轻松实现脑启动电路和多种编码方案。
“天机”芯片示意图
通过资源复用，天机芯片只需百分之三的额外面积即可同时运行计算机科学和神经科学导向的绝大多数神经网络模型，支持异构网络的混合建模，形成时空域协调调度系统，发挥它们各自的优势，既能降低能耗，提高速度，又能保持高准确度。
天机芯片同时具有多个功能核心，可轻松地重新配置，使其能够适应机器学习算法和大脑启发电路。研究人员通过将其中一个芯片整合到无人驾驶的自行车中来证明这种方法的潜力，这种自行车可以实现自我平衡，通过语音控制并且可以检测和避开障碍物。
芯片评估建模示例
在论文中，该团队表示，仅使用一个芯片，就可以在无人驾驶自行车系统中同时处理多种算法和模型，实现实时物体检测、跟踪、语音控制、避障和平衡控制。
基于天机芯片的自动驾驶自行车多模态集成示例图
跨学科组队，七个院系共同参与，七年磨一“芯”
在7月30日的电话新闻发布会中，论文通讯作者、清华大学精密仪器系教授施路平介绍了论文的研究思路。研究团队在接受媒体的采访时表示，从2012年孕育这项研究开始，团队遇到的最大挑战不来自于科学、也不来自技术，而是在于学科的分布不利于解决当前的问题。
因此，研究团队成立了七个院系组成的类脑计算研究中心，覆盖脑科学、计算机、微电子、电子、精仪、自动化、材料等学科。
团队成员之一，加州大学圣塔芭芭拉分校博士后邓磊表示，在芯片方面，遇到的最大挑战是如何实现深度和高效的融合。计算机科学导向和神经科学导向是目前流行的两类神经网络模型，这两种模型的语言、计算原理、信号编码方式、应用场景都有很大不同，所以需要的计算架构和存储架构大相径庭，甚至设计的优化目标都很不一样。一些深度学习加速器和神经形态芯片，基本上都是独立的设计体系，因此深度融合并不简单。
深度融合不是深度学习加速模块和神经形态模块简单的拼合，难点在于每部分的比例难以确认，因为现实中的应用复杂多变。而且，如果构建异构的混合模型，可能还需要在两个模块之间添加专门的信号转换单元，这又会有很多额外成本，所以，如何设计一套芯片架构兼容两类模型，可以灵活的配置同时又具有高性能，是团队芯片设计中的一大挑战。
2015年，施路平团队设计出第一代“天机芯”，经不断改进设计，2017年第二代“天机芯”问世。相比于当前世界先进的IBM的TrueNorth 芯片，2017年流片成功的第二代“天机芯”密度提升20%，速度提高至少10倍，带宽提高至少100倍，灵活性和扩展性更好。
也正如MIT科技评论报道所说，“该芯片暗示了中国在开发自己的芯片设计能力方面取得的进展。中国研究人员表明，他们可以制造专门的AI芯片以及任何芯片。”
类脑可以超越人脑吗？
其实早在2016年，谷歌就曾在愚人节那天发布过一辆理想中的自动驾驶自行车。
- 无水印版（中文字幕，无英文）
在谷歌的想象中，这辆“自行车”不仅平衡力超高
还能够自动通过红绿灯路口，自主导航找到你的位置。
但作为“愚人节视频“发布，也说明了这一技术的难点和不易实现。
而在今天，清华施路平团队终于初步实现了这一想象。这样的黑科技似乎也带着一丝科幻色彩，让人畅想AGI到来的那天。
在接受采访时，施路平教授表示，类脑能否超越人脑的问题，其实和电脑是否能超越人脑的问题类似。
电脑在某些方面其实早就超过了人类，其精准快速的运算能力、强大的记忆让我们叹为观止。然而，目前在很多智能的层次，计算机和人脑还是有相当大的距离。 特别是对于不确定性的问题，比如学习、自主决策等领域。
计算机会逐渐缩小差距，至于最后能否全面超过人脑，施路平教授觉得从技术的层面来看会越来越多，“因为计算机的发展有一个特点，就是它从不退步，它一直往前走。但是我相信我们人是有智慧的，我们会在发展的过程当中来逐渐的完善我们对于研究领域的一个理解，来把控它的风险，因为我相信人们之所以对这个问题重视，是因为我们担心会不会像科幻电影说的那样毁灭人类。”
关于AGI是否会超越人类智慧，吴恩达在AI For Everyone课程中也表示，完全的AGI的出现可能还需要几十甚至上百年，从时间上来说，我们也不需要多度担心。
从“天机”芯片看脑科学与AI的融合
许铁-巡洋舰科技
7月31日，Nature杂志封面刊登了清华类脑计算团队的最新成果： 天机芯片以及由其操控的自行车。
Towards artificial general intelligence with hybrid Tianjic chip architecture[1]
Letter-Published: 31 July 2019
Towards artificial general intelligence with hybrid Tianjic chip architecture
这则信息在一天之内在AI圈子引起了热议，而大部分吃瓜群众的状态则是云里雾里。 这篇文章从脑与人工智能结合的潜力与背景， 看这系列最新工作的意义。
我们说这个新工作的核心是能够同时在芯片上高效实现人工神经网络ANN和脉冲神经网络SNN， 所谓的ANN和SNN， 事实上是神经网络发展过程的两个分支。 欲了解其背景先了解其历史。
神经网络家族的分合故事
神经网络的故事从模拟单个神经元开始： 神经元是神经网络信息传输的“原子”。通过一定的方法连接这些原子，就可以得到具有智能的系统， 这算是整个人工智能“连接主义”流派的哲学根基。
那么如何构建这个认知的“原子” ？ 我们来看看最早的把连接主义引入机器学习的尝试。 最早的模拟大脑的单个神经元的尝试， 是Warren McCulloch 和 Walter Pitts 在1943 提出而来神经元的模型。 这个模型类似于某种二极管或逻辑门电路。 一定的输入进来，被神经元汇集加和， 如何这个和的总量大于一个阈值，神经元就放电， 小于一个阈值，神经元就不放电。 这个东西就好像某个微小的决策装置， 把很多因素加载在一起， 做一个最终的决策。 我们想象无数的二极管可以构成一个计算机，那么无数这这样的神经元不就可以构成一个具有计算功能的大脑吗？ 这就是感知器的概念。
这个高度简化的神经元事实上就是后来的人工神经网络ANN的基础， 简化得到的神经元事实上每一个的数学形式等价于一个加入了非线性过滤的线性回归。
如果把无数这样的神经元连接起来， 就构成了所谓的人工神经网络（ANN）。
当下的深度学习工具， 无论是CNN还是RNN， 都是在这个方程基础上把更多的神经元连接起来加入不同的限制条件得来的。
然而事实上， 这个架构与真正的生物神经网络相差极远， 这个差距首要集中在单个神经元模型上。 刚刚的方程是一个把原来的生化过程简化到不能再简的结果。 这里面最致命的区别在于， spike。 通过观察上述方程我们可以看出， 神经网络输出y是一个实数。而事实上， 真实的生物神经元输出， 更加基接近的是一个0，1过程， 当神经元经历的电压超过一个数值， 它就放电。 那是不是说明这个spiking反而更简单？ 其实不是， 这里面人们忽略掉的一个信息就是spike timing以及背后的电压变化。 真实神经元的放电过程由一组微分方程(Hodykin Huxley equations 1952)表达 :
这组微分方程的解就是spiking的过程， 如下图是电压随时间的变化， 当电压积累达到一定阈值， 这个爆发的尖峰就是spike，通过spike ， 神经元可以向其它神经元发射信号。我们所谓的脑电波， 无非是大量这样的神经元的集体放电在颅外所检测到的一组信号。
如果用上述这种包含了重要生物细节spiking的神经元连接成网络， 我们就得到了SNN（脉冲神经网络） 也就是受， 无论SNN还是ANN，本质都是对生物神经网络的模拟， 但就其抽象程度且相差疏远。
我们看到用SNN可以用神经脉冲表达信息， 如果用ANN表达一个类似的事情是什么样的呢？ 我们用一个数字Y来表达时间窗的spike个数（频率）， 而丢弃了所有其它信息， 比如波形，相位， 不同神经元之间spike和spike之间的同步等。 这意味着什么？ 两种可能的解释：
- 1， 波形，相位， 不同的神经元之间的同步是没有意义的冗余， 去掉它们整个神经网络表达的信息没有变化， 神经元的系统等于取定时间窗后的平均发放。
- 2， 波形，相位， 不同神经元之间的同步包含很多有用的信息， 去掉它们， 可能丢失了一些关键性的信息。 然而在最粗粒化的信息处理阶段， 这种保留是足够的。
那么哪一个更准确呢？ 普林斯顿的大牛Williams Bialek 的一系列作品都指出， 神经元spike间的同步（相关性）包含和神经编码相关的关键性信息，也就是说除了平均值外， spike所包含的不同神经元之间的发放同步（或相关性）依然包含了大量的信息。
1, Weak pairwise correlations imply strongly correlated network states in a neural population 2006 Nauture [2]
2, Collective Behavior of Place and Non-place Neurons in the Hippocampal Network 2017 Neuron[3]
Weak pairwise correlations imply strongly correlated network states in a neural population 2006 Nauture, 这张图说明了如果用0，1事件表达spike， 那么一个（视网膜网络）里的神经元的同步放电频率远高于用高斯独立假设得到的频率， 也就是说spike之间的同步不可忽略， 构成一种潜在编码 这两部作品的共同特点是说， 神经元spike发放之间的spike correlation可以编码大量的信息， 如果记录这些spike之间的pairwise correlation， 那么我们就可以恢复出神经活动里的大部分有用信息。
这意味着什么？ 假如神经元spike间的同步可以编码信息， 那么我们就可能用更少的spike编码更多的信息， 而这无疑对用最少的神经元放电得到更多的信息（稀疏性）大有帮助。 除此之外， 通过在spiking神经元的那组微分方程里加入更多的核膜常数（代表不同时间尺度的信息， 因为spike方程本身是一个包含大量不同时间尺度的非线性方程），我们可以得到大量局部存储的不同时间尺度的记忆（此处联想“忆阻器”）， 我们甚至可以得到某些类似LSTM非线性门的特性。这些， 都代表着Spiking Neural Network（SNN）相比当下ANN的优势。 用一个不恰当的比喻， ANN的神经元用实数表达每个神经元的状态， 而SNN好比进入到了复数域，有了相位。 在物理领域，实数到复数支撑了从经典力学到量子力学的升级。 有次看， 把SNN看成下一代的神经网络技术不言而喻。当然如果SNN这么好为什么现在工业没有用呢？ 难点在于SNN依赖于对微分方程的模拟， 对于当下的冯诺伊曼结构的计算机， 这是一个成本消耗非常大的运算。也就是说计算机为了模拟本来节省能量的生物计算可能更加耗能，同时也更加不好训练。 解决这个问题的方法， 显然是从基本硬件基础出发，去改良硬件的架构， 这也是神经拟态芯片的意义之所在。我们把树突和轴突直接用芯片来刻画， 无形之间， 就得到了一个长在硬件上的脉冲神经网络（SNN），它的能耗效率要比普通芯片高12-10000倍。
当然ANN也有一类专门的芯片来提高当下深度学习运行的效率，这就是深度学习芯片， 例如大家都了解得寒武纪等。
清华的这个天机芯片在于， 把神经拟态芯片和深度学习芯片得优势结合起来， 可以同时提高这两类神经网络ANN和SNN的效率。 我个人背景不是芯片， 所以此处不在深谈， 我们多从算法角度谈谈两者结合得意义。
Towards artificial general intelligence with hybrid Tianjic chip architecture 这一次Nature文章里的例子是自动驾驶自行车， 当然这个例子被很多人诟病，认为这个不就是一个简单的平衡游戏吗。 大家可以去github搜索cart pooling或者双足行走，这一类的toy model还不少吗？
然而我认为思考一个新发现的意义不在于它所干的那个任务low不low ， 而是看它是如何完成的。 最初的火车甚至跑不过马车，但是它的架构决定了它的上限和马车不可同日而语， 通过数年时间迭代，两者已是云泥之别。
那么我们来看一下让ANN和SNN同时在一个芯片上运行， 带来的潜力是什么。 一言以蔽之， 当下的深度学习模型，可以和大量没有被好好利用起来的计算神经科学模型， 天衣无缝的嫁接在一起。 这从无人驾驶自行车的网络架构可以略知一二。
Towards artificial general intelligence with hybrid Tianjic chip architecture 我们来理解一下这个流程图， 首先， 这个架构可以把多模态信息融合。 比如视觉， 听觉。我们注意到， 处理听觉的是脉冲神经网络SNN（更多时间相关信息）。 处理视觉信号的网络是经典的CNN卷积神经网络，属于人工神经网络ANN家族。 然而故事还没有结束， 在CNN的下面， 有一个主管视觉追踪的CANN网络， 虽然只有一个字母之差， 这可不是卷积神经网络， 这四个字母的含义是continous attractor neural networks - 连续吸引子网络。所谓空间吸引子， 说的是一种特化了的循环神经网络， 网络的动力学导致一系列可以根据外界信号连续变化的吸引子构成， 人们通常认为，海马体内的位置细胞就是由这种连续吸引子产生的， 它们可以天然的和速度信号进行耦合， 形成对空间的神经表示， 这个CANN，就是一种连续吸引子网络， 它直接把视觉物体(人)转化为一个可以追踪的空间目标（之后可以用于躲避行人）。 大家注意， 这是一个典型的脱胎于计算神经科学的网络架构，矩阵的连接还用到了树突计算。
然后我们来看中间的那个模块， neural state machine：神经状态机。 这个网络把连续的听觉和视觉信号转化为离散的事件， 这些事件构成一个有限状态的机器，也就是我们通常说的马尔可夫链。 这一步大家已经可以看到和决策有关的网络的联系，因为一旦把连续变化的信号抽象成了这种离散的马尔可夫链， 下一步就可以交给决策网络来决策了， 这里的决策主动是动作输出， 可以控制自行车在保持平衡的同时躲避障碍， 并对周围物体发出警戒信号。 这个网络也是由一个脉冲神经网络SNN构成。
在这里， 我们不难看出这是一个典型的人工设计与机器学习结合的模块化网络， 不能不让我们想起这类工作的先行之作： Science(Eliasmith, Chris, et al. “A large-scale model of the functioning brain.”science338.6111 (2012): 1202-1205.) 在这个工作里， 研究人员构建了一个叫spaun的模块化网络， 可以进行多任务学习。
Spaun的每个部分都是一个人工神经网络， 且可以与真实的脑区对应上， 比如视觉输入对应V1-V4 视皮层，它把真实的视觉信息压缩成一种低维度的编码（每个图像称为这一空间的一个点， 被称为pointer）。 这种低维的信息表示形式很容易放入到工作记忆模块里（working memory）， 最终由解码网络转换（decoding）， 被动作输出网络执行（motor）。 神经网络整体状态的调控由模拟basal ganglia的网络完成（Action Selection），它可以根据当下的任务整体调节信息的流动（如同一个综控系统， 调节每个网络之前的输入阀门）， 从而让大脑在不同的工作状态间灵活转换。 这也体现了功能大脑的概念， 我们不必拘泥于某个脑区的名称， 而是记住每个脑区对应信息处理的功能。最终我们通过监督学习或强化学习来让这个系统掌握8种截然不同的任务， 包括： 1， 抄写数字 2， 图像识别 3， 奖励学习， 4， 多个数字的工作记忆 5， 数数 6， 回答问题 7 简单的数学推理。
A large-scale model of the functioning brain
而当下清华的工作， 正是打造了适合这一类执行多任务的“虚拟”生物的硬件系统， 在之上， 你可以自由的搭建无论是经典的深度学习模型， 还是那些超前了的计算神经科学模型， 把他们一起组成模块化的网络， 执行多种多样的功能。
这个潜力也就不只局限在自行车了， 可以是流水线的机器人， 陪护老人的机器人，随便你去发挥想象力，无论上述那个机器人， 都需要进行多模块的信息整合以及多任务执行。假如这种建立在神经网络芯片上的模块化的网络系统可以以较低能耗长时间在真实环境里运作， 那么它带来的好处显然是特别巨大的， 这相当于引入了一个实时不间断的训练数据， 如果结合无监督学习， 强化学习，甚至神经进化等算法实时对网络进行优化，其潜力是无可限量的。
事实上， 类脑计算和AI的结合之潜力此处仅是冰山一角， 在巡洋舰之前的一些文章里，进行了更详尽的论述：
- 许铁-巡洋舰科技：AI和脑科学是否会再度握手？
- 许铁-巡洋舰科技：深度学习与脑科学的握手-圣城会议归来
参考
- https://www.nature.com/articles/s41586-019-1424-8
- https://www.nature.com/articles/nature04701
- https://www.ncbi.nlm.nih.gov/pubmed/29154129
张首晟在谷歌演讲：量子计算、人工智能与区块链
- 张首晟，美籍华裔物理学家，美国文理科学院院士，美国国家科学院院士、中国科学院外籍院士。
- 曾任斯坦福大学J.G. Jackson和C.J. Wood讲座教授，并创立丹华资本从事美国和中国前沿科技领域的投资。
- 2018年12月1日因抑郁症自杀 本文据张首晟教授近日在谷歌的主题演讲整理而成。
以下为演讲全文：
谢谢各位前来。我非常开心来到谷歌，被Daya介绍同样无比的荣幸。在此之前，我们已经彼此交流了很久，今天我想跟你们分享一些个人的看法。
关于未来信息技术内容，包括：量子计算，AI人工智能、区块链。特别是这三者的联系。我相信目前学术界有很多学者已经在研究这几方面的内容，但有机会能来参加此次学术会议我还是相当兴奋，因为会议研究的主要内容是：三者的内在联系。
首先跟大家分享一个“古老的”科学新发现。
多科学问题都对应着深刻的哲学问题，我们存在于一个对立统一的世界中，这个世界中
- 有正数，也有负数；有借款也有贷款；有阴也有阳；有好人也有坏人；天使也有魔鬼。
在现实生活中同样也存在着对应的道理。
1928年，其中一位全世界最著名的理论物理学家-狄拉克保罗，尝试将爱因斯坦相对论运用于量子力学。在数学公式推导的过程中，他遇到了不少的平方根计算。随后回想到自己高中时期的平方根问题，9的平方根不仅等于3，因为3的平方等于9，有-3的平方也等于9。所以当你对一个正数开方时会同时得到一个正数和一个负数。
狄拉克对开方得出的负数相当不解，这件事对迪拉克产生了深远的影响。他预言世界上的所有物质，都有正物质和反物质两种形态。如今在威斯敏斯特教堂，你依旧能找到保留完好的迪拉克公式手稿。
2012年获得的“保罗狄拉克勋章”是对我的研究工作最值得肯定。就像我刚才讲的一样：当你对一个数开方，可以得到一正一负两个数字，存在负数是宇宙的一大规律。也就是说只要是宇宙中的物质，就一定存在反粒子。现在看来这是一个再正常不过的完美等式。但在1928年，那个没有反物质的年代，提出这样的理论很不容易。比如当时的人认为：电子的反粒子是一种质量相等但带负电的粒子–质子，虽然质子带的电荷与电子相反，但它的质量却是电子的2000多倍所以那时根本没有人相信他。
但你们猜他说什么？老子的公式如此超前，你们这帮学渣还是先去练级吧。人们确实去提升等级了。狄拉克非常幸运，五年之后，在观测宇宙辐射的时候（地球上很难观测到，但宇宙中存在），科学家们捕捉到了反粒子，并命名为正电子和电子质量相同但带电相反。
我觉得这是人类历史上一次伟大的假设。前期假设很美好，后期结果也很给力。如今人类已经将反粒子应用于医疗方面，比如著名的医学成像技术–正电子层析成像技术，就是利用了反粒子的理论研究出来的。好莱坞也有很多类似的电影题材，比如大家所熟知的达芬奇密码的续集，天使与魔鬼（原著作者丹布朗，主演汤姆汉克斯）电影的高潮部分就是一段天使与魔鬼为争夺反物质而展开的史诗般战斗。
宇宙中到处可见反物质，如果你拥有了反物质或者反粒子，灭霸估计都难奈你何。但这一切都是基于一个美好的推论上，但人类的好奇心从未停止。在狄拉克的伟大假设之后，又有一位伟大的物理学家走入了我们的视野：埃托马略安娜。
他提出了一个问题：有没有一种物质不含反粒子，或者有没有一种物质，本身就是他自己的反物质。他提出假设，写下等式。但这次他没有那么幸运，没有人相信他，没有人见过这个公式，他本人也比较失望。从那以后，这个问题就成了基础科学中一个未解之谜。
我们有一个科学亟待解决问题列表。比如在这个列表上有什么是上帝粒子和波色子？好在在2012年日内瓦的一个实验室内上述问题有了答案。再比如引力波，它的提出人爱因斯坦就没有狄拉克这么幸运了。100年后才被人们发现有引力波这种物质，前两年才得到证实引力波的存在。这就是那个神奇的列表反物质粒子也在其中。而诸如什么物质的反物质是它本身这样的问题也就是玛丽安娜费米粒子问题，一直在这个列表的最顶端。
也许寻找玛丽安娜费米粒子是科学家们最感兴趣的问题。就像我刚才讲的一样。玛丽安娜非常失望，因为没有人相信他。
安娜是意大利人。但他登上从纳皮尔开往巴勒莫的渡船后从此消失。这是科学界的一个未解之谜。从他消失到今年已经整整80年了，不过告诉大家一个“好消息”：不仅他消失了，他撰写的文献也没有找到。这才是我今天的重点好嘛。他当时是写下了推导的公式，但是没有告诉任何人公式放置的地点。这就是为什么我们花了80年去寻找它的原因，但我们在斯坦福的科研小组提出了在哪里和怎样找到这些粒子？
2010年至2015年前，我们小组撰写了三篇文献。第一篇就是准确预测粒子的位置。令我们吃惊的是该粒子并不在大型的粒子加速器中，而在我们常见的一种半导体器件中。之前我已经介绍过了，我们小组十年前发现的一种物质，学名叫拓扑绝缘体，在这种绝缘体中放一些磁性的掺杂剂。拓扑绝缘体的材料是一些普通的绝缘体，而磁性掺杂剂是铬这种物质。这样在两种物体的表面，就会形成一个超导体。我们认为在这种条件下，能够捕捉到玛丽安娜费米粒子但仅仅这样还远远不够。我们不仅要找出粒子存在的位置，还需要找到需要测量的物理量，好在常识帮到了我们。一般情况下，粒子都有两面性，像硬币的两面，有正面，有反面，有正粒子，有反粒子。但是玛丽安娜费米粒子只存在一种粒子：只有正粒子，没有负粒子。他就是传说中的半粒子所以这个半粒子的概念，将会在我接下来的量子计算演讲中异常重要。
好了，不管怎样，玛丽安娜费米粒子是普通粒子的半粒子对于普通粒子都会存在一定的电导率或导电率。这种电导率一般都能被量子能极化，表现出零级一级二级等能级普通粒子的能级是离散的整数。所以，如果玛丽安娜费米粒子半粒子那么它表现出的能级特征应该是普通等级的1/2能级3/2能级。所以在半粒子这个系统中，你能够测量导电率，但一定要在半能级的位置进行测量。
去年在与加州大学加州洛杉矶分校的同事合作中，他们将我们提出的理论模型变为现实。在理论研究的基础上，测量了玛丽安娜费粒子的能量。在一二这种整数能级的中间会有1/2这样的半能级。1/2能级就是玛丽安娜费米粒子为半粒子的关键证据，普通粒子整数能级。玛丽安娜费米粒子半步能级去年《科学》杂志将该成果刊登后，我们好好庆祝了一番。
在那个激动的时刻，我又想起了曾经看过的电影–天使与魔鬼。我觉得我们在天堂只找到了天使，并没有找到魔鬼，所以我们称该粒子为天使粒子。所以说了这么多，到底有什么用？传统的计算机已经相当强大，但他们擅长的东西并不全面。我给两个超大的数字让计算机做加法，他秒秒钟就算出来了。例如谷歌云，他算得超级快。但如果给计算机一个数字，让她产生两个相关的数字。比如15等于5×3，但11就不能。你可能说11等于1×11，但是没有意义。如果给一个超级超级超级大的数字，它分解成两个相关的数字，像分解15一样，或者像11不能分解，传统的计算机怕是要蒙圈了。唯一的办法就是进行海量的搜索，从2开始一直搜索下去，到永远。
所以计算机运行的最大问题是什么？像谷歌云这样的计算，本质就是一个寻找最优解的过程。当机器寻找最优解时就会搜索所有的可能性，包括寻找最短路径等方式。这个过程都要花费大量的时间做最优化搜索，这会消耗大量的时间。这就是为什么计算机还需要不断更新迭代的原因？
让我们进入到量子世界看看，量子世界的秘密是什么？假设屏幕上有一对双缝，我用一把普通的手枪分别射击双缝子弹。要么通过左边，要么通过右边的缝隙。在屏幕后方你将看到两个弹痕，左右各一个。但如果你尝试通过双缝射击两个基本粒子，情况就不一样了。背后看到的不是左右两个弹痕，而是一副复杂的干涉图样。当两个粒子同时穿过双缝，干涉图样产生，他同时穿过左右两个缝隙。如果不是同时穿过，干涉则不能产生。所以量子世界就是一个平行的世界：两个粒子同一时间同时穿过两个缝隙。
很多人就在思考刚才的问题。传统计算机解决复杂问题的能力，也许可以使用一台量子计算机，同一时间同时搜索所有可能的答案。也就是说，理论上，计算机可以同时搜索所有的可能答案，然后立马给你计算答案，能够这样迅速的提高计算机的计算能力，想想就好兴奋呢！
我接下来跟大家分享一下人工智能，人工智能也是一个基本概念，60年代就已经提出来。之所以今天人工智能能够有突飞猛进的发展，主要是三个大的潮流的汇总。
- 计算能力：根据摩尔定律的迭代，每过18个月能够翻倍，如果用量子计算的话，不只是按摩尔定律18个月翻倍，而是完全从量变到质变的，我们的计算能力在不断增长，和过去40年差不多。
- 大数据：另外互联网和物联网的产生，造成大量的大数据，大数据又是帮机器能够真正学习，再好的算法，再powerful的计算机没有数据的话不能达成最佳的人工智能
- 算法：另外也有智能算法的发现，并且有突飞猛进的变化。
但是整个人工智能，大家虽然看到它突飞猛进在改变，但是我觉得还是处在非常早期，它今后的前景还是非常广阔。为什么这么讲呢？做一个简单的类比，比如我们曾经看到鸟飞，人也非常想飞，但是早期学习飞行只是简单的仿生，我们在自己的手臂上绑上翅膀。但这是简单的仿生，但真正达到飞行的境界是由于我们理解了飞行的第一性原理就是空气动力学，有了数学原理和数学方程之后就可以人为设计最佳的飞行，就是现在的飞机飞得又高又快又好，但是并不像鸟，这是非常核心的一点。可能现在人工智能是在简单地模仿人的神经元，但是我们更应该思考的，在这里面有一个基础科学重大突破的机会，就是我们真正去理解那个智慧和智能的基本原理，基本的数学原理，这样真正能够使人工智能有突飞猛进的变化。
另外大家经常问的到底用什么样的判据能够真正衡量人工智能达到人的标准？大家可能听说过图灵测试，图灵测试是说人跟机器对话，但是我们不知道大在背面到底是人还是机器。整个对话的过程中，你如果花了一天的时间根本感觉不出来，那就是说机器人好像已经达到人的水平。我是不太赞同，虽然图灵是一个伟大的计算机科学家，但是我并不赞同这个判决。人也是进化的过程，人的很多情感并不是理性的情感，要让一个理性的机器学一个非理性的人的大脑可能并不是那么容易，比如你可能故意激怒机器人的话，说不定它也不怎么会理你。
所以我想提出一个新的判据，机器怎么说哪一天真正超越人的智力？人最伟大的一点就是我们能够做科学的发现，最好的判据就是哪一天机器人真能够做科学发现，更好地指导科学发现，那一天机器就超过人了。
最近我在人工智能里面写了一篇文章，将会在美国的科学院杂志上发表，题目叫“Atom2Vec”，人类最伟大的科学发现之一，有相对论、量子力学，在化学里面最伟大的发现就是元素周期表的发现。今天的机器假定我们根本不知道元素周期表这件事情，今天的机器在没有任何辅导的情况下，他自己能不能自动发现元素周期表？我们输入的就是所有存在的科学元素的名字，把这些化合物的名字输入这个算法里面，结果这个机器自然地发现了元素周期表，它可以做出人类认为最伟大的科学发现。然后我们这个程序可以帮助我们发现新药，也可以用机器学习的办法发现新的材料。
接下来我会再跟大家分享我最后一个题目区块链，人工智能在突飞猛进发展，但是人工智能最缺少的是数据，恰恰今天数据是处在完全中心垄断的状态里面，不能帮助机器合理地学习。大家听说在一个星期之前Facebook很多个人的数据被盗一样，至少在没有被允许下就用。在今天的世界个人会产生出很多的数据，个人的基因数据、医疗数据、教育数据、行为数据等。但是很多这些数据都是掌握在中心机构里面，没有达到真正的去中心化。但是区块链的产生就是能够产生一个数据市场。所以我理想的世界，未来每人拥有自己所有的数据，这是完全去中心化的储存，这样黑客也不可能黑每个人的数据。然后用一些加密的算法在区块链上真正能够达到既保护个人的隐私，又能够做出良好的计算。
所以我把今后区块链的整个理念用一句话来描写，叫“In Math we trust”，我们的信念建筑在数学上。这张表大家应该记得，我看到很多人在照相，某一天它肯定会为整个区块链和整个IT领域里面最基础的，它既是最基础的数学，又是能导致数据市场里面保护个人隐私，又能够做出合理的统计性的计算。比如有一种非常神奇的计算方法叫零知识证明，它能够向你证明我的数据是非常有价值的，但是又不告诉你真正隐私的数据在哪。
我今天报告的题目主要是有一个核心的理念，就是要使得IT真正能够发展，既需要物理学，又需要数学。深圳在应用方面做得不错，但是由于大学还不是在全世界范围里面最领先的大学，但是我建议最核心的投资，这一类的数学和物理，跟IT领域真正有紧密的联系。
有了区块链之后，这个数据市场的产生，我们也真正能够使得社会变得更加公平，我们现在社会最大的不公平是我们容易歧视一些少数派。但是在机器学习的过程中最需要的就是那些少数派所拥有的数据。如果今天机器学习的精准率达到90%了，我要使90%达到99%，它需要的不是已经学过的数据，而是跟以前最不一样的数据。往往是少数派拥有的数据对机器学习来讲是最有价值的。一旦我们建筑在区块链的基础上，再加上这些奇妙的数学算法之后，我们就能够真正达到数据市场，在这个数据市场里面，这些少数派所拥有的数据是最可贵的。这样的话我们真正能够把一个丑小鸭变成一个美天鹅，因为丑小鸭并不是丑，只是跟别人不一样而已，在这个世界里面真正达成区块链和人工智能互相共存的世界理念，它们是会最有价值的。
整个区块链，大家对它的认识还不是最根本的第一性原理的认识。用最基本的物理学原理来讲，达到共识就是大家都同意同一个账本，就相当于在物理学里面，比如磁铁本来是杂乱无章的，但是到了铁磁态里面它们指向的方向都是同一样的。所以达到共识在自然世界里面有，在今天的人文世界里面也有。但这种现象是叫熵减的现象，达到共识，大家都朝一个方向的话，这个状态的熵是远远比杂乱无章的熵要小。达到这个共识是非常难的，因为熵总是在增的，今天你要把它减是很难的事情。在区块链上能达到一个共识系统都是用一种算法，在这上面是需要消耗能量。大家可能一开始不太理解为什么这件事情听起来不合理，一些账户为什么要耗费能量。从物理学第二定理来讲，这是非常合理的一件事情，因为达到共识本身是熵减，但整个世界的熵一定要增加，所以在达到共识的同时一定要把另外一些熵排除出去。这种没有中心化的机制跟自然世界里面磁铁从杂乱无章的状态达到有序的铁磁状态非常相像，这付出的代价也是必然的趋势。
我在这里跟大家分享，我除了做斯坦福大学教授之外，也是丹华资本创办人，我们主要的核心理念就是要把今天最前沿的科技和投资要紧密联系起来，要用第一性原理的思维方式来理解今天的世界。
我另外想讲的是我是来自学界，我们在整个人工智能领域里面需要做两个大的桥梁，一个是要学界和产业界做紧密的联系，在学界有最好的物理、最好的数学和算法的发现和发明。在今年1月8日，我非常荣幸在人民代表大会堂受到习总书记给我授予的中华人民共和国国际科技合作奖。我们整个世界科学是最无止境、最没有国界的，科学能真正把人类带到超越国界的，今天我们所要解决的人工智能、量子计算都是整个人类的问题。所以我们一定要把我们的眼光不要放在自己的局部，而是放眼整个全球和整个世界。在这个过程中，中国也是一个非常大的机遇，大家都想回答的问题，我们中国除了把应用科技做得好，能不能在中国有真正原创科技的产生。我今天跟大家介绍的这些都是最基本的物理和最基本的数学原理，我们这方面能够做好的话，而且这些原理听起来比较抽象，比如熵增原理，正负电子。但是在最基本的层次上，这是我们今天这个世界的奇妙，它真正能够给整个IT行业提供最基本的科学技术发展的前景。
支付宝打赏 
微信打赏 
