The School of AI Beijing

• SoAI-The School of AI主页，SoAI-Beijing项目主页
• 温馨提示

  如果在你浏览的是github里的readme文件，无法查看视频，

  请点击The School of AI Beijing

目录

• 关于SoAI-About The School of AI
• 学习资料-Learning material
  • 入门必读-Must read for beginners
• 开发环境-Dev environment
  • 本地环境-Local environment
  • 云环境-Cloud environment
• 课程列表-Syllabus
• 课程内容-Contents
  • 第一课 深度学习入门指南-Intro to Deep Learning
  • 第二课 图像分类-Image Classification
• 作业汇总-Homework Summary
• 参考资料-References
• 结业答辩-Graduation presentations
• 交流分享-Share

• 合作方-Partner

关于SoAI-About The School of AI

• An international educational non-profit platform dedicated to studying, teaching and creating AI to help solve the world’s most difficult problems. Our mission is to offer a world-class AI education to anyone on Earth for free.
• Siraj对SoAI的介绍

• 北京分部有中文、英文两个版本，详情：
  • 英语分支，每周一晚在朝阳，Max主讲,github en
  • 中文分支，每周末下午17:00，清华大学，海淀区双清路双清大厦4号楼4层清华数据科学研究院，王奇文等主讲，采用翻转课堂方式 ,

SoAI-北京

• The School of AI Beijing官方论坛
• 网易课堂直播：BEIJING SCHOOL OF AI WORKSHOP

Fast.AI

• Fast.AI官方课程主页,个人注册入口

开发环境-Dev environment

• 多种方式：本地、云环境，由于不少项目需要GPU支持，建议采用云环境

本地环境-Local env

• 为什么大家都用jupyter notebook？深度学习代码只能在notebook上跑吗？
• 非也，notebook主要用于教学展示，代码分享，工程落地时，必须转成单个的python文件，按照机器学习的基本流程划分文件及目录，常见的结构如下：
  • data：数据目录，包含：
    • train.txt
    • test.txt
    • validation.txt（可选）
  • bin：核心代码，主要包含：
    • model.py：模型定义
    • feature.py：特征工程部分，离线训练和在线评估都有
    • train.py：模型训练代码
    • predict.py：在线预测（inference，推断）
  • model：模型存放
  • log：日志目录
    • 训练日志，如tensorboard日志
  • conf：配置文件
  • common：公共库、组件
    • eva.py：效果评估

云环境-Cloud env

• Google colab，与github直接打通，免费GPU（Tesla T4）
  • 如何用 Google Colab 练 Python
  • Google Colab 免费GPU服务器使用教程
• 如果无法访问，建议使用Kaggle，fastai接入指南,从0到1走进kaggle
  • 【2019-05-12】kaggle注册时可能收不到验证码，原因是伟大的墙，解决方法：①找个v-p-n②kaggle注册无法激活怎么办
• fastai官方代码库

学习资料-Learning material

• 第1课的官方视频，图像分类-需vpn,bilibili-无需vpn,第1课的更新,第一课笔记

入门必读-Must read for beginners

• 知识体系(参考第一次课：深度学习入门指南)
• 
• 如何高效学习
  • 知乎：为什么大多数人宁愿吃生活的苦，也不愿吃学习的苦？（主动吃苦）
  • 学习金字塔:
    • 主动学习＞被动学习
    • 教授＞总结＞实践＞看书>听课
    • 
  • 费曼技巧：终极快速学习方法
  • 怎么成为大牛？走出舒适区，进入学习区
  • 大脑的学习之道：图谱结构+注意力+联想记忆+推理反思
  • 
• 数学基础：（选读，如果想深入学习，就必读）
  • 线性代数（35%）
    • 资料：「Deep Learning」读书系列分享第二章：线性代数-分享总结 【文字版】, 线性代数笔记
  • 概率与信息论（25%）
    • 资料：「Deep Learning」读书系列分享第三章：概率和信息论-分享总结，【文字版】
    • 其他资料：Deep Learning解读合辑-国庆特辑, 视频版
• Python生态圈
  • numpy, 矩阵运算工具，资料如下：
    • 70个NumPy分级练习：用Python一举搞定机器学习矩阵运算
    • 用python做科学计算——Numpy快速处理数据
    • python numpy笔记
    • 知识点总结：脑图笔记
  • pandas，表格数据分析工具，资料如下：
    • Pandas学习笔记-常用功能
    • 十分钟搞定pandas
    • 知识点总结：脑图笔记
  • matplotlib,画图工具，资料如下：
    • matplotlib官方教程
    • matplotlib核心剖析
    • 知识点总结：脑图笔记
• 机器学习入门：
  • 机器学习基本流程
    • 
  • 可视化讲解机器学习
  • Google机器学习速成课
  • Scikit-learn官网,中文文档
  • Sklearn快速使用及经典算法实现
• 深度学习入门：
  • 布朗学院新鲜出炉，交互式图解人工智能
  • Google PlayGround神经网络训练在线演示,汉化版，手写数字识别3D交互体验
• 神经网络讲解【3Blue1Brown优质讲解】，该系列一共4个视频，第一个如下：
  • 神经网络Web Demo，可在线体验神经网络训练过程
• 神经网络3D仿真特效（多种网络结构对比）
• 手写数字识别在线体验

课程列表-Syllabus

Fast.AI系列速成实战课程，时间安排如下：

• 注意：这是github page搭建的主页，如想进入github，请点击“View on Github”，示例如下：
• 
• 历次ppt课件资源

最新课程安排见project区，Fastai中文笔记，kaggle中文代码

课程内容-Contents

• 本教程以fastai的速成课为蓝本（注意：需要vpn，如果没有，请往下看，找bilibili上的视频）

• 如有问题，可以去SoAI论坛提问

• ppt资源

  第一课 深度学习入门指南-Intro to Deep Learning

• 深度学习入门全貌，请仔细看

  第二课 图像分类-Image Classification

• 主题：fastai课程的第一课进行讨论：图像分类。
• 时间：于4月27日星期日下午5点举行
• 地点：双清路77号院双清大厦4号楼4层清华数据科学研究院

议程：

• 介绍fastai第1课的必要资源,如何获取fastai的资源
• 学生现场演示第一课作业
• 自由问答, 遇到困难

视频资料：（来自哔哩哔哩）

作业汇总-Homework Summary

• 作业提交指南
• Homework
• 分线上和线下渠道，将自己的作业整理到github或colab，去project作业汇总区新建自己的卡片
• 也可以去Fast.AI论坛-SoAI区提问
  • 【注意】如何在issue中提问

参考资料-References

CNN和CV

1. iris数据集+机器学习实战
2. CNN简介
   • 计算机视觉
     • YJango的卷积神经网络——介绍,SIFT与HOG特征提取
     • 李飞飞《让冰冷的机器读懂照片背后的故事》,TED视频《我们怎样教计算机理解图片》,网易公开课：《李飞飞：如何教计算机理解图片》
   • CNN基本结构
     • 《神经网络与深度学习》吴岸城,Deep Learning（深度学习）学习笔记整理系列之（一）,Andrew Ng 深度学习(Deep Learning)介绍
     • YJango的卷积神经网络——介绍,卷积神经网络工作原理直观的解释？
     • Yann LeCun连发三弹：人人都懂的深度学习基本原理（附视频）
     • 卷积神经网络中用1*1 卷积有什么作用或者好处呢？
     • 手写数字识别3D交互体验
     • CNN发展历史,台大李宏毅：一天搞懂深度学习
3. 应用
   • 目标检测,作业：Tensorflow lite在移动设备上的运行Demo
   • 人脸识别,作业：python的人脸识别工具包face recognition
   • 参考资料：Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression,2D图像三维重建Demo体验地址,表情替换，DeepWarp Demo Page
   • 颜值预测，一个基于 TensorFlow 的「颜值评分」开源项目：FaceRank
4. 反思
   • Geoffrey Hinton多伦多大学演讲：卷积神经网络的问题
   • Hinton的Capsule论文全公开！首发《胶囊间的动态路由》原文精译，了解Hinton的胶囊网络ㅣ第一部分：直觉

结业答辩-Graduation presentations

介绍 Introduction

• 时间：2019-06-16
• 中文分支的往期内容及课件，见地址
• 答辩现场，由于学员较多，时间长，从16:00-19:40，衷心感谢各位坚持到最后
  • Clear image,Clear image

中文分支 Chinese branch

• 第一位 邢畅, xingchang, 16:07，学习总结，在地理信息系统里的应用
  • 介绍了GIS领域的应用，整理了详细的学习笔记、脑图
• 第二位 张天奇，Tianqi.Zhang，16:27，kaggle比赛，基于新闻语料的股价涨跌预测，Eric Zhang
  • 成绩：356/2800, ≈13%，4个人的团队，负责特征工程+多线程实现，xgboost主要负责分类
  • 提问：
    • xGBoost的原理，既可以用于分类，还可以用于回归
    • 代码里将的metric用的是MSE，而xgb导入的是分类器，看似矛盾？
• 第三位 五个人，推荐资料：数学基础张宇36讲，课程内容回顾；
  • 蒋宝尚，mnist的python实现，文本分析（大爆炸+华为+五月天）
  • 周启红，学术文章关键词提取，学习过程中遇到的坑儿
  • 王瑞华，视频汇报
• 第四位 黄安付，17:15，专题报告：fit_one_cycle()详解
  • 优化算法，鞍点（saddle point），病态矩阵，粒子群算法
  • 提问：动量解释，附加SGD系列优化算法演进，An overview of gradient descent optimization algorithms,How to Escape Saddle Points Efficiently,SGD算法比较，如下图，注意：v是动量部分，g是梯度部分
• 第五位 李靖华，17:36，学习总结
  • git，学习方法总结
  • 实习经历，4w张图片分类，用代码1天完成，做事情时先别急着动手
  • 成功拿到创新工场的实习机会，新人到职场的华丽蜕变
• 总结
  • 答辩里的几个技术点可以继续深挖：
    • ①sgd各种算法演化，动量和梯度分别对应哪一块？这道题是新手的进阶题，打怪升级的典型门槛
    • ②kaggle项目里的矛盾点要必要澄清下，基于新闻预测股价，为什么用xgb分类？特征工程部分可以继续系统化，不满足于简单的数据处理
    • ③实习经历里的4w张图像标注任务可以补充描述下，说不定有更好的办法

英文分支 English branch

• 张子涵, I wrote a short article with some doodling on neural networks and how they work. Here is the link if you want to check it out medium文章
• Mohamed Amine Aguir的Convolutional Neural Network
• Nabil Affo的Uber ride评论分类项目，jupyter代码, Medium文章Loss functions in machine learning and deep learning
• Alexander R Kivaisi, Categorizing Soccer Teams（代码见资料汇总区）, Medium文章Data Augmentation
• Min Wang(汪敏)
• Yuanyuan，CFAIR-10图像分类

资料汇总-Resources

• 部分学员的答辩整理已收集到目录, 欢迎大家积极分享自己的资料，共同学习，添加方式，回复本帖
• Part of the resources have been collected to this address, it’s recommended to share your own ppt/code/post here by reply bellow, learn from each other
• 大部分基础知识以及扩展资料都在之前的课程ppt中,多看SoAI主页The School of AI Beijing，毕业了并不代表学完了，或者真的学好了，请大家有空多温习，少走弯路

交流分享-Share

欢迎大家入群分享、交流！

• Fast.AI论坛-SoAI北京区（英文为主）
• The School of AI 北京中文版 QQ群, 王奇文, 联系我？wqw547243068@163.com, qq: 547243068

合作方-Partners

• 大数据文摘+清华数据科学院研究院

• 举办地点：清华大学
• 时间：每周末一次，如想参加，请先文摘助手微信，往期海报如下：

评论区