Skip to content

Commit 6ca6584

Browse files
docs: add resource summaries for various AI and machine learning courses
1 parent a558e26 commit 6ca6584

File tree

25 files changed

+323
-274
lines changed

25 files changed

+323
-274
lines changed

docs/AI-introduction/resources.md

Lines changed: 6 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,6 @@
1+
# 资源汇总
2+
3+
## 公开课
4+
5+
- [UCB CS188: Introduction to Artificial Intelligence](https://inst.eecs.berkeley.edu/~cs188/fa24/)
6+
- [Stanford CS221 Artificial Intelligence: Principles and Techniques](https://stanford-cs221.github.io/autumn2024/)

docs/AI4science/resources.md

Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,5 @@
1+
# 资源汇总
2+
3+
## 公开课
4+
5+
- [MIT Deep learning in Life Science](https://mit6874.github.io/)

docs/compiler/resources.md

Lines changed: 10 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,10 @@
1+
# 资源汇总
2+
3+
## 课程
4+
5+
- [STJU CS 2612, Programming Languages and Compilers](https://jhc.sjtu.edu.cn/public/courses/CS2612/)
6+
- [Crafting Interpreters](https://www.craftinginterpreters.com/contents.html)
7+
8+
## 博客
9+
10+
- [Let’s Build A Simple Interpreter](https://ruslanspivak.com/lsbasi-part1/)
Lines changed: 6 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,6 @@
1+
# 资源汇总
2+
3+
## 公开课
4+
5+
- [Hugging Face Diffussion Course](https://huggingface.co/learn/diffusion-course/unit0/1)
6+
- [NTU: Introduction to Generative AI](https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php)

docs/deep-learning-system/CMU-10-414.md

Lines changed: 0 additions & 14 deletions
This file was deleted.

docs/deep-learning/resources.md

Lines changed: 16 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,32 +1,42 @@
1-
# 其他资料
1+
# 资源汇总
22

3-
## Neural Network
3+
## 公开课
4+
5+
- [UCB CS W182/282A: Designing, Visualizing and Understanding Deep Neural Networks](https://cs182sp21.github.io/)
6+
7+
## 书籍
8+
9+
- [Practical Deep Learning for Coders](https://course.fast.ai/)
10+
11+
## 博客
12+
13+
### Neural Network
414

515
1. [Neural Networks and Deep Learning](http://neuralnetworksanddeeplearning.com/):一个简单易懂的深度学习教程,围绕着数字识别这一深度学习中的经典问题,带领你学会多层感知机、反向传播算法、卷积神经网络;这门课还会向你直观解释多层感知机中的反向传播算法是如何得来的、为什么神经网络可以拟合任意函数、为什么神经网络难以训练等等问题。
616
1. <https://github.com/mnielsen/neural-networks-and-deep-learning>:作业和问题的代码实现,使用 Python2
717
2. <https://github.com/MichalDanielDobrzanski/DeepLearningPython>:由于 Python2 已经过时,因此有人使用 Python3 实现了 2 中的代码。尽管如此,它使用的 Theano 库如今看来也显得过时了。
818

9-
## Pytorch
19+
### Pytorch
1020

1121
1. [Deep Learning with PyTorch: A 60 Minute Blitz](https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html):Pytorch 官方的一套快速上手教程。
1222
2. [Learn PyTorch for Deep Learning: Zero to Mastery book](https://www.learnpytorch.io/):一套详细的 pytorch 教程,以项目的方式教会你如何使用 pytorch。
1323

14-
## RNN、GRU、LSTM
24+
### RNN、GRU、LSTM
1525

1626
1. [Written Memories: Understanding, Deriving and Extending the LSTM](https://r2rt.com/written-memories-understanding-deriving-and-extending-the-lstm.html),这个教程是我看到过的关于 LSTM 的写得最好的教程,作者以人类阅读、翻译的例子作为类比,形象地展示出 LSTM 产生过程中的每一个动机——先从 RNN 入手,紧接着分析其缺陷,提出生活中的例子,从而进一步开发出 LSTM 的原型机;再指出原型机在实际中的表现,并分析其原因,在弥补缺陷的同时自然的引申出三种解决方案,其中就包括了 GRU 和 pseudo LSTM;最后将 pseudo LSTM 与原始的 LSTM 进行比较,并指出原始 LSTM 的缺陷与优点,接着提出一个能够利用原始 LSTM 优点的变体 "The LSTM with peepholes"。在博客的最后,作者还介绍了 LSTM 的基本思想在 residual network、highway network 以及 Neural Turing Machine 中的应用,作为对 LSTM 的扩展延伸。
1727
2. [Understanding LSTM Networks](https://colah.github.io/posts/2015-08-Understanding-LSTMs/)[现代神经循环网络(d2l)](https://zh-v2.d2l.ai/chapter_recurrent-modern/index.html):包含一些结构的可视化以及代码实现,具体分析上并不如第一篇教程,不过可以加深印象。
1828
3. [LONG SHORT-TERM MEMORY](https://www.bioinf.jku.at/publications/older/2604.pdf):LSTM 的原始论文,有兴趣的话可以看看
1929
4. [NLP From Scratch: Classifying Names with a Character-Level RNN](https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html)[NLP From Scratch: Generating Names with a Character-Level RNN](https://pytorch.org/tutorials/intermediate/char_rnn_generation_tutorial.html):学习使用 Pytorch 写代码,了解基本框架。如果你需要有关 tensorflow 的代码教程的话,可以看看上面 2.a 中教程的作者笔下三篇有关 tensorflow 实现的博客。
2030

21-
## Attention
31+
### Attention
2232

2333
1. [Attention? Attention!](https://lilianweng.github.io/posts/2018-06-24-attention/):一篇讲述 Attention 的博客,后半段介绍了 Transformer
2434
2. [Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)](https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/):可视化地展示在 Neural Machine Translation 中 Attention 的使用,直观且形象。
2535
3. [d2l - 注意力机制](https://zh-v2.d2l.ai/chapter_attention-mechanisms/index.html):动手学深度学习中关于注意力机制的讲解,可结合其代码进行实践
2636
4. [Illustrated: Self-Attention](https://colab.research.google.com/drive/1rPk3ohrmVclqhH7uQ7qys4oznDdAhpzF):动图演示 self-attention,直观形象
2737
5. [NLP From Scratch: Translation with a Sequence to Sequence Network and Attention](https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html):学习使用 Pytorch 写 Attention 机制。
2838

29-
## Transformer
39+
### Transformer
3040

3141
1. [GPT 是什么?直观解释 Transformer | 深度学习第 5 章](https://www.bilibili.com/video/BV13z421U7cs?vd_source=c9e11661823ca4062db1ef99f7e0eee1)[直观解释注意力机制,Transformer 的核心 | 深度学习第 6 章](https://www.bilibili.com/video/BV1TZ421j7Ke?vd_source=c9e11661823ca4062db1ef99f7e0eee1):3Blue1Brown 的直观理解 GPT 视频,<del>使我注意力集中</del>。由于整个系列的视频还没有全部公布,我只放这两个链接在这里,后续续集请自行搜索。
3242
2. [How Transformers Work](https://towardsdatascience.com/transformers-141e32e69591):在这篇博客的前半部分 RNN、LSTM 等框架进行了回顾,在后半部分介绍了 Transformer 的工作原理。另外,这篇博客引用了大量其它博客的内容,推荐都看一看。其中 [The Illustrated Transformer](https://jalammar.github.io/illustrated-transformer/) 这篇博客和 3.d 中的博客是同一个作者写的,都关于可视化,直观且易于理解。
Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,5 @@
1+
# 资源汇总
2+
3+
## 公开课
4+
5+
- [GDL Course](https://geometricdeeplearning.com/)

docs/index.md

Lines changed: 20 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -62,6 +62,19 @@ statistics: True
6262
b --> c --> d --> e --> f
6363
```
6464

65+
### 内容概览
66+
67+
目前为止,从课程角度,本书可以粗略地划分为如下几个部分:
68+
69+
1. **编程基础**:包括 C++、Python、数据结构与算法三门课程,建议必须学习
70+
2. **数学基础**:包括微积分、线性代数、离散数学、概统,建议必须学习,但不必过于深入
71+
3. **数学进阶**:包括随机过程、优化理论、信息论,按需学习即可
72+
4. **算法**:包括机器学习、深度学习等一系列人工智能算法课程,其中机器学习、深度学习建议必须学习,其他的按需学习即可
73+
5. **系统**:包括体系结构、操作系统、mlsys 等课程,按需学习即可
74+
6. **科研**:包括一些科研心得博客等
75+
76+
从内容形式角度,本书包含了公开课、博客、论文等形式的资料,其中公开课占多数。
77+
6578
### 一种可能的食用姿势
6679

6780
> 这是我个人的食用姿势,感觉味道不错,应该可以作为参考。
@@ -75,6 +88,13 @@ statistics: True
7588

7689
此外,[SAST skill docs](https://docs.net9.org/ai-ml/pytorch/)中也有关于人工智能学习的建议,参考价值很大。
7790

91+
### 这本书的目标
92+
93+
本书的目标为
94+
95+
1. 能够在 AI 相关领域为初学者提供充足的帮助与指导
96+
2. 并尽可能的收录互联网上 AI 相关的优秀资源。
97+
7898
## 建立交流群
7999

80100
本书支持讨论功能,请在页面末尾的讨论区进行讨论。另外,笔者创建了一个 QQ 交流群:793679786,也可以选择自行组建群交流群。如果你想与笔者联系,欢迎向作者[发送邮件](mailto:[email protected])
Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,5 @@
1+
# 资源汇总
2+
3+
## 公开课
4+
5+
- [The Information Theory, Pattern Recognition, and Neural Networks](https://www.inference.org.uk/itprnn/)

docs/llm/resources.md

Lines changed: 21 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,21 @@
1+
# 资源汇总
2+
3+
## 公开课
4+
5+
- [(Stanford) CS324 - Large Language Models (win22)](https://stanford-cs324.github.io/winter2022)
6+
- [(Stanford) CS25: Transformers United V4](https://web.stanford.edu/class/cs25/index.html)
7+
- [(Princeton) COS 597G (Fall 2022): Understanding Large Language Models](https://www.cs.princeton.edu/courses/archive/fall22/cos597G/)
8+
- [(ETH Zurich) Large Language Models, Spring 2024](https://rycolab.io/classes/llm-s24/)
9+
- [(WING.NUS) Large Language Models](https://wing-nus.github.io/cs6101/)
10+
- [(CMU) 11-711 Advanced NLP](https://phontron.com/class/anlp2024/)
11+
- [(JHU) CS 601.471/671 NLP: Self-supervised Models](https://self-supervised.cs.jhu.edu/sp2024/)
12+
13+
## 博客
14+
15+
- [(Stanford) The Annotated Transformer](https://nlp.seas.harvard.edu/annotated-transformer/)
16+
- [Huggingface Agent Course](https://github.com/huggingface/agents-course)
17+
18+
## 仓库
19+
20+
- [llama3 from scratch](https://github.com/naklecha/llama3-from-scratch)
21+
- [llm-course](https://github.com/mlabonne/llm-course)

0 commit comments

Comments
 (0)