深度学习入门资料分享
就是一些深度学习相关资料的分享
基础学习资料：
目标是掌握基本理论（深度学习尚未有足够成熟的理论），掌握pytorch框架，与常用的库，numpy、pandas等
动手学习深度学习（偏工程，pytorch框架）
电子版教程 https://zh.d2l.ai/chapter_preface/index.html，纸质版已发售
参考视频：【李沐】动手学深度学习_哔哩哔哩_bilibili
最新发布一本英文教材，可以参考（偏理论）
https://udlbook.github.io/udlbook/
统计学习方法，李航（纯理论，有空可以看看）
机器学习西瓜书，配合南瓜书（纯理论，有空可以看看）
博客：
不分先后，比较零散
【OpenLLM 001】大模型的基石-架构之争，decoder is all you need? - 知乎
Llama from scratch (or how to implement a paper without crying) | Brian Kitano
分析transformer模型的参数量、计算量、中间激活、KV cache - 知乎
nlp中的Attention注意力机制+Transformer详解 - 知乎
论文：
做科研主要看研究领域的经典论文，有开源代码的优先，从复现其代码开始
大语言模型相关 LLM：
GPT: Improving Language Understanding by Generative Pre-Training
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Transformer: Attention Is All You Need
LLaMA: Open and Efficient Foundation Language Models
Efficient Streaming Language Models with Attention Sinks
Efficiently Scaling Transformer Inference
Llama 2: Open Foundation and Fine-Tuned Chat Models