LLaMA模型相关内容Step By Step,移除PyTorch,限于NumPy或无依赖。
这是一个按需更新的系列。
- 模型相关介绍
- 推理优化:KV Cache
- 推理优化:Continous Batch
- GEMM:GEMM基础
- 推理优化:Paged Attention
- 待确认……
- LLaMA + KV Cache: https://meeting.tencent.com/crm/2MeMG3Ye88
- 如果你想参与到项目中来欢迎查看项目的 Issue 查看没有被分配的任务。
- 如果你发现了一些问题,欢迎在 Issue 中进行反馈🐛。
- 如果你对本项目感兴趣想要参与进来可以通过 Discussion 进行交流💬。
如果你对 Datawhale 很感兴趣并想要发起一个新的项目,欢迎查看 Datawhale 贡献指南。
姓名 | 职责 | 简介 |
---|---|---|
长琴 | 项目负责人 |
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
注:默认使用CC 4.0协议,也可根据自身项目情况选用其他协议