Paper Reading -- Deep Learning Infra

比做算法的懂工程落地，比做工程的懂算法模型。

1. 编程: c++ / CUDA / 汇编 / python / Shell
2. 算法: deep learning / CV / NLP etc，训练框架，推理部署
3. 加速: AI compiler, 并行优化，profile 工具
4. 工程: 硬件体系结构，OS & linux kernel, 分布式 & k8s 集群，存储

Awesome Online Tools

AI compiler

• 知乎: 模型加速与 AI compiler 介绍

Deep Learning

大模型 & AIGC

• Learning AIGC Models

AI 落地应用

• 自动驾驶 Learning self-driving

算法相关

• learning-with-noisy-labels
• cnn-models-alexnet-vgg-and-resnet

DL 框架

• Deep Learning Framework Overview
• Understanding ONNX
• Learning PyTorch Framework

HPC - 高性能计算

Learning Maps

• perf-tools-map: 性能调优的工具 & 工具使用文档
• cpu 架构: todo
• Learning CUDA: gpu 架构 & CUDA
• 并行加速: todo (指令级并行，单独 topic？)

Good Readings

• linux-performance-analysis-and-tools
• general-matrix-multiplicatio-perf-estimate

Tutorials with code

• Hands on CUDA cuda 新手入门
• OpenMP tutorial one of the eight tutorials in the 4+ day "Using LLNL's Supercomputers" workshop

Engineering 工程化

Docker & K8S

• A Docker Tutorial for Beginners https://docker-curriculum.com/
• Docker and OCI Runtimes docker 的设计与实现方案
• nvidia-docker: Enabling GPUs in Docker nvidia-docker 的用法 & 原理

Protobuf & gRPC

(文档)

• https://developers.google.com/protocol-buffers/docs/proto3 Language Guide (proto3)
• https://developers.google.com/protocol-buffers/docs/style Protocol Buffers Style Guide
• https://grpc.io/docs/languages/cpp/basics/ gPRC Basics tutorial
• https://edgehog.blog/a-guide-to-grpc-and-interceptors-265c306d3773 gRPC interceptors

(笔记)

• Protobuf Install And Introduction
• Protobuf Best Practices
• TODO 用 gPRC + docker 发布一个完整的 web 服务 example code

编程语言

汇编

• x86 汇编
• MIPS 汇编

C++

Python & Shell

使用说明

powered by https://github.com/JackonYang/paper-pipe

从 Feishu Drive 下载已收集的论文 pdf，放在 paper-pdfs 目录下