别笑,你也坚持不到第二关
01
27
很好,这个信息非常关键。4090 + Python 熟 + C++ 有基础 + 框架不熟,这在“推理优化工程师候选人”里是非常好的起点,而且路线应该明显偏向 “先框架 → 再 CUDA → 最后深度 C++”,而不是反过来。 下面我给你一条
2026-01-27 Austin
27
训练/推理 优化 训练/推理 优化
因为大模型只是比较杂比较乱 我又不太擅长零散的记忆 所以试图把训练和推理的一些知识以一种顺序让自己能串联起来 训练首先训练模型的步骤我们走一个完整流程 文本->张量->loss->梯度->参数更新->check
2026-01-27 Austin
27
plan-now plan-now
看你这张 JD,它要的”Infra 实习生”其实很明确:大模型/多模态/视频生成的训练与推理基础设施 + 性能优化 + 高并发高可用,并且点名了 算法优化、通信优化、调度优化、计算与通信 overlap。你可以按下面这条
2026-01-27 Austin
20
大模型基础知识 大模型基础知识
补短 对于模型训练过程中,如果出现样本标签数据分布极其不均衡,通常会采取什么方法来解决问题问题本质loss会被多数类主导,会使得模型只要学会猜多数类就能得高分所以核心目的是:让模型在训练时多关心少数类 解决方式数据层面1.过采样(overs
2026-01-20 Austin
20
DiT DiT
又回顾了一下DiT运作的方式发现其中有的地方我还不太熟,熟悉之后再大概记录一下 依旧还是像以前的博客一样,左边写被处理的东西,右边括号内写处理方式 训练img(vae encode)latent representation(加噪+time
2026-01-20
15
数学 数学
线性代数稍微回顾线性代数得到了一些以前我没搞懂或者我看的教学视频/文章没说清楚的结论矩阵乘法举例: | a11 a12 | | x11 | = | a11x11 + a12x21 || a21 a22 |
2026-01-15 Austin
15
以下是gpt的建议 想成为“大模型高手”,数学上你需要的不只是“会算”,而是能把模型行为、训练动态、数值稳定性、泛化用一套可操作的数学语言讲清楚。下面给你一条完整路线:每一阶段学什么、为什么、怎么练、练到什么程度算过关。默认你已经有基本微积
2026-01-15 Austin
15
2026-01-15 Austin
14
14
to learn to learn
稍微写一下自己想学点什么好了算子优化通信优化调度优化计算与通信overlapc++/pythoncuda编程模型了解Tensor core、WGMMA、Shared Memory等底层细节并行算法设计与优化GEMM、注意力、MoE
2026-01-14 Austin
14
nona vllm源码解读 (未完成) nona vllm源码解读 (未完成)
题主代码只会一些基本语法和刷了几道算法题的程度,直接嗯看代码实在是困难,于是采用这种笨方法边学边记录每一块的功能 就先局部局部的看着吧,知道每一块干嘛的,之后我再另写一篇看能不能从全局上有什么收获 我觉得我应该听听ai提供的学习路线建议,v
2026-01-14 Austin
12
MeshFormer论文解读 MeshFormer论文解读
这是题主第一次写关于论文的博客,如果有误的地方请联系题主修改 MeshFormer 解读:用「显式 3D 偏置」重新思考稀疏视角 3D 重建 论文:MeshFormer: High-Quality Mesh Generation with
2026-01-12
1 / 2