一些奇奇怪怪的hpc技术栈

因为大多数知识都是通过网络了解,有一些奇怪且必须了解且有前景的技术或是与HPC相关的技术栈会被记录在此

模型压缩

• 量化
• 蒸馏
• 剪枝
• 二值化

模型转换

• onnx

模型推理

• tensorRT
• TVM

推理优化

算子开发

• JIT: just in time,一款编译器
• xbyak: 类汇编的C
• RISC-V: 一个初学的精简指令集
• ARMv8: 之后主体采用armv8的汇编指令进行算子ILP
• cutlass: 主要对运用TensorCore对密集计算进行优化.编写算子本质上是密集计算的性能问题,要写一个极致优化的算子is hard,cutlass可以提供一个模板库来实现高性能的密集计算算子
  • 参考资料: cutlass相关教程系列

AscendC是华为公司开发的一款编程语言