计算机行业:大模型时代的异构计算平台

研究机构:百度网讯 研究员:孙鹏 发布时间:2025-01-24

  算子对单位数据上进行的计算次数,定义为计算密度

  按计算密度根据roofline模型可以分为计算密集型和访存密集型

  GEMM通常为计算密集型算子,Elementwise通常是访存密集型算子

  期望的目标是所有算子都是计算密集型,可以充分利用算力

  计算密集型+访存密集型算子,访存密集型算子之间可以进行融合

查看研报原文

行业研究