asc.language.adv.get_mm_config

asc.language.adv.get_mm_config(*args, **kwargs) → MatmulConfig

灵活的自定义Matmul模板参数配置。

对应的Ascend C函数原型

template <MatmulConfigMode configMode, typename... ArgTypes>
__aicore__ inline constexpr MatmulConfig GetMMConfig(ArgTypes&&... args)

参数说明

MatmulShapeParams参数：

  • single_core_m: 单核内M轴shape大小，以元素为单位。

  • single_core_n: 单核内N轴shape大小，以元素为单位。

  • single_core_n: 单核内K轴shape大小，以元素为单位。

  • basic_m: Matmul计算时base块M轴长度，以元素为单位。

  • basic_n: Matmul计算时base块N轴长度，以元素为单位。

  • basic_k: Matmul计算时base块K轴长度，以元素为单位。

MatmulQuantParams参数：

  • is_per_tensor: A矩阵half类型输入且B矩阵int8_t类型输入场景，使能B矩阵量化时是否为per tensor。

    • True：per tensor量化。

    • False：per channel量化。

  • has_anti_quant_offset: A矩阵half类型输入且B矩阵int8_t类型输入场景，使能B矩阵量化时是否使用offset系数。

MatmulBatchParams参数：

  • is_n_batch: 是否多Batch输入多Batch输出。仅对BatchMatmul有效。参数取值如下：

    • False：不使能多Batch（默认值）。

    • True：使能多Batch。

  • batch_mode: 用于设置参数BatchMode。 batchMatmul场景中Layout类型为NORMAL时，设置BatchMatmul输入A/B矩阵的多batch数据总和与L1 Buffer的大小关系。 参数取值如下： - batchMode::BATCH_LESS_THAN_L1：多batch数据总和<L1 Buffer Size； - batchMode::BATCH_LARGE_THAN_L1：多batch数据总和>L1 Buffer Size； - batchMode::SINGLE_LARGE_THAN_L1：单batch数据总和>L1 Buffer Size。

  • is_bias_batch: 批量多Batch的Matmul场景，即BatchMatmul场景，Bias的大小是否带有Batch轴。参数取值如下： - True: Bias带有Batch轴，Bias大小为Batch * N（默认值）。 - False: Bias不带Batch轴，Bias大小为N，多Batch计算Matmul时，会复用Bias。 - MatmulFuncParams参数：

  • intrinsics_limit: 用于设置参数intrinsicsCheck。参数取值如下： - False：当左矩阵或右矩阵在单核上内轴大于等于65535时，不使能循环执行数据的搬入（默认值）； - True：当左矩阵或右矩阵在单核上内轴大于等于65535时，使能循环执行数据的搬入。

  • en_vec_nd2_nz: 使能通过vector指令进行ND2NZ。参数取值如下： - False：不使能通过vector指令进行ND2NZ（默认值）； - True：使能通过vector指令进行ND2NZ。

  • enable_l1_cache: 是否使能L1 Buffer缓存Unified Buffer计算块。参数取值如下： - True: 使能L1 Buffer缓存Unified Buffer计算块。 - False: 不使能L1 Buffer缓存Unified Buffer计算块。

  • do_mte2_preload: 在MTE2流水间隙较大，且M/N数值较大时可通过该参数开启对应M/N方向的预加载功能，开启后能减小MTE2间隙，提升性能。 预加载功能仅在MDL模板有效（不支持SpecialMDL模板）。参数取值如下： - 0： 不开启（默认值）。 - 1: 开启M方向preload。 - 2: 开启N方向preload。

  • iterate_order: 用于设置参数iterateOrder。

  • schedule_type: 用于设置参数scheduleType。配置Matmul数据搬运模式。参数取值如下： - scheduleType::INNER_PRODUCT：默认模式，在K方向上做MTE1的循环搬运； - scheduleType::OUTER_PRODUCT：在M或N方向上做MTE1的循环搬运。

  • enable_reuse: SetSelfDefineData函数设置的回调函数中的dataPtr是否直接传递计算数据。参数取值如下： - False：直接传递计算数据，仅限单个值。 - True：传递GM上存储的数据地址信息。

  • enable_ub_reuse: 是否使能Unified Buffer复用。参数取值如下： - False：使能Unified Buffer复用。 - True：不使能Unified Buffer复用。

  • is_partial_output: 是否开启PartialOutput功能。参数取值如下： - False：开启PartialOutput功能，一次Iterate的K轴不进行累加计算，Matmul每次计算输出局部baseK的baseM * baseN大小的矩阵分片。 - True：不开启PartialOutput功能，一次Iterate的K轴进行累加计算，Matmul每次计算输出SingleCoreK长度的baseM * baseN大小的矩阵分片。

  • is_a2_b2_shared: 是否开启A2和B2的全局管理，即控制所有Matmul对象是否共用A2和B2的double buffer机制。参数取值如下： - True：开启。 - False：关闭（默认值）。

  • is_enable_channel_split: 是否使能channel_split功能。参数取值如下： - False：默认值，不使能channel_split功能，输出的分形为16*16。 - True：使能channel_split功能，输出的分形为16*8。

  • enable_kdim_reorder_load: 是否使能K轴错峰加载数据。 - False：默认值，关闭K轴错峰加载数据的功能。 - True：开启K轴错峰加载数据的功能。

返回值说明

MatmulConfig结构体。

调用示例

# 获取MatmulConfig模板为Norm模板
config_mode = asc.adv.MatmulConfigMode.CONFIG_NORM
# single_core_m、single_core_n、single_core_k、basic_m、basic_n、basic_k
shape_params = asc.adv.MatmulShapeParams(128, 128, 128, 64, 64, 64)
# B矩阵量化时为per channel且不适用offset系数
quant_params = asc.adv.MatmulQuantParams(False, False)
# 不使能多Batch
batch_params = asc.adv.MatmulBatchParams(False)
#不进行芯片指令搬运地址偏移量校验，使能通过vector进行ND2NZ
func_params = asc.adv.MatmulFuncParams(False, True)
mm_config = asc.adv.get_mm_config(shape_params, quant_params, batch_params, func_params, config_mode)