-
Notifications
You must be signed in to change notification settings - Fork 1k
/
Copy pathtest_reorder_all
97 lines (74 loc) · 1.88 KB
/
test_reorder_all
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
#
# f32 <-> s32 <-> s8 <-> u8
#
--reset
--sdt=f32,s32,s8,u8
--ddt=f32,s32,s8,u8
--attr-scales=src:per_dim_1
--stag=abx,axb,aBx4b,aBx8b,aBx16b
--dtag=abx,axb,aBx8b,aBx16b
2x64x3x3
--stag=abx,axb,aBx16b
--dtag=abx,axb,aBx16b
--attr-scales=,src:per_dim_1
--attr-post-ops=sum:0.5
2x64x1x1
--attr-scales=src:per_dim_0
--stag=abx,xba
--dtag=abx,xba
2x64x3x3
--attr-scales=src:per_dim_01
--stag=abx,gOIhw16i16o
--dtag=abx,gOIhw16i16o
3x32x32x2x2
# blocked with tail
--stag=aBx4b,aBx8b --dtag=aBx16b 2x40x3x3
--stag=aBx16b --dtag=aBx8b 2x40x3x3
--stag=ab --dtag=AB16b16a2b 16x63
--attr-scales=src:common:0.25
--stag=abx,axb
--dtag=abx,axb
2x8x8 # special 8x8 kernel
--stag=abx,axb,aBx4b,aBx8b,aBx16b
--dtag=abx,axb,aBx4b,aBx8b,aBx16b
2x64x3x3
--stag=abx,xba
--dtag=abx,xba
2x64x3x3
# Matmul blocked B layouts
--sdt=f32 --ddt=f32
--stag=ab,ba --dtag=BA16a16b,BA16a32b,BA16a48b,BA16a64b 89x73
--dtag=ab,ba --stag=BA16a16b,BA16a32b,BA16a48b,BA16a64b 89x73
--stag=abc,acb --dtag=aCB16b16c,aCB16b32c,aCB16b48c,aCB16b64c 57x89x73
--dtag=abc,acb --stag=aCB16b16c,aCB16b32c,aCB16b48c,aCB16b64c 57x89x73
# brdgmm layouts
--sdt=f32 --ddt=f32
--stag=axb --dtag=decbA8a 2x17x12x16x16 65x16x16x5x5
# simple nChw{8,16}c impl
--sdt=f32 --ddt=f32
--stag=aBx4b,aBx8b --dtag=aBx16b 2x71x16x16 2x72x16x16 2x73x16x16
--stag=aBx16b --dtag=aBx8b 2x71x16x16 2x72x16x16 2x73x16x16
# f16
--batch=test_reorder_float16
# bf16
--batch=test_reorder_bfloat16
# fp8
--batch=test_reorder_float8
# int4
--batch=test_reorder_int4
# Run-time
--batch=harness_reorder_runtime
# Saturation
--batch=harness_reorder_saturation
# Weights formats for AMX kernels
--batch=harness_reorder_amx
# Compensation
--batch=harness_reorder_compensation
# Regression
--batch=harness_reorder_regression
# Scales
--batch=harness_reorder_scales
# Decompression quantization
--batch=harness_reorder_decompression
# large problems
--batch=harness_reorder_large