Grouped convolution trong AlexNet: kiểm tra groups=2 bằng PyTorch

Grouped convolution trong AlexNet: kiểm tra groups=2 bằng PyTorch

Vì sao lớp convolution thứ hai của AlexNet nhận 96 kênh nhưng mỗi kernel chỉ có độ sâu 48? Lớp này chia đầu vào thành hai nhóm. Mỗi nhóm có 48 kênh đầu vào và tạo 128 trong tổng số 256 kênh đầu ra. Trong PyTorch, ta biểu diễn kết nối này bằng nn.Conv2d(96, 256, 5, padding=2, groups=2).

Thay groups=2 bằng groups=1 giữ nguyên kích thước tensor đầu ra nhưng thay đổi cách các kênh kết nối. Hai lớp có trọng số khác kích thước, nên checkpoint của lớp này không thể nạp trực tiếp vào lớp kia. Ta có thể kiểm chứng cả hai điều bằng một lớp nhỏ chạy trên CPU.

Đọc Conv2 của AlexNet từ số kênh và kích thước kernel

Trong bài báo AlexNet gốc, mục 3.5 và Hình 2 mô tả các lớp convolution 2, 4 và 5 chỉ nối tới các feature map trên cùng GPU. Conv3 đọc tất cả feature map từ Conv2. Cách chia nhóm phản ánh sơ đồ kết nối trong kiến trúc gốc. PyTorch có thể thực hiện sơ đồ đó trên một thiết bị.

Hãy đánh số kênh từ 0. Ở Conv2, kênh đầu ra 0–127 đọc kênh đầu vào 0–47, còn kênh đầu ra 128–255 đọc kênh đầu vào 48–95. Mỗi bộ lọc quét theo hai trục không gian như một convolution thường. Chiều bị chia là chiều kênh, không phải chiều rộng ảnh hay chiều batch.

Theo tài liệu Conv2d của PyTorch 2.8, cả số kênh vào lẫn số kênh ra phải chia hết cho groups. Tensor trọng số có dạng (C_out, C_in // groups, K_h, K_w). Bias vẫn có một phần tử cho mỗi kênh ra nếu bật.

Conv2 với 96 kênh vào, 256 kênh ra Shape của weight Số trọng số Tham số gồm bias MAC cho một ảnh, đầu ra 27 × 27
groups=1 (256, 96, 5, 5) 614.400 614.656 447.897.600
groups=2 (256, 48, 5, 5) 307.200 307.456 223.948.800

Mỗi điểm không gian ở một kênh ra cần một tích vô hướng với 25 × số kênh vào trong nhóm phần tử. Bảng nhân số trọng số với 27 × 27 để đếm MAC theo kích thước kernel danh nghĩa, bỏ qua phép cộng bias. Đây là số phép tính theo cấu trúc lớp. Thời gian chạy còn phụ thuộc vào kernel của thư viện, bố trí dữ liệu và thiết bị.

Thí nghiệm thay đầu vào ở đúng một nhóm

Ví dụ sau giảm còn 4 kênh vào và 6 kênh ra. Mỗi nhóm đọc 2 kênh và sinh 3 kênh. Ta cộng 1 vào hai kênh cuối rồi đo mức thay đổi tuyệt đối lớn nhất trên từng nhóm đầu ra. Để đối chiếu, ta dựng thêm lớp convolution đầy đủ, chép trọng số theo hai khối tương ứng và điền 0 vào mọi kết nối chéo nhóm.

Mã chạy với Python 3.10.11, PyTorch 2.8.0, CPU arm64, một luồng và float64. Seed cố định là 20261121. Ví dụ dùng dữ liệu tổng hợp và không tải checkpoint.

 1import platform
 2
 3import torch
 4from torch import nn
 5
 6torch.set_num_threads(1)
 7torch.manual_seed(20261121)
 8dtype = torch.float64
 9
10# A small layer with the same connectivity as AlexNet conv2.
11grouped = nn.Conv2d(4, 6, 3, padding=1, groups=2, dtype=dtype)
12dense = nn.Conv2d(4, 6, 3, padding=1, dtype=dtype)
13x = torch.randn(1, 4, 5, 5, dtype=dtype)
14perturbed = x.clone()
15perturbed[:, 2:] += 1
16
17with torch.no_grad():
18    # Reproduce the grouped map in a dense tensor with zero off-diagonal blocks.
19    dense.weight.zero_()
20    dense.weight[:3, :2].copy_(grouped.weight[:3])
21    dense.weight[3:, 2:].copy_(grouped.weight[3:])
22    dense.bias.copy_(grouped.bias)
23
24    output = grouped(x)
25    dense_error = (dense(x) - output).abs().max().item()
26    delta = (grouped(perturbed) - output).abs()
27    first, second = [part.max().item() for part in delta.split(3, dim=1)]
28
29    # A dense 1x1 layer can immediately send a signal across groups.
30    mix = nn.Conv2d(6, 6, 1, bias=False, dtype=dtype)
31    mix.weight.copy_(torch.eye(6, dtype=dtype).reshape(6, 6, 1, 1))
32    mix.weight[0, 3:, 0, 0] = 1
33    mixed_first = (mix(grouped(perturbed)) - mix(output))[:, :3].abs().max().item()
34
35assert first == 0 and second > 0 and mixed_first > 0
36assert dense_error < 1e-12
37
38print("Python", platform.python_version(), "PyTorch", torch.__version__)
39print("weight shapes:", tuple(grouped.weight.shape), tuple(dense.weight.shape))
40print("max |grouped - dense zero-block|:", f"{dense_error:.12g}")
41print("max change per output group:", f"{first:.12g}", f"{second:.12g}")
42print("max change in first group after mixing:", f"{mixed_first:.12g}")
43
44try:
45    dense.load_state_dict(grouped.state_dict())
46except RuntimeError as error:
47    assert "size mismatch for weight" in str(error)
48    print("direct checkpoint load: weight size mismatch")
49else:
50    raise AssertionError("expected incompatible weight shapes")
51
52# Layer dimensions from the original paper, with an example 27x27 output.
53for groups in (1, 2):
54    weights = 256 * (96 // groups) * 5 * 5
55    print(f"conv2 g={groups}: {weights:,} weights, {weights + 256:,} params, "
56          f"{weights * 27 * 27:,} MACs")
Kiểm tra trên lớp nhỏ Giá trị đo
Thay đổi lớn nhất ở nhóm đầu ra đầu tiên 0
Thay đổi lớn nhất ở nhóm đầu ra thứ hai 1,09567779629
Chênh lệch lớn nhất so với lớp đầy đủ có hai khối chéo bằng 0 2,22 × 10⁻¹⁶
Thay đổi lớn nhất ở ba kênh đầu sau lớp trộn 1 × 1 1,16119155795

Giá trị 0 ở hàng đầu là hệ quả của sơ đồ kết nối. Hai kênh đã sửa không tham gia tính ba kênh ra đầu tiên. Sai khác khoảng 2,22 × 10⁻¹⁶ khi đổi cách biểu diễn nằm ở cỡ sai số làm tròn trong thử nghiệm này. Hai cách gọi convolution có thể cộng các tích theo thứ tự khác nhau.

Nhóm kênh chỉ bị cô lập qua những lớp giữ nguyên ranh giới nhóm. Trong ví dụ, lớp 1 × 1 đầy đủ cho kênh ra đầu tiên đọc thêm ba kênh cuối. Vì vậy thay đổi từ nhóm hai xuất hiện ngay ở kênh đầu. Trong AlexNet gốc, Conv3 dùng kernel 3 × 3 đầy đủ để nối lại thông tin từ hai nhóm. Lớp 1 × 1 trên chỉ minh họa việc mở lại kết nối giữa các nhóm.

Đọc lỗi checkpoint trước khi sửa mô hình

Khi chạy dense.load_state_dict(grouped.state_dict()), PyTorch báo size mismatch for weight: lớp có nhóm lưu (6, 2, 3, 3), còn lớp đầy đủ cần (6, 4, 3, 3). Hai lớp vẫn trả kết quả cùng shape (1, 6, 5, 5). Kiểm tra shape đầu ra vì vậy không phát hiện được khác biệt kiến trúc.

Khi gặp lỗi này, xem cả số kênh, kernel, groups và thứ tự kênh của checkpoint. Chuyển từ grouped sang dense bằng cách đặt các khối ngoài đường chéo bằng 0 có thể giữ phép tính ban đầu. Nếu tiếp tục huấn luyện lớp dense mà không giữ mặt nạ, những vị trí 0 đó có thể nhận gradient và tạo kết nối mới. Chiều ngược lại chỉ giữ được đúng phép tính nếu các kết nối bị bỏ vốn đã bằng 0 và cách xếp nhóm phù hợp.

Tên mô hình cũng chưa đủ để chọn cấu hình. Mã nguồn AlexNet của Torchvision 0.23 dùng 64 kênh ở convolution đầu tiên, 192 ở convolution thứ hai, và không truyền groups vào các lớp Conv2d. Khi dùng checkpoint của Torchvision, hãy đối chiếu mã nguồn và phiên bản đã tạo checkpoint.

Có thể đọc lại sơ đồ năm lớp convolution của AlexNet để đặt Conv2 và Conv3 vào đúng vị trí. Khi tăng số nhóm đến bằng số kênh vào và chọn số kênh ra phù hợp, phép tính trở thành depthwise convolution. Thí nghiệm depthwise convolution của MobileNet V1 trên CPU cho thấy việc giảm MAC và thay đổi độ trễ thực tế cần được đo riêng.

Bình luận