Đặt ngưỡng cảnh báo data drift bằng Wasserstein Distance và bootstrap

Đặt ngưỡng cảnh báo data drift bằng Wasserstein Distance và bootstrap

Wasserstein Distance đo được mức thay đổi phân bố, nhưng ngưỡng cảnh báo cần được kiểm tra trên dữ liệu ổn định. Trong thí nghiệm này, lấy phân vị 95% của khoảng cách bootstrap cho ngưỡng 0,265012 với cửa sổ 64 điểm và 0,140654 với cửa sổ 256 điểm. Khi đánh giá bằng dữ liệu mới cùng phân bố, tỷ lệ cảnh báo thực tế lần lượt là 6,65% và 7,85%.

Đo drift của một đặc trưng số

Giả sử reference là các giá trị của một feature ở giai đoạn tham chiếu, còn window chứa dữ liệu mới. Ta tính Wasserstein-1 giữa hai phân bố thực nghiệm. Trong một chiều, khoảng cách này bằng diện tích giữa hai hàm phân phối tích lũy.

$$ W_1(R,W)=\int_{-\infty}^{\infty}\left|\widehat F_R(x)-\widehat F_W(x)\right|\,dx $$

Hàm scipy.stats.wasserstein_distance nhận trực tiếp hai mảng quan sát. Mỗi điểm có trọng số bằng nhau nếu ta bỏ qua đối số trọng số. Khoảng cách phản ánh mức dịch chuyển giá trị trên trục của feature, nên giữ cùng đơn vị với feature. Tài liệu Wasserstein Distance của SciPy 1.15.2

Phần thực hành dưới đây tập trung vào chọn và kiểm tra ngưỡng trên mẫu hữu hạn. Có thể đối chiếu với phần lý thuyết vận chuyển tối ưu và Wasserstein trong bài nền tảng. Optimal Transport và Wasserstein Distance

Tạo ngưỡng khởi đầu bằng bootstrap hai mẫu

Thí nghiệm tạo một tập tham chiếu gồm 2.000 điểm độc lập từ phân bố chuẩn có mean 0 và độ lệch chuẩn 1. Tập tham chiếu này được giữ nguyên cho toàn bộ bước đánh giá. Trong lần sinh dữ liệu được ghi lại, mean của tập là −0,036178 và độ lệch chuẩn tính với ddof=0 là 0,985555.

Ở đây, bootstrap tạo một ngưỡng khởi đầu để thử nghiệm. Mức cảnh báo nền của ngưỡng này được đo bằng các cửa sổ ổn định mới. Với từng kích thước cửa sổ m bằng 64 hoặc 256, quy trình có 4.000 lượt bootstrap.

  1. Lấy mẫu có hoàn lại 2.000 điểm từ tập tham chiếu để tạo ref_star.
  2. Lấy mẫu có hoàn lại m điểm từ cùng tập tham chiếu, độc lập với bước trước, để tạo window_star.
  3. Tính wasserstein_distance(ref_star, window_star).
  4. Lấy phân vị 0,95 của 4.000 khoảng cách bằng np.quantile(..., method="linear") làm ngưỡng.

Hai mẫu bootstrap cùng xuất phát từ phân bố tham chiếu thực nghiệm. Vì vậy, chúng mô phỏng giả thiết hai tập dữ liệu có cùng phân bố, với đúng cỡ mẫu 2.000 và m. Phân vị được nội suy tuyến tính theo phương thức đã ghi rõ trong mã. Tài liệu numpy.quantile 2.2

Quy tắc cảnh báo là khoảng cách lớn hơn ngưỡng. Bootstrap ở đây cho cả tập tham chiếu lẫn cửa sổ biến động. Bước đánh giá tiếp theo dùng một tập tham chiếu cố định và cửa sổ lấy từ phân bố chuẩn thật. Tỷ lệ cảnh báo do đó phụ thuộc tập tham chiếu hữu hạn đã chọn, việc dùng phân bố tham chiếu thực nghiệm để xấp xỉ phân bố nền và sai số của phép lấy mẫu bootstrap.

Kiểm tra trên cửa sổ mới

Mỗi kích thước cửa sổ được đánh giá với 2.000 lượt lấy dữ liệu mới, thuộc ba kịch bản sau.

Kịch bản Mean Độ lệch chuẩn Phương sai
Không drift 0 1 1
Dịch mean 0,3 1 1
Tăng độ phân tán 0 1,3 1,69

Các cửa sổ ở những lượt khác nhau được sinh độc lập. Trong một lượt, ba kịch bản dùng cùng nhiễu chuẩn nền base, lần lượt biến đổi thành base, base + 0.3 và base * 1.3. Dòng ngẫu nhiên cho tham chiếu, bootstrap và đánh giá được tách bằng SeedSequence.spawn. Cách sinh các dòng ngẫu nhiên bằng NumPy 2.2

Cỡ cửa sổ Kịch bản Ngưỡng Median khoảng cách Cửa sổ cảnh báo Tỷ lệ
64 Không drift 0,265012 0,151113 133 / 2.000 6,65%
64 Dịch mean 0,265012 0,346958 1.501 / 2.000 75,05%
64 Tăng độ phân tán 0,265012 0,291710 1.207 / 2.000 60,35%
256 Không drift 0,140654 0,080932 157 / 2.000 7,85%
256 Dịch mean 0,140654 0,339161 1.999 / 2.000 99,95%
256 Tăng độ phân tán 0,140654 0,261079 1.990 / 2.000 99,50%

Trong lượt mô phỏng này, cấu hình 256 điểm phát hiện nhiều hơn hai thay đổi đã thiết kế, với tỷ lệ cảnh báo nền 7,85% so với 6,65% ở cấu hình 64 điểm.

Hai hàng không drift là phép kiểm tra hiệu chỉnh. Dù ngưỡng lấy ở phân vị 95% của mẫu bootstrap, tỷ lệ cảnh báo trên dữ liệu mới là 6,65% và 7,85%. Đây là kết quả của một tập tham chiếu và một lượt hiệu chỉnh hữu hạn. Để chọn ngưỡng cho dữ liệu thực, cần kiểm tra tiếp trên các giai đoạn ổn định được giữ riêng, rồi chọn cấu hình dựa trên mức cảnh báo vận hành chấp nhận được. Khi đã dùng một tập cửa sổ để chọn ngưỡng, phép đánh giá cuối cần một tập cửa sổ mới.

Đổi cỡ cửa sổ và đơn vị đo

Hai cỡ cửa sổ trong bảng dùng cùng định nghĩa feature nhưng có mức nhiễu lấy mẫu khác nhau. Vì vậy, mã hiệu chỉnh lại ngưỡng cho từng cỡ cửa sổ. Với cùng dữ liệu và cùng phép đổi đơn vị tuyến tính có hệ số dương a, khoảng cách và ngưỡng có thể được đổi tương ứng.

$$ W_1(aR,aW)=aW_1(R,W),\qquad a>0 $$

Mã kiểm tra việc nhân toàn bộ giá trị với 1.000. Với cửa sổ 64 điểm, khoảng cách ví dụ từ khoảng 0,426689 thành 426,688950, còn ngưỡng từ khoảng 0,265012 thành 265,012288. Điều kiện vượt ngưỡng giữ cùng kết quả khi cả hai cùng đổi đơn vị. Các số được làm tròn khi in. Nếu chuẩn hóa feature, các tham số chuẩn hóa cần được ước lượng từ dữ liệu tham chiếu và dùng nhất quán cho dữ liệu mới.

Mã chạy lại

Lần chạy dùng Python 3.10.11, NumPy 2.2.5 và SciPy 1.15.2 trên macOS arm64. Tạo môi trường Python riêng, cài các phiên bản rồi lưu mã thành experiment.py.

1python3 -m venv .venv
2source .venv/bin/activate
3python -m pip install 'numpy==2.2.5' 'scipy==1.15.2'
4python experiment.py
 1import platform
 2
 3import numpy as np
 4import scipy
 5from scipy.stats import wasserstein_distance
 6
 7SEED = 20261115
 8N_REFERENCE = 2000
 9N_BOOTSTRAP = 4000
10N_WINDOWS = 2000
11QUANTILE = 0.95
12SCALE = 1000.0
13
14
15def bootstrap_threshold(reference, size, rng):
16    distances = np.empty(N_BOOTSTRAP)
17    for i in range(N_BOOTSTRAP):
18        ref_star = rng.choice(reference, size=len(reference), replace=True)
19        window_star = rng.choice(reference, size=size, replace=True)
20        distances[i] = wasserstein_distance(ref_star, window_star)
21    return float(np.quantile(distances, QUANTILE, method="linear"))
22
23
24def main():
25    print(f"Python {platform.python_version()} | NumPy {np.__version__} | "
26          f"SciPy {scipy.__version__} | {platform.machine()}")
27    print(f"seed={SEED}, reference={N_REFERENCE}, bootstrap={N_BOOTSTRAP}, "
28          f"windows_per_scenario={N_WINDOWS}, quantile={QUANTILE}, method=linear")
29    streams = np.random.SeedSequence(SEED).spawn(5)
30    reference = np.random.default_rng(streams[0]).normal(size=N_REFERENCE)
31    print(f"Reference mean={reference.mean():.6f}, population_sd={reference.std():.6f}")
32    print("size | threshold | scenario | median_distance | alerts | alert_percent")
33    for index, size in enumerate((64, 256)):
34        calibration_rng = np.random.default_rng(streams[1 + 2 * index])
35        validation_rng = np.random.default_rng(streams[2 + 2 * index])
36        threshold = bootstrap_threshold(reference, size, calibration_rng)
37        distances = np.empty((3, N_WINDOWS))
38        for i in range(N_WINDOWS):
39            base = validation_rng.normal(size=size)
40            for scenario, window in enumerate((base, base + 0.3, base * 1.3)):
41                distances[scenario, i] = wasserstein_distance(reference, window)
42        for name, values in zip(("no_drift", "mean_+0.3", "sd_x1.3"), distances):
43            count = int(np.count_nonzero(values > threshold))
44            print(f"{size} | {threshold:.6f} | {name} | {np.median(values):.6f} | "
45                  f"{count}/{N_WINDOWS} | {count / N_WINDOWS * 100:.2f}")
46        example = base + 0.3
47        distance = wasserstein_distance(reference, example)
48        scaled_distance = wasserstein_distance(reference * SCALE, example * SCALE)
49        scaled_threshold = threshold * SCALE
50        assert np.isclose(scaled_distance, distance * SCALE)
51        assert (distance > threshold) == (scaled_distance > scaled_threshold)
52        assert np.all(np.isfinite(distances)) and threshold > 0
53        print(f"Scale {size}: distance {distance:.6f} -> {scaled_distance:.6f}; "
54              f"threshold {threshold:.6f} -> {scaled_threshold:.6f}; "
55              f"alert={distance > threshold}")
56
57
58if __name__ == "__main__":
59    main()

Đưa kết quả vào giám sát feature

Ví dụ giả định dữ liệu độc lập, cùng cơ chế lấy mẫu và có một feature số. Khi dữ liệu có mùa vụ, nhiều bản ghi từ cùng một người hoặc cửa sổ trượt chồng lấn, cần kiểm tra ngưỡng trên các cửa sổ phản ánh cấu trúc đó. Việc theo dõi nhiều feature và kiểm tra lặp lại cũng làm thay đổi số cảnh báo vận hành. Ranh giới thời gian và đối tượng dùng trong đánh giá cần khớp với cách hệ thống được sử dụng. Chọn phép chia dữ liệu và tránh rò rỉ giữa các nhóm

Drift ở feature có thể xuất hiện trong khi chất lượng dự đoán vẫn ổn định. Để đánh giá chất lượng, cần đối chiếu dự đoán với nhãn và các chỉ số phù hợp với ứng dụng. Một cảnh báo phân bố nên dẫn tới việc kiểm tra nguồn dữ liệu, thay đổi trong nhóm người dùng và kết quả dự đoán trước khi quyết định cập nhật mô hình.

Bình luận