Các lượt nộp
    Danh sách bài
    Trang chủ
    Báo lỗi

    solution

    Đề bài: [Data Science] Calibration ECE theo bin

    Cho nnn xác suất dự đoán pi∈[0,1]p_i \in [0,1]pi​∈[0,1] và nhãn thật yi∈{0,1}y_i \in \{0,1\}yi​∈{0,1}. Chia đoạn [0,1][0,1][0,1] thành BBB bin đều: bin bbb (b=0,…,B−1b=0,\dots,B-1b=0,…,B−1) là [b/B, (b+1)/B)[b/B,\ (b+1)/B)[b/B, (b+1)/B); riêng bin cuối đóng ở 111.

    Với mỗi bin có mbm_bmb​ mẫu, đặt độ tin cậy trung bình confb\text{conf}_bconfb​ = trung bình pip_ipi​ trong bin, và độ chính xác accb\text{acc}_baccb​ = trung bình yiy_iyi​ trong bin. Expected Calibration Error:

    ECE=∑b=0B−1mbn ∣accb−confb∣\text{ECE} = \sum_{b=0}^{B-1} \frac{m_b}{n}\,\bigl|\text{acc}_b - \text{conf}_b\bigr|ECE=∑b=0B−1​nmb​​​accb​−confb​​

    Bin rỗng bỏ qua. In ra ECE.

    • Định dạng đầu vào:

      Dòng 1: nnn và BBB. Dòng 2: nnn xác suất. Dòng 3: nnn nhãn 0/1.

    • Ràng buộc đầu vào:

      1≤B≤1001 \le B \le 1001≤B≤100, 1≤n≤10001 \le n \le 10001≤n≤1000, 0≤pi≤10 \le p_i \le 10≤pi​≤1.

    • Định dạng đầu ra:

      Một số thực ECE, định dạng 2 chữ số thập phân.

    Ví dụ:

    Đầu vào:

    4 2
0.2 0.3 0.7 0.8
0 0 1 1

    Đầu ra:

    0.25

    Giải thích:

    Bin0 [0,0.5): conf=0.25, acc=0 -> 0.25, weight 2/4. Bin1 [0.5,1]: conf=0.75, acc=1 -> 0.25, weight 2/4. ECE=0.25.

    Đang tải editor...