SmartQueryРазбор по существуРежимы по кругу: Система, Светлая, Тёмная. Enter или пробел переключают режим. Стрелки выбирают соседний, Home — Система, End — Тёмная.
Языки и платформы

Average Precision в sklearn: оценки модели вместо готовых меток

Average Precision, или AP, оценивает, насколько хорошо модель располагает положительные объекты выше отрицательных при изменении порога. Для функции average_precision_score передавайте вероятности положительного класса или непрерывные оценки, например decision_function. Готовые метки predict теряют почти всю информацию о ранжировании.

Содержание статьи
  1. Маленький пример с известным результатом
  2. Пример Iris: отдельно оценить каждый класс
  3. Как интерпретировать результат

Маленький пример с известным результатом

from sklearn.metrics import average_precision_score

truth = [1, 0, 1, 0]
scores = [0.9, 0.8, 0.7, 0.1]
print(round(average_precision_score(truth, scores), 6))
# 0.833333

Два положительных объекта занимают первое и третье места. В этих точках precision равна 1 и 2/3, а полнота увеличивается каждый раз на 1/2. Поэтому AP = 1/2 × 1 + 1/2 × 2/3 = 5/6. Это не обычное среднее precision по любым выбранным порогам и не трапецеидальная площадь под PR-кривой.

Пример Iris: отдельно оценить каждый класс

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import average_precision_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler, label_binarize

features, labels = load_iris(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(
    features, labels, test_size=0.3, random_state=17,
    stratify=labels,
)
classifier = make_pipeline(
    StandardScaler(), LogisticRegression(max_iter=1000),
)
classifier.fit(x_train, y_train)
classes = classifier.named_steps["logisticregression"].classes_
truth_by_class = label_binarize(y_test, classes=classes)
probabilities = classifier.predict_proba(x_test)
print(average_precision_score(
    truth_by_class, probabilities, average="macro",
))

Столбцы индикаторов и вероятностей соответствуют одному порядку classes. Это явная схема «класс против остальных». В отличие от вызова с predict, она сохраняет оценки каждого класса и работает через индикаторную матрицу. Pipeline обучает масштабирование только на тренировочной части.

Как интерпретировать результат

  • Macro — среднее AP по классам без весов по их численности. Для неравных классов отдельно посмотрите оценки каждого класса.
  • AP зависит от доли положительных объектов и состава теста: не сравнивайте числа с разных выборок без контекста.
  • Проверьте, какой класс считается положительным. Для бинарного predict_proba нужный столбец определяется classes_, а не догадкой.
  • Если в проверочной выборке нет положительных примеров класса, метрика не показывает качество его поиска. Сначала проверьте состав выборки.

Документация