Метрики кластеризации: компактность, расстояние и силуэт

Качество кластеризации зависит от того, какие группы нужны в задаче. Одно число не доказывает, что разделение полезно; внутренние метрики оценивают структуру данных при выбранном расстоянии.

Компактность и разделение

Внутрикластерное расстояние измеряет близость элементов своей группы. Межкластерное можно определять разными способами: между центрами, ближайшими точками или иначе. Поэтому сначала зафиксируйте определение и масштаб признаков; единицы измерения могут изменить ответ.

Силуэт

a = среднее расстояние до своей группы
b = наименьшее среднее расстояние до другой группы
s = (b - a) / max(a, b)

Высокое положительное значение обычно соответствует хорошо отделённому объекту, около0 — границе групп, отрицательное — возможному несоответствию своей группе. Для вычисления требуется допустимое число разных кластеров; случай одной группы не даёт обычного silhouette score.

Индекс Данна

В базовой идее сравнивают минимальное разделение групп с максимальным внутригрупповым диаметром. Разновидности используют разные расстояния, поэтому их значения нельзя сравнивать без определения. Крайние точки и выбросы способны сильно повлиять на такой показатель.

Проверка решения

• Сравните несколько разумных параметров на одинаковой обработке данных.
• Посмотрите размеры групп и интерпретируемые примеры, а не только средний score.
• Учтите шумовые точки и маленькие группы.
• Если есть внешняя разметка, используйте подходящую внешнюю метрику отдельно.

Силуэт благоприятствует определённым геометриям кластеров; хороший результат для компактных групп не гарантирует качество разделения сложной формы.