Точность и сертификация

Точность измеряется логарифмической относительной ошибкой (Log Relative Error, LRE):

LRE = −log₁₀( |вычисленное − сертифицированное| / |сертифицированное| )

Условие «|a − b| < 1e-10» само по себе ничего не измеряет: для величин около 1e-15 оно выполняется автоматически, а для величин около 1e12 недостижимо — оно измеряет масштаб операндов, а не качество вычисления. LRE не зависит от масштаба и читается прямо как «сколько цифр верно». Ту же метрику публикует NIST, поэтому наши числа напрямую сопоставимы с его сертификацией.

Формат float64 хранит примерно 15,95 десятичной цифры, поэтому значения в отчёте ограничены 15; отметка «точно» означает совпадение.

Минимально допустимый LRE для каждой величины. Это открытое обязательство проекта: изменение, опускающееся ниже, не принимается вовсе.

Каждый набор решается по той модели, которую NIST объявляет в собственном заголовке. κ — число обусловленности: чем оно больше, тем труднее задача. Столбцы «Коэф.» и «SE» — худший результат по коэффициентам и по их стандартным ошибкам.

Все наборы решены QR-разложением (Хаусхолдера), и ни в одном не обнаружен дефицит ранга. Построение матрицы XᵀX возводит число обусловленности в квадрат — именно поэтому коммерческие пакеты не давали на наборе Filip ни одной верной цифры.

Wampler4 и Wampler5 — специально сконструированные наборы: сертифицированное решение остаётся точно (1, 1, 1, 1, 1, 1), но сверху добавлен очень большой шум, что видно по сертифицированному R². Ошибка метода наименьших квадратов ограничена членом κ²·ε·tan θ, и при таком шуме доминирует именно он. То есть это предел задачи в формате float64, а не дефект алгоритма. «Улучшать» эти значения ослаблением решателя было бы неверно.

Эти наборы NIST составил для проверки среднего и стандартного отклонения. Правый столбец важен: в наборах NumAcc3 и NumAcc4 входные значения не помещаются в float64 точно, поэтому истинное стандартное отклонение сохранённых данных отличается от сертифицированного NIST. Сопоставление двух столбцов отделяет ошибку алгоритма от предела числового формата.

Эталонное значение неизвестного происхождения — суеверие. Каждое число здесь либо сертифицировано NIST, либо получено указанными ниже версиями.

Каждый анализ проверяется против эталонных значений, но сила доказательства неодинакова — и скрывать это было бы нечестно. Рядом с каждым анализом указан поддерживающий его источник.

SciPy — независимая реализация

Реализация того же критерия на другом языке и другого происхождения. Сильнейший вид проверки, доступный здесь.

statsmodels — независимый OLS

Независимая реализация OLS для коэффициентов, стандартных ошибок, доверительных интервалов и VIF.

SciPy + документированная формула

Статистика и p-значение проверены по SciPy; величину, которую SciPy не даёт (например, ранг-бисериальную корреляцию или ε²), даёт документированная формула. Это проверка по формуле, а не по двум библиотекам.

Документированная формула

Замкнутая формула, второй реализации которой в этом наборе инструментов нет. Проверяется выводом и алгебраическими тождествами в тестах.

Отчёт о точности утверждает только то, что он измерил. Вне его остаётся следующее:

• Доверительный интервал размера эффекта ε² — бутстреп с фиксированным зерном (BCa). Его нельзя проверить фикстурой, потому что вторая реализация использует другой поток случайных чисел. Фикстура хранит только точечную оценку; интервал проверяется свойствами — при неизменном зерне результат не меняется, интервал содержит точечную оценку и односторонний.
• Распределение стьюдентизированного размаха (для сравнений Тьюки) вычислено в 60 точках через SciPy QUADPACK в float64, а не в произвольной точности, поскольку ни одна библиотека в этом наборе инструментов не предоставляет ptukey. Случай k = 2 при этом привязан к точной замкнутой форме и проверяет весь путь интегрирования с полной точностью float64.
• Точность не гарантирует правильной интерпретации результата. Выбор критерия, формулировка гипотезы и вывод остаются за исследователем.
• Числа на этой странице относятся к данной версии кода. Если версия эталонной библиотеки обновляется намеренно, это делается отдельным изменением с указанием разниц LRE.