Методика и алгоритм определения периодов оперативного прогнозирования динамики максимально применимых частот КВ-связи на основе алгоритма машинного обучения XGBoost
Месяц пятиминутных значений МПЧ на среднеширотной трассе 2 600 км, XGBoost с подбором гиперпараметров через hyperopt и порог средней абсолютной ошибки 1 МГц: настроенная модель держит порог до семи дней прогноза, ненастроенная — один день. Восстановленные из векторного рисунка значения подтверждают главные числа статьи, но показывают и несогласованность итоговых средних.
⚙ Анализ подготовлен с участием модели, возможны неточности.
Оригинальная публикация
Открыть работу →Проблема и актуальность
Наиболее надёжную КВ-связь обеспечивают рабочие частоты 0,8–0,9 от максимально применимой частоты (МПЧ), а МПЧ из-за изменчивости ионосферы — случайная динамическая величина. Её определяют активные сенсоры — вертикальные, охватывающие область радиусом до 500 км, и наклонные, характеризующие среднюю точку трассы. Чтобы назначать частоты заранее, МПЧ нужно прогнозировать, и при прогнозе с помощью XGBoost возникает вопрос, на какой период вперёд прогноз остаётся достаточно точным.
Цель и гипотеза
Цель — алгоритм оценки оптимальных периодов прогнозирования МПЧ ионосферных линий КВ-связи на основе XGBoost и его экспериментальная проверка на среднеширотной трассе протяжённостью 2 600 км. Гипотеза явно не сформулирована; по смыслу проверяется, что подбор гиперпараметров удлиняет период, в течение которого ошибка прогноза не превышает порога.
Материалы и методы
МПЧ вычисляется по очищенной от помех ионограмме наклонного зондирования: на сетке частот подсчитываются подряд идущие парциальные каналы справа налево, и частота последнего отсчёта принимается за МПЧ. Значения накапливаются в базе данных. Ряд — 30 суток с шагом 5 минут, всего 8 640 значений; при предварительной обработке пропуски интерполируются, а аномальные значения выравниваются. Метрика потерь — средняя абсолютная ошибка (MAE), как наиболее понятная и менее чувствительная к сильным отклонениям; качество оценивается ещё по RMSE и коэффициенту детерминации R².
В статье выведена целевая функция градиентного бустинга с регуляризацией и разложением функции потерь до второго порядка и перечислены гиперпараметры XGBoost. Они подбираются библиотекой hyperopt — случайным поиском, TPE и адаптивным TPE: n_estimators, eta, gamma, max_depth, lambda, alpha, colsample_bytree, colsample_bylevel, min_child_weight и subsample. Обученные модели проверяются по MAE и R² и сохраняются в базу файлами .sav; при прогнозе алгоритм перебирает модели и выбирает ту, что укладывается в пороговые значения метрик, а затем проверяет стабильность повторными прогонами.
Выборки делятся по дням: тестовая часть растёт от одного дня, пока MAE не превысит порог 1 МГц — по мощности случайной компоненты ряда МПЧ из предыдущих исследований, — а обучающая соответственно уменьшается от 29 дней. Сравниваются модели с подбором гиперпараметров и без него.
Результаты
При восьми и более днях метрики резко выходят за пороговые пределы. Максимальный период с подбором гиперпараметров — семь дней: среднее MAE 0,99 МГц, R² 0,95. Без подбора максимальный период — один день: MAE около 1 МГц, R² 0,95. Наилучший период — один день: минимальное MAE 0,72 МГц, среднее 0,78 МГц, в пике 0,84 МГц, R² 0,97. В прогнозе на сутки подбор гиперпараметров выигрывает 0,25 МГц по MAE и 2 % по R².
График ошибок показывает, что наибольший разброс прогноза приходится на значения МПЧ 14–18 МГц с 11:00 до 17:00 — от послеполуденного времени до заката, что согласуется с прежними исследованиями автора и других авторов.
Выводы автора
Разработан алгоритм оценки оптимальных периодов прогнозирования МПЧ на основе XGBoost. Модели с подобранными гиперпараметрами на периодах от одного до семи дней лучше на 25 % по MAE (среднее 1,43 МГц) и на 8 % по R² (среднее 0,94). Минимальный период прогноза — один день (MAE 0,78 МГц, R² 0,97), максимальный — семь дней (MAE 0,99 МГц, R² 0,95); по сравнению с моделью без подбора период прогноза увеличен в семь раз. Для практического применения создан класс программ на Python.
Ограничения
Главные числа статьи подтверждаются рис. 2: значения, восстановленные из векторной графики, дают за один день MAE 0,79 МГц при минимуме 0,73 и максимуме 0,84, а за 1–7 дней — 1,00 МГц при R² 0,95. Итоговые средние не согласуются: по рис. 2 среднее MAE за периоды 1–7 дней составляет около 1,0 МГц с подбором и около 1,5 МГц без него — выигрыш около трети, а не 25 %, — и откуда взялось среднее 1,43 МГц, не ясно. Период 1–2 дня исключён из оптимальных как превысивший 1 МГц (среднее 1,14), хотя у периодов 1–3 и 1–6 дней среднее тоже выше порога — 1,08 и 1,06 МГц.
Модель выбирается по MAE и R² и по ним же оценивается; отдельная валидационная часть, не участвующая в выборе модели, не описана, поэтому оценки, скорее всего, оптимистичны. Признаки модели не описаны — сказано лишь, что независимая переменная — время; дерево решений не экстраполирует за пределы обучающих значений, и при прогнозе на дни вперёд модель, по-видимому, воспроизводит типичный суточный ход. Сравнения с таким простым базовым прогнозом — средним суточным ходом или ходом предыдущих суток — нет, а высокий R² при размахе МПЧ от 10 до 28 МГц во многом объясняется самой суточной периодичностью. Реальный ход на рис. 3 взят со сглаженной случайной компонентой, то есть метрики считаются не по сырому ряду.
Трасса и даты наблюдений не названы; 30 суток — это один сезон, и вывод о семи днях относится к нему. В тексте есть неточности: число листьев дерева названо «количеством лепестков», L1- и L2-регуляризация перечислены в обратном порядке относительно alpha и lambda, номер формулы (5) повторён, а (6) пропущен.
Новизна
Заявлены методика и алгоритм определения оптимальных периодов прогнозирования МПЧ с помощью XGBoost с автоматическим подбором гиперпараметров и экспериментально установленное семикратное увеличение периода прогноза.
Эвристики
- [явно] Если гиперпараметров много — то подбирать их автоматически (hyperopt, TPE), а не перебором вручную.
- [явно] Если нужно найти предельный горизонт прогноза — то наращивать тестовую часть по дням до тех пор, пока ошибка не превысит порог, обоснованный мощностью случайной компоненты ряда.
- [явно] Если результат модели меняется от запуска к запуску — то проверять стабильность повторными прогонами и смотреть на разброс метрик, а не на одно значение.
- [реконструкция] Если модель выбирается по метрикам — то держать отдельную часть данных, которая в выборе не участвует, иначе итоговая оценка окажется завышенной.
- [реконструкция] Если ансамбль деревьев прогнозирует непрерывную величину — то ожидать ступенчатого прогноза: на графике ошибок он виден как горизонтальные полки, где прогноз постоянен при меняющейся МПЧ.
Одной фразой: XGBoost с подбором гиперпараметров держит среднюю абсолютную ошибку прогноза МПЧ около 1 МГц до семи дней против одного дня без подбора, но выбор модели по тем же метрикам, отсутствие базового прогноза и сглаженная мишень делают эти числа скорее верхней оценкой.