Mistral представила Timestral — семейство моделей для прогнозирования временных рядов с рекордной эффективностью

Французская компания Mistral анонсировала Timestral — первое семейство фундаментальных моделей для работы с временными рядами. Крупнейшая из них содержит 209 миллионов параметров и демонстрирует лучшие результаты на ключевых публичных бенчмарках GIFT-Eval, TIME и fev-bench, опережая более крупные аналоги при меньшем числе параметров.

Timestral предлагает вероятностные многомерные прогнозы, учитывая как исторические данные, так и известные будущие ковариаты. Модели доступны в четырёх вариантах по размеру — от 5 до 209 миллионов параметров — что позволяет балансировать между точностью и вычислительной эффективностью. Все модели построены на единой архитектуре и обучены по одинаковой методике.

В отличие от классических моделей вроде ARIMA, которые подгоняются под отдельные серии, и глубоких нейросетей, требующих обучения с нуля для каждого набора данных, Timestral использует подход предварительного обучения на синтетических и реальных данных. Это позволяет моделям переносить полученные знания на новые домены и успешно работать в режиме zero-shot даже при ограниченном объёме данных.

Технология включает несколько ключевых инноваций: разделённое прогнозирование горизонта с сохранением полной истории, внимание с учётом роли ковариат (прошлых и известных будущих), а также двухэтапное обучение — сначала на синтетических данных с длинным контекстом, затем дообучение на смешанных данных.

Модели Timestral не требуют GPU для инференса: на серверном CPU с 8 потоками прогноз на один день вперёд по трёхнедельной истории с шагом 15 минут занимает от 10 мс (модель 5M) до 140 мс (модель 209M). При этом 28-миллионная версия превосходит по точности Chronos-2, модель примерно в четыре раза крупнее.

Пример применения — промышленное предприятие с тысячами сенсоров. Timestral способна учитывать взаимозависимости между параметрами (например, вибрация, температура и давление насосов), прогнозировать с учётом неопределённости, обрабатывать категориальные ковариаты (например, состояние оборудования) и использовать известные будущие события (планы производства, погодные прогнозы) для повышения качества прогнозов.

Для корпоративных клиентов доступна платформа Mistral Forge, позволяющая адаптировать Timestral к специфике отрасли, дообучать модель на собственных данных и разворачивать решения в изолированных средах.

Исходный код и подробности опубликованы на GitHub.

По данным mistral.ai.