Европейский лидер открытых LLM
Mistral AI — французский стартап, основанный в 2023 году бывшими исследователями из Meta и Google (включая Артура Менша, Гийома Лампля и Тимоте Лакруа). Компания быстро заняла нишу европейского лидера в области открытых больших языковых моделей (LLM), предложив альтернативу проприетарным решениям от OpenAI и Google. Основной фокус — создание эффективных, высокопроизводительных моделей с открытым исходным кодом, которые могут быть развернуты на относительно скромном оборудовании.
Миссия Mistral AI — демократизировать доступ к передовым AI-технологиям, сохраняя при этом прозрачность и контроль для разработчиков. Ключевые достижения включают выпуск модели Mistral 7B (сентябрь 2023), которая при 7 миллиардах параметров превзошла Llama 2 13B по большинству бенчмарков, и Mixtral 8x7B (декабрь 2023) — первую открытую модель на архитектуре Mixture of Experts (MoE), обеспечивающую производительность уровня GPT-3.5 при значительно меньших вычислительных затратах. В феврале 2024 года компания привлекла €385 млн при оценке в $2 млрд, подтвердив статус самого быстрорастущего AI-стартапа Европы.
Mistral AI предлагает как открытые веса моделей (Mistral 7B, Mixtral 8x7B), так и коммерческие API-решения (Mistral Large, Mistral Small) через свою платформу Le Chat. Компания активно продвигает стандарты открытости в AI, выступая против чрезмерного регулирования, которое может затормозить инновации в Европе.
Mistral 7B превосходит Llama 2 13B на 20-30% по бенчмаркам MMLU, HellaSwag и GSM8K. Mixtral 8x7B в MoE-архитектуре показывает результаты, сопоставимые с GPT-3.5, при использовании всего 12.9B активных параметров на токен — в 3 раза меньше, чем у аналогов.
Все модели Mistral распространяются под лицензией Apache 2.0. Разработчики могут скачать веса, дообучать модели на своих данных, развертывать на собственных серверах и модифицировать без ограничений. Это критически важно для B2B-сценариев с требованиями к data privacy и compliance.
Mistral 7B работает на одной NVIDIA A100 40GB с latency < 50ms. Mixtral 8x7B требует всего 2xA100 80GB для инференса — в 4 раза меньше, чем Llama 2 70B. Это снижает TCO (Total Cost of Ownership) на 60-70% по сравнению с проприетарными API.
Как европейская компания, Mistral AI полностью соответствует GDPR. Данные не покидают юрисдикцию ЕС при использовании API Le Chat. Для локального развертывания — нулевая утечка данных, что критично для финансового сектора, здравоохранения и госсектора.
Продукты Mistral AI образуют гибкую экосистему, покрывающую все потребности enterprise-разработки. Флагманская модель Mixtral 8x7B служит базой для высокопроизводительных задач (RAG, code generation, аналитика), в то время как Mistral 7B оптимизирована для edge-устройств и real-time приложений с низкой latency. Mistral Large (проприетарная модель) доступна через API Le Chat для сценариев, требующих максимального качества без компромиссов по latency. Все модели используют единый токенизатор и архитектуру, что упрощает миграцию между ними: вы можете начать с Mistral 7B для прототипирования, затем перейти на Mixtral 8x7B для production, не меняя код. Интеграция с Hugging Face и поддержка стандартных форматов (PyTorch, ONNX) обеспечивают бесшовную совместимость с существующими MLOps-пайплайнами.
Mistral 7B требует минимум 16GB VRAM для инференса в FP16 (одна NVIDIA T4 или A10). Для дообучения (fine-tuning) рекомендуется 1x NVIDIA A100 40GB или 2x RTX 4090. С quantization до 4-bit (через bitsandbytes) можно запустить на 8GB VRAM. Mixtral 8x7B требует 48GB VRAM в FP16 (2x A100 40GB или 1x A100 80GB).
Да, все открытые модели Mistral (Mistral 7B, Mixtral 8x7B) распространяются под лицензией Apache 2.0, которая разрешает коммерческое использование, модификацию и распространение без отчислений. Для API Le Chat действует pay-as-you-go модель с тарифами от €0.001 за токен для Mistral Small.
Mistral 7B превосходит Llama 2 13B на 15-25% по всем основным бенчмаркам (MMLU: 64.2% vs 54.8%, GSM8K: 56.5% vs 43.4%). Mixtral 8x7B сопоставима с GPT-3.5 (MMLU: 70.6% vs 70.0%) и превосходит Llama 2 70B (MMLU: 68.9%). Mistral Large (проприетарная) приближается к GPT-4 (MMLU: 84.2% vs 86.4%), но требует в 2 раза меньше вычислительных ресурсов.
Модели Mistral изначально обучались на многоязычном корпусе, включающем английский, французский, немецкий, испанский, итальянский и русский языки. По тестам на multilingual бенчмарках (XNLI, PAWS-X) Mistral 7B показывает качество на 10-15% выше, чем Llama 2 7B, для неанглийских языков. Поддержка китайского, японского и арабского языков ограничена — для этих языков рекомендуется дообучение.