Ollama 0.19 ускоряет ИИ-модели на Apple M5 с поддержкой MLX

Разработчики приложения Ollama представили обновление версии 0.19, которое добавляет поддержку аппаратного ускорения для процессоров Apple M5 в macOS. Это позволяет запускать ИИ-модели локально быстрее и эффективнее на компьютерах с новейшими чипами Apple.

• Ollama работает на Windows, macOS и Linux, запуск моделей происходит локально без интернета.
• В версии 0.19 добавлена поддержка MLX — фреймворка машинного обучения от Apple.
• Ускорение доступно только на процессорах Apple M5, M5 Pro и M5 Max с не менее 32 ГБ унифицированной памяти.
• Повышена скорость генерации токенов и сокращено время выдачи первого результата.
• Ускорение затрагивает как персональные ИИ-агенты, так и специализированные модели (OpenClaw, Anthropic Claude Code, OpenAI Codex).

Особенности локального запуска моделей Ollama

Ollama выделяется среди подобных решений тем, что не требует постоянного подключения к интернету, в отличие от облачных сервисов, таких как ChatGPT. Приложение позволяет пользователям скачивать и запускать открытые ИИ-модели, которые доступны через сообщества или напрямую от разработчиков.

Однако запуск больших моделей локально сопряжён с высокой нагрузкой на системную память и видеопамять. Для снижения задержек и повышения производительности в версии 0.19 была интегрирована поддержка Apple MLX — специализированного фреймворка для машинного обучения, использующего унифицированную архитектуру памяти Apple Silicon.

Технические требования и улучшения производительности

Аппаратное ускорение Ollama 0.19 реализовано исключительно для компьютеров на базе новых Apple M5, M5 Pro и M5 Max. Для корректной работы требуется минимум 32 ГБ унифицированной памяти, что ограничивает использование обновления на более старых устройствах.

Применение MLX-фреймворка позволяет обращению к встроенным нейроускорителям Apple, что сокращает время генерации ответов и повышает общую скорость работы ИИ-моделей. Это особенно заметно на персональных помощниках и специализированных кодогенераторах, таких как OpenClaw, Anthropic Claude Code и OpenAI Codex.