Приложение Ollama, позволяющее запускать модели искусственного интеллекта локально на компьютерах с операционными системами Windows, macOS и Linux, недавно обновилось и получило поддержку аппаратного ускорения для процессоров Apple M5. Это нововведение отличает Ollama от облачных решений, таких как ChatGPT, где модели требуют постоянного интернет-соединения и не могут работать локально.
С Ollama пользователи могут загружать и запускать модели ИИ непосредственно на своих устройствах. Открытые модели доступны на различных платформах и могут быть загружены без каких-либо ограничений. Тем не менее, запуск этих моделей локально может представлять определенные трудности, так как они требуют значительных объемов оперативной и видеопамяти.
В версии Ollama 0.19 разработчики внедрили поддержку фреймворка машинного обучения MLX, а также унифицированной архитектуры памяти, что значительно увеличивает скорость работы приложения на устройствах с чипами Apple. Однако на данный момент данная функция доступна только для последних моделей Apple M5, M5 Pro и M5 Max.
Благодаря использованию нейроускорителей на платформе, время, необходимое для генерации первого токена, значительно сократилось, а скорость генерации токенов в целом возросла. Это улучшение положительно сказалось на производительности как персональных ИИ-агентов, таких как OpenClaw, так и специализированных моделей, включая OpenCode, Anthropic Claude Code и OpenAI Codex. Важно отметить, что для работы Ollama 0.19 на компьютере должно быть не менее 32 Гбайт унифицированной памяти.