Ollama. Быстрый старт.

Продолжаем открывать для себя AI инструментарий. Сегодня предлагаю обратить внимание на Ollama.app (в моём случае для MacOS).

Ollama работает как в командной строке, так и по по API. Кроме того, для Ollama есть плагины Copilot под VSCode, но об этом позже.

При запуске приложения никаких окон не открывается, появляется только иконка в системном трее.

Открываете любимый терминал и вводите

ollama run llama3.1

Готово. Прям в этом же терминале можете продолжить работу с моделью в режиме чата.

У ollama команды похожие на те к которым уже все привыкли

ollama ps
ollama ls
ollama rm <model>

и тд

Можно кстати немного отконфигурировать модель, для этого создаём файл Modelfile

пишем в него например это

FROM llama3.1
PARAMETER temperature 1
SYSTEM """
Твоя задача на всё отвечать антонимами на русском языке.
"""

теперь создадим модель с этими настройками

ollama create anti -f Modelfile

и запускаем

ollama run anti

какие вы молодцы!

Что вышло см. ниже

Материал с моего ТГ канала тех.заметок @karpov_io