Мобильный Kmp клиент для Ollama server

#OLLAMA_HOST=0.0.0.0:11434 ollama serve

В этой статье я хочу зафиксировать практический опыт настройки локального сервера Ollama для работы с мобильным клиентом под Android и iOS. Это своего рода заметки на память, чтобы не забыть ход мысли при развёртывании ИИ-сервера и проектировании KMP-приложения.

Мы разберём, как скачать модели, как запустить их локально, а также упомянем, как подключить Ollama в качестве Model Provider для ИИ-помощника прямо в Android Studio. Основной упор сделан на создание простого ИИ-чат-бота с общим UI на Compose Multiplatform и решение неочевидных проблем, возникших в процессе разработки.

Ollama — это бесплатная программа, которая позволяет запускать большие языковые модели (LLM) локально на вашем компьютере. Это как «Docker для нейросетей»: вы одной командой скачиваете модель и общаетесь с ней — без интернета, без подписок и без отправки данных в облако

Читать далее