Подключение локальной модели
Существует несколько способов локально развернуть языковую модель. Среди популярных решений — Ollama, LM Studio, KoboldCpp и другие. В качестве примера рассмотрим установку через KoboldCpp.
Скачайте LLM, которую хочешь развернуть, в формате
.gguf. Найти их можно, например, на https://huggingface.co/.Скачайте и откройте «KoboldCpp». В лаунчере укажите путь к скачанной модели. Отметьте опцию «Remote Tunnel» и нажмите «Launch».
После запуска появится окно с командной строкой. Найдите строку «Your remote OpenAI Compatible API...» — в ней будет содержаться временная ссылка (например:
https://john-loving-cm-lows.trycloudflare.com/v1). Скопируйте её.Вернитесь на наш сайт, перейдите в каталог моделей и выберите вкладку «Hosts». Нажмите «Add Host».
В открывшемся окне в поле «Endpoint URL» вставляем нашу скопированную ссылку, а также добавляем
/chat/completionsв конце неё. В моем примере получится ссылкаhttps://john-loving-cm-lows.trycloudflare.com/v1/chat/completions. Остальные пункты по своему усмотрению.
Выберите вкладку «Models» и нажмите «Add Model».
В поле «Host» выберите созданный ранее хост. В «Display Name» укажите название, которое будет отображаться в каталоге. В «Model Name» введите точное имя
.gguf-файла, который вы скачали. В «Description» опишите сильные и слабые стороны модели.
Ниже укажите: максимально возможный размер контекста, настройки приватности, один или несколько тегов функциональности, дополнительные настройки, поддерживаемые моделью.
Нажмите «Create Model», чтобы создать модель. Немного подождите, модель появится в списке.
Last updated