💻 LM Studio 

Как раз хотел попробовать новую Llama, но не мог найти под нее нормальных интерфейсов. Это приложение дает запускать модели локально. На удивление оно работает приемлемо. Можно поэкспериментировать с размерами моделей и их скоростью работы. Из этого можно родить много идей, ведь по сути это API к чатботу на локалхосте. Бесплатно. Доступно под Мак, Винду и Линукс.

Работает оно, конечно, хуже, чем API любых моделей. Иногда зависает, иногда тупит — явно видно, что сырые модели обучены как-то по-другому, потому что тех же самых промптов ей бывает недостаточно.

Долго жить поднятая модель у меня почему-то не может — она просто перестает отвечать через какое-то время и помогает ток рестарт.

Юзкейсов для такого локального сетапа, кроме как для экономии денег, не очень много. Круто для работы с документами и договорами, которые не хочется отдавать в тот же OpenAI. Но работает это очень медленно и забивает все ресурсы компа даже у меня на M3 Max. Не очень юзабельная штука, но если важна прайваси, то можно и подождать пару раз.

Тем не менее, если часто что-то делаешь с помощью нейросетей, то уверен применение этому приложению найдется. Правда, нормальных гайдов в интернете я не нашел, одна поверхносная херня от расплодившихся AI-блогеров.

Подписывайтесь на мой Телеграм.