Блог

Jun 23, 2023

5 простых способов запустить LLM локально

Шэрон Махлис, исполнительный редактор отдела данных и аналитики, InfoWorld | Чат-боты, такие как ChatGPT, Claude.ai и phind, могут быть весьма полезны, но вам не всегда нужны ваши вопросы или конфиденциальные данные.

Шэрон Махлис

Исполнительный редактор отдела данных и аналитики, InfoWorld |

Чат-боты, такие как ChatGPT, Claude.ai и phind, могут быть весьма полезны, но вы не всегда можете захотеть, чтобы ваши вопросы или конфиденциальные данные обрабатывались внешним приложением. Это особенно актуально для платформ, где ваши взаимодействия могут просматриваться людьми и иным образом использоваться для обучения будущих моделей.

Одним из решений является загрузка большой языковой модели (LLM) и запуск ее на своем компьютере. Таким образом, посторонняя компания никогда не получит доступа к вашим данным. Это также быстрый вариант опробовать некоторые новые специализированные модели, такие как недавно анонсированное семейство моделей Meta Code Llama, которые настроены для кодирования, и SeamlessM4T, предназначенный для преобразования текста в речь и языковых переводов.

Управление собственным LLM может показаться сложным, но с правильными инструментами это на удивление легко. И аппаратные требования для многих моделей не являются сумасшедшими. Я протестировал варианты, представленные в этой статье, на двух системах: ПК Dell с процессором Intel i9, 64 ГБ ОЗУ и графическим процессором Nvidia GeForce 12 ГБ (который, вероятно, не использовался для запуска большей части этого программного обеспечения), а также на Mac с чипом M1, но всего 16 ГБ оперативной памяти.

Имейте в виду, что может потребоваться небольшое исследование, чтобы найти модель, которая достаточно хорошо справляется с вашей задачей и работает на оборудовании вашего настольного компьютера. И немногие из них могут быть такими же хорошими, как те, к которым вы привыкли, с помощью такого инструмента, как ChatGPT (особенно с GPT-4) или Claude.ai. Саймон Уиллисон, создатель инструмента командной строки LLM, в своей презентации на прошлой неделе утверждал, что запуск локальной модели может оказаться целесообразным, даже если ее ответы неверны:

Стоит также отметить, что модели с открытым исходным кодом, вероятно, будут продолжать совершенствоваться, и некоторые обозреватели отрасли ожидают, что разрыв между ними и коммерческими лидерами сократится.

Если вам нужен чат-бот, который работает локально и не отправляет данные куда-либо еще, GPT4All предлагает для загрузки настольный клиент, который довольно легко настроить. Он включает в себя опции для моделей, которые работают в вашей собственной системе, а также есть версии для Windows, macOS и Ubuntu.

Когда вы впервые откроете настольное приложение GPT4All, вы увидите варианты загрузки около 10 (на момент написания статьи) моделей, которые могут работать локально. Среди них — чат Llama-2-7B, модель от Meta AI. Вы также можете настроить GPT-3.5 и GPT-4 OpenAI (если у вас есть доступ) для нелокального использования, если у вас есть ключ API.

Часть интерфейса GPT4All, посвященная загрузке модели, поначалу была немного запутанной. После того, как я скачал несколько моделей, я все равно увидел возможность скачать их все. Это означало, что загрузка не сработала. Однако когда я проверил путь загрузки, модели были там.

Часть интерфейса загрузки модели в GPT4All. Как только я открыл раздел использования приложения, мои загруженные модели автоматически появились.

После настройки моделей интерфейс чат-бота становится понятным и простым в использовании. Удобные опции включают копирование чата в буфер обмена и создание ответа.

Интерфейс чата GPT4All понятен и прост в использовании.

Также имеется новая бета-версия плагина LocalDocs, которая позволяет вам «общаться» с вашими собственными документами локально. Вы можете включить его вНастройки > ПлагиныВкладка, где вы увидите заголовок «Настройки плагина LocalDocs (БЕТА)» и возможность создать коллекцию по определенному пути к папке.

Плагин находится в стадии разработки, и документация предупреждает, что LLM все еще может «галлюцинировать» (выдумывать), даже если у него есть доступ к добавленной вами экспертной информации. Тем не менее, это интересная функция, которая, вероятно, будет улучшаться по мере того, как модели с открытым исходным кодом станут более функциональными.

Помимо приложения чат-бота, GPT4All также имеет привязки для Python, Node и интерфейс командной строки (CLI). Существует также режим сервера, который позволяет вам взаимодействовать с локальным LLM через HTTP API, структура которого очень похожа на OpenAI. Цель состоит в том, чтобы позволить вам заменить локальный LLM на OpenAI, изменив пару строк кода.