Корпоративная база знаний с ИИ: как создать RAG-систему

Инструкции к продуктам лежат на общем диске, регламенты — во внутреннем портале, а правила ценообразования — в голове у руководителя отдела продаж, поэтому ради ответа на один вопрос приходится опрашивать троих коллег. База знаний с ИИ позволяет сотрудникам или клиентам спросить обычными словами и получить ответ из ваших собственных документов со ссылкой на источник. Рассказываем, как работает RAG, как создать такую систему за шесть шагов, какой вариант выбрать и что важно знать о стоимости и безопасности.

Главное

Корпоративные базы знаний с ИИ обычно строят на RAG (retrieval-augmented generation, генерация с дополненной выборкой): система находит подходящие фрагменты в ваших документах, а языковая модель отвечает на их основе и ссылается на них. Качество зависит в первую очередь от чистого контента, хорошего поиска и разграничения доступа, заложенного с самого начала, а не от выбора модели. Платформы low-code — самый быстрый способ провести пилот, открытые модели на своих серверах оставляют данные внутри компании, а собственная разработка окупается, когда базу знаний нужно глубоко встроить в ваши системы.

Что такое база знаний с ИИ (RAG-система)?

База знаний с ИИ отвечает на вопросы, заданные обычным языком, по собственным документам компании, и чаще всего её строят по технологии RAG (retrieval-augmented generation, генерация с дополненной выборкой). Термин появился в статье Льюиса и соавторов 2020 года (на английском): исследователи из Facebook AI Research, Университетского колледжа Лондона и Нью-Йоркского университета объединили знания, которые языковая модель получает при обучении, с внешним индексом документов, где она ищет информацию при ответе.

Каждый ответ проходит три шага:

Поиск: вопрос превращается в вектор (набор чисел, передающих смысл) и сопоставляется с проиндексированными фрагментами ваших документов.
Дополнение: самые подходящие фрагменты передаются модели вместе с вопросом.
Генерация: модель отвечает на основе этих фрагментов и называет документы, которые использовала.

Поскольку индекс хранится вне модели, отмечают авторы статьи, знания можно обновлять без переобучения: замените файл, переиндексируйте его, и ответы изменятся.

RAG, ChatGPT или дообучение: в чём разница?

Разница в том, где хранятся знания компании: ChatGPT и другие универсальные ассистенты знают только общедоступные материалы, на которых их обучали; дообучение (fine-tuning) встраивает знания или стиль в саму модель; RAG хранит знания во внешней библиотеке, в которой система ищет ответ на каждый вопрос.

Универсальный ассистент не знает характеристик ваших продуктов, правил ценообразования и регламентов. Загрузка файлов помогает как временное решение, но без единой актуальной версии и без прав доступа для каждого сотрудника.
Дообучение заново обучает модель на ваших данных. Оно полезно для фиксированного формата, тона или узкой задачи, но плохо подходит для хранения фактов: когда документы меняются, модель приходится дообучать снова, а ответы не могут сослаться на источник. В самой статье о RAG отмечается, что чисто параметрическим моделям для обновления знаний нужно дополнительное обучение и им трудно показать, откуда взята информация.
RAG учитывает обновлённые документы сразу после переиндексации, ссылается на источники и может фильтровать контент в зависимости от того, кто спрашивает.

Для большинства корпоративных баз знаний стоит начинать с RAG, а дообучение добавлять только ради определённого формата или тона.

Где база знаний с ИИ приносит больше всего пользы

RAG лучше всего работает с вопросами, ответы на которые записаны, но разбросаны по слишком большому числу документов: внутренние вопросы сотрудников (командировочные расходы, ИТ-инструкции, адаптация новичков), поддержка клиентов по руководствам, правилам возврата и прошлым обращениям на сайте или в WhatsApp (см. статью о том, как создать чат-бота с ИИ для поддержки клиентов), материалы для продаж — характеристики, сравнения и типовые условия договоров, — регламенты и процедуры качества с цитированием по пунктам, а также техническая документация.

Две категории задач подходят плохо. Оперативные данные, такие как остатки на складе или статус заказа, должны поступать напрямую из ваших систем, например через API или MCP-сервер, подключённый к ERP, а не из выгруженной таблицы, которая могла устареть. А проверку целого договора по пунктам не решить поиском нескольких фрагментов.

Как создать базу знаний с ИИ за шесть шагов

Создание базы знаний с ИИ состоит из шести шагов: провести аудит и очистить контент, разбить его на фрагменты и построить эмбеддинги, настроить поиск и переранжирование, разграничить доступ, ссылаться на источники, а также оценивать качество и обновлять базу. Первые два шага задают потолок качества.

1. Проведите аудит и очистите контент

Составьте список мест, где хранятся знания (общие диски, внутренний портал, почта, система обработки обращений), форматов и ответственных. Удалите устаревшие версии и дубли, распознайте сканы (OCR), переструктурируйте сложные таблицы и пометьте каждый документ: отдел, уровень конфиденциальности, регион и дата вступления в силу. Если документы противоречат друг другу, ИИ тоже будет противоречить сам себе. Заодно соберите реальные вопросы, которые задают люди, — они понадобятся для тестов.

2. Разбейте документы на фрагменты и постройте эмбеддинги

Документы разбиваются на фрагменты (чанки), модель эмбеддингов превращает их в векторы, а векторы сохраняются в векторной базе данных. Делите текст по структуре документа: заголовки, пункты, пары «вопрос — ответ». Для ориентира: сервис поиска OpenAI (на английском) по умолчанию использует фрагменты по 800 токенов с перекрытием в 400 токенов, а в настройках фрагментации Dify есть режим «родитель — потомок»: поиск идёт по маленьким фрагментам, а в качестве контекста возвращается весь окружающий раздел.

Самая частая проблема — потеря контекста. В исследовании Anthropic о контекстном поиске (Contextual Retrieval) приводится пример фрагмента, где сказано, что выручка выросла на 3% по сравнению с предыдущим кварталом, но не сказано, о какой компании и каком квартале идёт речь. Решение — добавлять в начало каждого фрагмента название документа, раздел и короткое описание. Для многоязычного контента выбирайте модель эмбеддингов, которая поддерживает все ваши языки.

3. Настройте поиск и переранжирование

Один векторный поиск пропускает то, что требует точного совпадения, например артикулы или номера пунктов, поэтому большинство систем добавляют поиск по ключевым словам, например BM25 («гибридный поиск»), а затем модель переранжирования (reranking). В тестах Anthropic на нескольких областях знаний добавление контекста к фрагментам сократило долю релевантного контента, не попавшего в первые 20 результатов, на 35%, добавление поиска по ключевым словам — на 49%, а переранжирование — на 67% (с 5,7% до 1,9%). В настройках поиска Dify тоже есть векторный, полнотекстовый и гибридный поиск с необязательным переранжированием.

4. Разграничьте доступ

Права доступа должны применяться в момент поиска: документы фильтруются по тому, кто спрашивает, ещё до того, как что-либо попадёт в модель. Обычно для этого документы размечают метаданными, например отделом или уровнем конфиденциальности. Сервис поиска OpenAI умеет фильтровать файлы по атрибутам до семантического поиска, а фильтрация по метаданным в Dify сужает поиск по полям метаданных. Держите базы знаний для клиентов и для сотрудников раздельно. Инструкция в промпте «не раскрывай секреты» — это не контроль доступа.

5. Ссылайтесь на источники

Каждый ответ должен показывать источник: документ, раздел и, в идеале, ссылку. Поручите модели отвечать только по найденным фрагментам и прямо говорить, если они не покрывают вопрос. Ссылки на источники вызывают доверие и показывают, какой документ исправить, если ответ неверен; в Dify эта функция называется «Citation and Attribution».

6. Оценивайте качество и поддерживайте базу в актуальном состоянии

Перед запуском проверьте систему на своих реальных вопросах: найден ли нужный документ, верен ли ответ, точна ли ссылка? После запуска разбирайте вопросы без ответа и бесполезные ответы и вносите поправки. Назначьте ответственного за каждый набор документов, переиндексируйте файлы при изменениях и убирайте документы, срок действия которых истёк.

Платформа, собственная разработка или свои серверы: как выбрать

Подходящий вариант зависит от того, как быстро вы хотите запустить пилот, насколько чувствительны данные и насколько глубоко база знаний должна быть связана с вашими системами.

Платформы low-code (например, Dify или Coze) позволяют загружать файлы и настраивать поиск в визуальном интерфейсе; они подходят для прототипов, пилотов и типовых сценариев. Dify и Coze Studio, открытую версию Coze, можно развернуть на своих серверах через Docker (см. руководство Dify по Docker Compose). Проверьте лицензии: Coze Studio распространяется по Apache 2.0, а лицензия Dify добавляет к Apache 2.0 условия, например требует коммерческую лицензию для мультиарендного (multi-tenant) сервиса. Сложные модели прав доступа или глубокие интеграции могут выйти за рамки возможностей платформы.

Собственная разработка означает, что вы сами строите весь конвейер (разбор документов, фрагментация, векторное хранилище, гибридный поиск, права доступа) внутри вашей ERP, CRM, внутреннего портала или сайта. Это даёт максимальный контроль и позволяет использовать существующие учётные записи и роли, но требует больших стартовых вложений и постоянной поддержки.

Размещение на своих серверах означает, что модели с открытыми весами работают на ваших серверах или в выделенном облаке, и документы и вопросы не покидают компанию. Популярные варианты — DeepSeek и Qwen: код и веса DeepSeek-R1 распространяются по лицензии MIT, и в проекте указано, что они допускают коммерческое использование, а команда Qwen3 сообщает, что её открытые модели распространяются по лицензии Apache 2.0. Проверяйте лицензию каждой модели: дистиллированные версии DeepSeek-R1 построены на моделях Qwen или Llama, и проект отсылает к исходным лицензиям этих базовых моделей. Требования к оборудованию зависят от размера: полная DeepSeek-R1 содержит 671 миллиард параметров, а официальные дистиллированные версии — от 1,5 до 70 миллиардов и гораздо легче; проверьте их на своих вопросах.

Варианты хорошо сочетаются, например Dify на своём сервере, подключённый к локальной открытой модели.

Из чего складывается стоимость базы знаний с ИИ

Стандартной цены нет: стоимость складывается из разовых работ и текущих расходов.

Разовые работы: подготовка контента (самая недооценённая часть, и она растёт, если источники разрозненны, много сканов и таблиц), настройка или разработка, интеграции, например единый вход (SSO), сайт, WhatsApp или CRM, а также тестирование и доводка.
Текущие расходы: использование модели (оплата за токены в облаке или покупка либо аренда GPU-серверов при размещении у себя), вызовы моделей эмбеддингов и переранжирования (в документации Dify отмечено, что переранжирование расходует токены модели переранжирования), векторное хранилище, подписки на платформы или лицензии, а также эксплуатация: серверы, обновления безопасности, поддержка контента и мониторинг.

Главные факторы стоимости — объём и сложность документов, число пользователей и вопросов, права доступа, языки, способ развёртывания и требуемая точность. Запустите пилот в одном отделе, измерьте реальную стоимость одного ответа, а затем решайте, стоит ли масштабировать.

Безопасность данных: доступ, требования закона и «отравление»

База знаний с ИИ собирает информацию компании в одном месте, поэтому безопасность нужно закладывать с самого начала.

Права доступа: в OWASP Top 10 для LLM-приложений 2025 (на английском) уязвимости векторов и эмбеддингов названы отдельным риском: слабый контроль доступа раскрывает конфиденциальный контент, а команды или клиенты, которые пользуются одной векторной базой данных, могут видеть данные друг друга. OWASP рекомендует векторные хранилища с учётом прав доступа и подробные журналы операций поиска.
Персональные данные: для персональных данных людей в ЕС GDPR требует обрабатывать только необходимое (статья 5), обеспечивать безопасность, соответствующую риску (статья 32), заключать договор с любым поставщиком, который обрабатывает данные от вашего имени (статья 28), и законно передавать данные за пределы ЕС (глава V). Многим сценариям персональные данные вообще не нужны.
«Отравление» данных: в примере OWASP кандидат отправляет резюме со скрытым текстом белым по белому, который велит ИИ рекомендовать этого кандидата, в систему найма, отбирающую резюме с помощью RAG. Индексируйте только доверенные источники и проверяйте загружаемые файлы.
Условия поставщиков: при работе с облачными моделями уточните, используются ли данные для обучения, где и как долго они хранятся, и задайте срок хранения журналов диалогов.

Частые ошибки

Загрузить все файлы подряд: устаревшие и противоречивые документы ухудшают ответы.
Ждать, что RAG избавит от галлюцинаций: он их сокращает, но не устраняет, поэтому модель должна признавать, что не знает ответа, а важные ответы стоит проверять.
Только векторный поиск: коды и имена собственные теряются.
Добавить права доступа потом: утёкшую информацию не вернуть.
Использовать RAG, когда он не нужен: Anthropic отмечает, что базу знаний объёмом меньше 200 тысяч токенов (около 500 страниц) можно просто поместить в промпт, если контекстное окно модели её вмещает.
Нет тестового набора вопросов и ответственного: никто не видит, растёт ли качество, а контент устаревает.

Частые вопросы

Как создать базу знаний с ИИ для компании?

Базу знаний с ИИ создают за шесть шагов: провести аудит и очистить документы, разбить их на фрагменты и построить эмбеддинги, искать с помощью гибридного поиска и переранжирования, фильтровать по правам пользователя, ссылаться на источники в каждом ответе, а также проверять качество на реальных вопросах и поддерживать контент в актуальном состоянии. Со стороны компании нужны документы с ответственным за каждый из них, набор реальных вопросов и правила, кто что может видеть.

Чем RAG отличается от дообучения модели?

RAG находит фрагменты во внешней библиотеке документов в момент вопроса, поэтому обновлённые документы начинают действовать сразу после переиндексации, а ответы могут ссылаться на источники. Дообучение заново обучает модель на ваших данных; оно подходит для фиксированного формата, тона или узкой задачи, но при изменении фактов модель нужно дообучать снова, а ответы не могут указать источник. Большинство корпоративных баз знаний начинают с RAG.

Можно ли развернуть базу знаний с ИИ полностью на своих серверах?

Да. Платформа (например, Dify или Coze Studio на своём сервере), векторная база данных и модель с открытыми весами, такая как DeepSeek или Qwen, могут работать на ваших серверах или в выделенном облаке, и тогда документы и вопросы не покидают компанию. В этом случае GPU-оборудование вы обеспечиваете и обслуживаете сами, поэтому проверьте лицензию каждой модели и сначала испытайте модели поменьше на своих вопросах.

UsualMatrix создаёт базы знаний с ИИ для компаний по всему миру: на платформе low-code, как собственную разработку или с открытыми моделями на ваших серверах, и может подключить их к ИИ-оператору поддержки на вашем сайте или в WhatsApp. Мы общаемся на китайском, испанском или английском языке. Посмотрите нашу услугу внедрения ИИ или напишите нам, чтобы обсудить ваши документы и сценарии.

Примечание: сведения о GDPR в этой статье представляют собой общую информацию, актуальную на дату публикации, и не являются юридической консультацией. Функции и лицензии сторонних продуктов меняются, поэтому сверяйтесь с официальной документацией каждого поставщика.