Корпоративна база знань зі ШІ: як створити RAG-систему

Інструкції до товарів лежать на спільному диску, регламенти — в інтранеті, а правила ціноутворення — у голові керівника відділу продажів, тож заради відповіді на одне запитання доводиться питати трьох людей. Корпоративна база знань зі ШІ дає працівникам чи клієнтам змогу поставити запитання звичайною мовою й отримати відповідь із ваших власних документів разом із посиланням на джерело. Розповідаємо, як працює RAG, як створити базу знань у шість кроків, який варіант обрати й що варто знати про вартість і безпеку.

Головне

Корпоративні бази знань зі ШІ зазвичай будують на RAG (retrieval-augmented generation, генерація з доповненням через пошук): система знаходить релевантні фрагменти у ваших документах, а мовна модель відповідає на їхній основі й посилається на них. Якість залежить переважно від чистого контенту, якісного пошуку й прав доступу, закладених від самого початку, а не від вибору моделі. Low-code-платформи — найшвидший шлях до пілоту, відкриті моделі на власних серверах тримають дані всередині компанії, а індивідуальна розробка окупається, коли базу знань треба глибоко інтегрувати з вашими системами.

Що таке база знань зі ШІ і RAG-система

База знань зі ШІ відповідає на запитання, поставлені звичайною мовою, на основі власних документів компанії, і найпоширеніший спосіб її створити — RAG, скорочення від retrieval-augmented generation (генерація з доповненням через пошук). Термін походить зі статті Льюїса та співавторів 2020 року — дослідників із Facebook AI Research, Університетського коледжу Лондона та Нью-Йоркського університету, які поєднали знання, засвоєні мовною моделлю під час навчання, із зовнішнім індексом документів, у якому модель шукає під час відповіді.

Кожна відповідь проходить три кроки:

Пошук (retrieve): запитання перетворюється на вектор (набір чисел, що передає його зміст) і зіставляється з проіндексованими фрагментами ваших документів.
Доповнення (augment): найрелевантніші фрагменти передаються моделі разом із запитанням.
Генерація (generate): модель відповідає на основі цих фрагментів і називає документи, якими скористалася.

Оскільки індекс зберігається поза моделлю, знання можна оновлювати без повторного навчання, зазначають автори статті: замініть файл, переіндексуйте його — і відповіді зміняться відповідно.

RAG, ChatGPT і fine-tuning: у чому різниця

Різниця в тому, де зберігаються знання компанії: ChatGPT та інші універсальні асистенти знають лише публічні матеріали, на яких їх навчали; донавчання (fine-tuning) вбудовує знання чи стиль у саму модель; а RAG тримає знання в зовнішній бібліотеці, у якій шукає під час кожного запитання.

Універсальний асистент не знає характеристик ваших товарів, правил ціноутворення чи внутрішніх регламентів. Завантаження файлів допомагає як тимчасове рішення, але без єдиної актуальної версії й без окремих прав доступу для кожної людини.
Донавчання (fine-tuning) заново навчає модель на ваших даних. Воно допомагає з фіксованим форматом, тоном чи вузькою задачею, але погано підходить для зберігання фактів: коли документи змінюються, модель доводиться перенавчати, а відповіді не можуть послатися на джерело. Сама стаття про RAG зазначає, що суто параметричним моделям для оновлення знань потрібне додаткове навчання і їм важко показати походження відповіді.
RAG підхоплює оновлені документи одразу після переіндексації, цитує джерела й може фільтрувати вміст залежно від того, хто запитує.

Для більшості корпоративних баз знань почніть із RAG, а донавчання додавайте лише заради конкретного формату чи тону.

Де база знань зі ШІ допомагає найбільше

RAG найкраще працює із запитаннями, відповіді на які записані, але загубилися серед надто великої кількості документів: внутрішні запитання (відшкодування витрат, IT-інструкції, адаптація новачків), підтримка клієнтів на сайті чи у WhatsApp на основі посібників, правил повернення й минулих звернень (див. як створити чат-бота зі ШІ для підтримки клієнтів), матеріали для продажів — характеристики, порівняння, типові умови договорів, — регламенти й процедури якості з цитуванням пункт за пунктом, а також технічні посібники.

Два типи задач підходять погано. Живі дані, як-от залишки на складі чи статус замовлення, мають надходити напряму з ваших систем, наприклад через API або MCP-з’єднання з ERP, а не з експортованої таблиці, яка могла застаріти. А перевірку цілого договору пункт за пунктом не розв’язати пошуком кількох фрагментів.

Як створити корпоративну базу знань: шість кроків

Створення бази знань зі ШІ складається з шести кроків: провести аудит і почистити контент, розбити його на фрагменти й векторизувати, налаштувати пошук і переранжування, запровадити права доступу, цитувати джерела, оцінювати якість і оновлювати базу. Перші два кроки задають стелю якості.

1. Проведіть аудит і почистіть контент

Складіть перелік, де зберігаються знання (спільні диски, інтранет, пошта, системи обробки звернень), у яких форматах і хто їх підтримує. Приберіть застарілі версії й дублікати, розпізнайте скани (OCR), перебудуйте складні таблиці й позначте кожен документ тегами: відділ, рівень конфіденційності, регіон і дата набрання чинності. Якщо ваші документи суперечать один одному, ШІ теж суперечитиме сам собі. Зберіть і реальні запитання, які ставили люди, — для тестування.

2. Розбийте контент на фрагменти й векторизуйте

Документи розбивають на фрагменти (chunks), модель ембедингів (embedding model) перетворює їх на вектори, і ті зберігаються у векторній базі даних. Розбивайте за структурою документа: заголовки, пункти, пари «запитання — відповідь». Для орієнтиру: сервіс пошуку OpenAI стандартно використовує фрагменти по 800 токенів із перекриттям 400 токенів, а налаштування фрагментації в Dify мають режим «батьківський і дочірній фрагменти», який шукає збіги в малих фрагментах, але повертає як контекст увесь навколишній розділ.

Найпоширеніша проблема — втрата контексту. Дослідження Anthropic про Contextual Retrieval наводить приклад фрагмента, де сказано, що виручка зросла на 3 % порівняно з попереднім кварталом, але не сказано, якої компанії й якого кварталу. Рішення — додавати на початок кожного фрагмента назву документа, розділ і короткий опис. Для багатомовного контенту оберіть модель ембедингів, що підтримує всі ваші мови.

3. Налаштуйте пошук і переранжування

Сам лише векторний пошук пропускає те, що потребує точного збігу, як-от номери моделей чи пунктів, тому більшість систем додає пошук за ключовими словами, наприклад BM25 («гібридний пошук»), а потім модель переранжування (reranking). У тестах Anthropic у кількох предметних галузях додавання контексту до фрагментів зменшило частку релевантного вмісту, якого немає серед перших 20 результатів, на 35 %; додавання пошуку за ключовими словами — на 49 %; додавання переранжування — на 67 % (з 5,7 % до 1,9 %). Налаштування пошуку в Dify так само пропонують векторний, повнотекстовий і гібридний пошук із додатковим переранжуванням.

4. Запровадьте права доступу

Права доступу мають діяти під час пошуку: документи фільтруються залежно від того, хто запитує, ще до того, як щось потрапить до моделі, — зазвичай за допомогою метаданих, як-от відділ чи рівень конфіденційності. Сервіс пошуку OpenAI може фільтрувати файли за атрибутами перед семантичним пошуком, а фільтрація за метаданими в Dify звужує пошук за полями метаданих. Тримайте бази знань для клієнтів і для внутрішнього використання окремо. Промпт, який велить моделі берегти таємниці, — це не контроль доступу.

5. Цитуйте джерела

Кожна відповідь має показувати джерело: документ, розділ і, в ідеалі, посилання. Дайте моделі інструкцію відповідати лише на основі знайдених фрагментів і прямо казати, коли вони не охоплюють запитання. Цитування будує довіру й показує, який документ виправити, коли відповідь хибна; у Dify ця функція називається «Citation and Attribution».

6. Оцінюйте якість і підтримуйте актуальність

Перед запуском протестуйте базу на своїх реальних запитаннях: чи знайдено правильний документ, чи правильна відповідь, чи точне цитування? Після запуску переглядайте запитання без відповіді й невдалі відповіді та коригуйте налаштування. Призначте кожному набору документів відповідального, переіндексуйте файли, коли вони змінюються, і прибирайте документи, що втратили чинність.

Платформа, індивідуальна розробка чи власні сервери: як обрати

Правильний варіант залежить від того, як швидко ви хочете запустити пілот, наскільки чутливі дані й наскільки глибоко база знань має інтегруватися з вашими системами.

Low-code-платформи (як-от Dify чи Coze) дають змогу завантажити файли й налаштувати пошук у візуальному інтерфейсі — це підходить для прототипів, пілотів і стандартних сценаріїв. Dify і Coze Studio, відкриту версію Coze, можна розгорнути на власному сервері через Docker (див. інструкцію Dify для Docker Compose). Перевірте ліцензії: Coze Studio поширюється за Apache 2.0, а ліцензія Dify додає до Apache 2.0 умови, наприклад потребу в комерційній ліцензії для багатокористувацького (multi-tenant) сервісу. Складні моделі доступу чи глибокі інтеграції можуть виходити за межі можливостей платформи.

Індивідуальна розробка означає, що ви будуєте весь конвеєр самі (розбір документів, фрагментація, векторне сховище, гібридний пошук, права доступу) всередині вашої ERP, CRM, інтранету чи сайту. Це дає найбільше контролю й дозволяє використовувати наявні облікові записи та ролі ціною більших початкових інвестицій і постійного супроводу.

Власні сервери — це запуск моделей із відкритими вагами на ваших серверах або у виділеній хмарі, тож документи й запитання не залишають компанію. Поширені варіанти — DeepSeek і Qwen: код і ваги DeepSeek-R1 мають ліцензію MIT, і проєкт зазначає, що вони підтримують комерційне використання, а команда Qwen3 повідомляє, що її моделі з відкритими вагами поширюються за ліцензією Apache 2.0. Перевіряйте ліцензію кожної моделі: дистильовані версії DeepSeek-R1 побудовано на моделях Qwen або Llama, і проєкт відсилає до оригінальних ліцензій цих базових моделей. Вимоги до обладнання залежать від розміру: повна DeepSeek-R1 має 671 мільярд параметрів, а офіційні дистильовані версії — від 1,5 до 70 мільярдів і значно легші; протестуйте їх на власних запитаннях.

Варіанти добре поєднуються, наприклад Dify на власному сервері, під’єднаний до локальної відкритої моделі.

З чого складається вартість бази знань зі ШІ

Стандартної ціни немає: вартість складається з одноразових робіт і поточних витрат.

Одноразово: підготовка контенту (найбільш недооцінена частина, що зростає, коли джерела розпорошені, а серед документів є скани й таблиці), налаштування чи розробка, інтеграції — єдиний вхід (SSO), сайт, WhatsApp чи CRM, — а також тестування й доналаштування.
Поточні витрати: використання моделі (оплата за токени в хмарі або купівля чи оренда GPU-серверів у разі власного розгортання), виклики моделей ембедингів і переранжування (документація Dify зазначає, що переранжування витрачає токени моделі rerank), векторне сховище, підписки на платформи чи ліцензії, а також експлуатація: сервери, оновлення безпеки, підтримка контенту й моніторинг.

Головні чинники — обсяг і складність документів, кількість користувачів і запитань, права доступу, мови, модель розгортання й потрібна точність. Запустіть пілот в одному відділі, виміряйте реальну вартість однієї відповіді, а тоді вирішуйте, чи масштабувати.

Безпека даних: права доступу, відповідність вимогам і отруєння даних

База знань зі ШІ зосереджує інформацію компанії в одному місці, тому безпеку треба закладати від самого початку.

Права доступу: OWASP Top 10 для LLM-застосунків 2025 відносить вразливості векторів та ембедингів до ризиків: слабкий контроль доступу відкриває чутливий вміст, а команди чи клієнти, що спільно використовують одну векторну базу, можуть бачити дані один одного. OWASP рекомендує векторні сховища з урахуванням прав доступу й детальні журнали пошукових операцій.
Персональні дані: щодо персональних даних людей у ЄС GDPR вимагає обробляти лише необхідне (стаття 5), забезпечувати безпеку відповідно до ризику (стаття 32), мати договір із кожним постачальником, що обробляє дані від вашого імені (стаття 28), і законно передавати дані за межі ЄС (глава V). Багатьом сценаріям персональні дані взагалі не потрібні.
Отруєння даних: приклад OWASP — резюме з прихованим текстом (білим на білому), який велить ШІ рекомендувати кандидата, надіслане до системи найму, що перевіряє резюме за допомогою RAG. Індексуйте лише надійні джерела й перевіряйте завантажене.
Умови постачальників: якщо використовуєте хмарні моделі, з’ясуйте, чи застосовують дані для навчання, де й скільки їх зберігають, і встановіть строк зберігання журналів чатів. Як це влаштовано в бізнес-тарифах, ми порівняли в статті ChatGPT, Claude чи Gemini для бізнесу.

Типові помилки

Завантажити всі файли підряд: застарілі й суперечливі документи погіршують відповіді.
Чекати, що RAG усуне галюцинації: він їх зменшує, але не прибирає повністю, тож навчіть модель визнавати, що вона не знає відповіді, і перевіряйте важливі відповіді.
Лише векторний пошук: коди й власні назви губляться.
Додати права доступу пізніше: інформацію, що вже витекла, не повернеш.
Використовувати RAG без потреби: Anthropic зазначає, що базу знань до 200 000 токенів (приблизно 500 сторінок) можна просто вставити в промпт, якщо її вміщує контекстне вікно моделі.
Немає тестового набору й відповідального: ніхто не знає, чи якість зростає, а контент застаріває.

Поширені запитання

Як створити корпоративну базу знань зі ШІ?

Корпоративну базу знань зі ШІ створюють у шість кроків: аудит і чистка документів, розбиття на фрагменти й векторизація, гібридний пошук із переранжуванням, фільтрація за правами користувача, цитування джерел у кожній відповіді, а також оцінювання на реальних запитаннях і постійне оновлення контенту. Від компанії потрібні документи з відповідальним за кожен із них, набір реальних запитань і правила, хто що може бачити.

Чим RAG відрізняється від fine-tuning?

RAG під час запитання шукає фрагменти в зовнішній бібліотеці документів, тож оновлені документи починають діяти одразу після переіндексації, а відповіді можуть посилатися на джерела. Донавчання (fine-tuning) заново навчає модель на ваших даних; воно підходить для фіксованого формату, тону чи вузької задачі, але змінені факти вимагають повторного навчання, а відповіді не можуть указати на джерело. Більшість корпоративних баз знань починають із RAG.

Чи може база знань зі ШІ повністю працювати на наших серверах?

Так. Платформа (наприклад, Dify чи Coze Studio на власному сервері), векторна база даних і модель із відкритими вагами, як-от DeepSeek чи Qwen, можуть працювати на ваших серверах або у виділеній хмарі, тож документи й запитання не залишають компанію. У такому разі GPU-обладнання забезпечуєте й обслуговуєте ви, тож перевірте ліцензію кожної моделі й спершу протестуйте менші моделі на власних запитаннях.

UsualMatrix створює корпоративні бази знань зі ШІ для компаній з усього світу — на low-code-платформі, як індивідуальну розробку або з моделями з відкритим кодом на ваших серверах — і може під’єднати їх до ШІ-підтримки клієнтів на вашому сайті чи у WhatsApp. Ми спілкуємося китайською, іспанською та англійською. Перегляньте нашу послугу впровадження ШІ або напишіть нам, щоб обговорити ваші документи й сценарії.

Примітка: інформація про GDPR у цій статті — загальна, актуальна на дату публікації, і не є юридичною консультацією. Функції й ліцензії сторонніх продуктів змінюються, тож перевіряйте офіційну документацію кожного постачальника.