ПРОЕКТ

Программное обеспечение базы знаний ИИ с ответами и источниками

Разработка индивидуального ПО, Загрузка частных документов, Вопросы и ответы ИИ по документам, Семантический поиск, Векторный поиск, Цитаты источников, Анализ документов, Аналитика

  • Сфера: Юридические услуги
  • Италия Местоположение: Италия
  • Срок реализации: 16 недель
  • Технологии: Python, JavaScript / TypeScript (Node.js)
4+ месяца

Клиентом была юридическая фирма, которая тратила много времени на поиск конфиденциальных документов для получения надежных ответов. Программное обеспечение принимает частные документы и файлы из облачных хранилищ, а затем предоставляет ответы на естественном языке на основе базы знаний фирмы. Цитаты источников, названия документов и ссылки на страницы показывают, откуда взят каждый ответ. Платформа также поддерживает анализ документов, структурированное извлечение данных, управление доступом и отслеживание использования.

Краткое описание

Проблема

Юридическая фирма тратит много времени на поиск и просмотр конфиденциальных документов, прежде чем ответить на юридические вопросы.

Решение

Решение стало частной платформой вопросов и ответов ИИ по документам с семантическим поиском, цитатами, анализом и контролируемым доступом.

Результат

Платформа создана для сокращения ручной работы с документами и необоснованных ответов при сохранении видимых доказательств.

История клиента

Клиентом была юридическая фирма из Италии. Она работает с конфиденциальными юридическими документами и бизнес-данными, включая договоры, заметки по делам и судебные материалы.

Поиск нужных фрагментов и просмотр документов занимают много времени. Фирме нужны ответы, которые можно отследить до предоставленных файлов.

Задача была простой: предоставлять ответы на естественном языке на основе частных документов, с цитатами источников и анализом на основе документов.

Решение сформировали как центральную базу знаний с контролируемым доступом, загрузкой документов, векторным поиском и ответами с источниками. Инструменты анализа и администрирования позже стали отдельными модулями.

Клиент хотел

  1. Отвечать на вопросы, используя предоставленные документы и данные организации
  2. Показывать цитаты источников и сокращать число необоснованных ответов
  3. Поддерживать семантический, векторный, гибридный и последовательный поиск
  4. Извлекать, сравнивать, обобщать, классифицировать документы и готовить отчеты по ним

Почему готовое ПО не подошло

Готовые решения включали юридических помощников и аналитику юридических данных, однако их описания не объединяли частное содержимое фирмы, необходимые доказательства, загрузку документов и анализ в одной адаптированной системе. Решение было создано с учетом контролируемого размещения и правил доступа. Оно также адаптировано к рабочему процессу фирмы и требованиям API.

Обзор проекта

Решение создано вокруг центральной базы знаний. Пользователи добавляют юридические файлы и подключенные источники, а статус обработки и контроль доступа помогают четко организовать и ограничить коллекцию.

Для обработки различных источников документов платформа извлекает содержимое из PDF, файлов Word и электронных таблиц. Она также обрабатывает сканированные документы, веб-сайты, содержимое Google Drive и Dropbox.

Содержимое разбивается на фрагменты, преобразуется в векторные представления и сохраняется для поиска.

Рабочее пространство вопросов и ответов объединяет семантический или гибридный поиск с ответом ИИ. Ссылки на страницы и выделенные фрагменты позволяют видеть доказательства рядом с текстом.

В отдельном рабочем пространстве анализа отображаются условия, даты и стороны. Также показываются обязательства, риски и сводки.

Результаты сравнения и анализа пробелов помогают компании оценивать содержимое документов по эталонным стандартам.

Администрирование включает пользователей, роли и разрешения. Также ведутся журналы чатов и аудита.

Платформа предоставляет API для обработки и получения документов. Модульная структура позволяет в будущем добавлять формы, автоматизацию, интеграции и функции анализа.

Реализованные ключевые функции

  • Частная база знаний юридических документов
  • Загрузка документов и фильтры источников
  • Вопросы и ответы ИИ по документам
  • Семантический, векторный, гибридный и последовательный поиск
  • Цитаты источников со ссылками на страницы
  • Выделенные подтверждающие фрагменты
  • Анализ документов и условий
  • Извлечение структурированных полей
  • Сравнение и анализ пробелов
  • Доступ на основе ролей и журналы аудита

Можно добавить

+ Помощник по базе знаний для клиентов + Помощник по знаниям о продуктах и поддержке + Дополнительные источники облачных хранилищ + Индивидуальные отчеты + Дополнительная автоматизация работы с документами

Кто еще может использовать это решение

Эти организации сталкиваются с похожей задачей поиска документов, поэтому то же решение можно адаптировать к их содержимому и правилам доступа.

Организация по вопросам соответствия

Задача Она просматривает нормативные документы и сравнивает их с эталонными стандартами.
Как помогает решение Решение находит нужные фрагменты, показывает цитаты и предоставляет структурированные выводы и анализ пробелов.

Медицинская организация

Задача Она ищет в частных документах и анализирует информацию в регулируемых материалах.
Как помогает решение Решение объединяет контролируемый доступ, ответы с источниками, извлечение документов и подготовленную для поиска базу знаний.

Команда бизнес-поддержки

Задача Ей нужны ответы из частных знаний о продуктах, поддержке, продажах или партнерах.
Как помогает решение Решение превращает файлы организации в помощника, адаптированного для поиска и предоставляющего ответы на основе доказательств.

Технологический стек

Python

Обработка документов и API

Python поддерживает извлечение и обработку документов, а также API приложений.

JavaScript / TypeScript (Node.js)

Интерфейсы и поисковые сервисы

JavaScript и TypeScript поддерживают интерфейс приложения, интеграции и поисковые сервисы.

pymupdf

Извлекать содержимое PDF

pymupdf (библиотека Python для извлечения и обработки PDF-файлов) считывает содержимое PDF для базы знаний.

mammoth

Читать документы Word

mammoth (библиотека, преобразующая файлы DOCX в читаемый HTML или Markdown) подготавливает содержимое Word для поиска.

langchain

Объединять компоненты RAG

langchain (набор инструментов для объединения языковых моделей, запросов, эмбеддингов и векторных хранилищ) поддерживает ответы с дополнением поиска.

pgvector

Хранить векторные эмбеддинги

pgvector (поддержка векторного поиска в PostgreSQL) хранит представления документов для семантического поиска.

qdrant

Искать документы по векторам

qdrant (клиент движка векторного поиска) находит фрагменты по семантическому сходству.

PDF, DOCX, XLSX, CSV

Обрабатывать исходные файлы

Платформа обрабатывает PDF, документы Word, электронные таблицы и CSV-файлы как источники документов.

Интеграции

Google Drive

Google Drive передает документы в базу знаний через окно выбора файлов или ссылку на файл.

Dropbox

Dropbox предоставляет частные файлы для загрузки и поиска.

PostgreSQL

PostgreSQL хранит записи приложения и работает вместе с pgvector для эмбеддингов документов.

Результат

База знаний, подготовленная для поиска, объединяет источники

На первом экране фирма может добавлять частные файлы и просматривать коллекцию, подготовленную для поиска. Контроль доступа гарантирует, что видимость источников соответствует правилам фирмы.

На экране отображается статус обработки документов и подключенных источников.

Как это работает

  1. Платформа принимает содержимое PDF, Word, DOCX, электронных таблиц, сканированных документов, веб-сайтов, Google Drive и Dropbox.
  2. Библиотеки обработки документов извлекают текст и подготавливают фрагменты источников для загрузки.
  3. В базе знаний отображаются документы, источники и типы файлов, статус обработки и контроль доступа.
  • Централизованная коллекция частных документов
  • Фильтры источников и типов файлов
  • Контролируемый доступ к источникам знаний
Совет: Первую рабочую версию тестируют на типичных файлах клиента, чтобы правила и настройки соответствовали стандартам фирмы.
База знаний и загрузка документов

База знаний и загрузка документов

Функции на этом экране
Загрузить документы Загрузить документы рабочего процесса

Ответы с цитатами упрощают проверку поиска по документам

На экране вопросов и ответов отображается ответ на естественном языке из документов, предоставленных фирмой. Цитаты связывают ответ с исходными файлами, страницами и выделенными фрагментами.

В истории чата сохраняются предыдущие вопросы и ответы, чтобы можно было продолжить исследование.

Как это работает

  1. Платформа получает вопрос пользователя и находит нужные разделы документов.
  2. ИИ генерирует ответ из найденных разделов и данных организации.
  3. На экране отображается ответ с цитатами источников, названиями документов, ссылками на страницы и выделенными фрагментами.
  • Ответы ИИ на основе источников
  • Ссылки на документы и страницы
  • Выделенные подтверждающие фрагменты
Примечание: Ответ остается связанным с исходными материалами, а не предоставляется как необоснованный ответ без доказательств.
Вопросы и ответы по документам с источниками

Вопросы и ответы по документам с источниками

Функции на этом экране
Вопросы и ответы ИИ по документам Найти нужные разделы документов Цитаты источников ответов

Статус поиска показывает, как работает поиск по документам

В техническом рабочем пространстве ответственные за платформу могут видеть процесс загрузки и поиска. Здесь отображаются фрагменты документов, эмбеддинги, результаты поиска и статус API.

В зависимости от настроек поиска можно использовать семантический, векторный, гибридный или последовательный поиск.

Как это работает

  1. Очередь загрузки подготавливает фрагменты документов и создает векторные эмбеддинги.
  2. Векторное хранилище записывает эмбеддинги и возвращает результаты семантического или гибридного поиска.
  3. Статус API показывает состояние поиска документов.
  • Статус эмбеддингов
  • Статус векторного хранилища
  • Видимость режима поиска
Семантический поиск и статус эмбеддингов

Семантический поиск и статус эмбеддингов

Функции на этом экране
Создавать эмбеддинги Хранить эмбеддинги Создавать конвейеры RAG

Анализ документов превращает фрагменты в оцениваемые выводы

В рабочем пространстве анализа представлена структурированная информация из юридических документов, включая даты, стороны и обязательства. Также отображаются риски и условия.

Панель сводки, режим сравнения и результаты анализа пробелов помогают фирме оценивать содержимое документов по эталонным стандартам.

Как это работает

  1. В рабочем пространстве отображаются извлеченные даты, стороны, обязательства, риски и условия.
  2. На панели сводки представлены сводки документов, а в режиме сравнения содержимое документов отображается вместе.
  3. Результаты анализа пробелов сравнивают информацию в документах с эталонными стандартами.
  • Структурированные поля
  • Список условий
  • Сравнение и анализ пробелов
Рабочее пространство анализа документов

Рабочее пространство анализа документов

Администрирование позволяет видеть доступ и активность

На экране администрирования фирма может управлять пользователями, ролями, разрешениями источников и активностью платформы. Журналы, отзывы и отчеты об ошибках помогают обеспечивать постоянный контроль.

Аналитика использования отображается вместе с историей чатов и журналом аудита.

Как это работает

  1. На платформе представлены пользователи, роли и разрешения для источников знаний.
  2. В режиме администрирования отображаются история чатов, аналитика использования, отзывы и отчеты об ошибках.
  3. В журнале аудита записывается важная активность платформы для проверки.
  • Управление пользователями и ролями
  • Журналы чатов
  • Журнал аудита
Администрирование и аналитика использования

Администрирование и аналитика использования

Что дает решение

С помощью этого решения юридическая фирма может:

  • Искать в частных юридических документах с помощью вопросов на естественном языке
  • Просматривать ответы вместе с цитатами и выделенными фрагментами
  • Использовать семантический, векторный, гибридный или последовательный поиск
  • Извлекать структурированную юридическую информацию для проверки
  • Сравнивать документы с эталонными стандартами
  • Управлять доступом, чатами и аудитом

Могут ли готовые системы выполнить эту работу?

До создания решения задачу сравнили с готовыми продуктами на основе их собственных описаний.

Что нужно клиенту Юридические помощники ИИ AI Legal Assistant, Harvey AI, Clio Work Платформы юридических данных Relativity, Rev, DISCO Platform Системы юридических рабочих процессов Filevine, Eve Legal, 8am DocketWise Индивидуальное решение
Отвечать на основе предоставленных документов частично частично
Показывать отслеживаемые цитаты источников — — —
Поддерживать семантический и гибридный поиск — частично —
Извлекать и сравнивать данные документов —
Соответствовать правилам самого клиента: этапам, ролям, отчетам частично частично частично
Все действия в одном месте — — —
Никаких ручных действий между программами частично — частично

На основе открытых описаний продуктов и их категорий.

Необходимые компоненты существуют в разных готовых юридических помощниках, платформах юридических данных и системах юридических рабочих процессов. Готового продукта может быть достаточно, если требуется только одна часть задачи.

Этому клиенту требовалось индивидуальное ПО, поскольку источники документов, цитаты, анализ, правила доступа и методы поиска должны были соответствовать одному рабочему процессу, а не быть распределены между отдельными продуктами. Также требовалось контролируемо объединить источники, поиск, ответы и анализ.

В итоге

В итоге решение создали, чтобы сократить ручную работу между частным юридическим документом и отслеживаемым ответом.

ЧАСТЫЕ ВОПРОСЫ

Планируете создать похожую систему? Эти ответы объясняют основные решения для поиска по частным документам и ответов ИИ с источниками.