AI

Elasticsearch - пример современной распределенной поисковой системы с открытым исходным кодом

В эпоху больших данных, как быстро извлечь необходимую информацию из массивных данных, стало ключевым вопросом в цифровом строительстве предприятий.Поиск товаров для электронной торговли [...]

4 Август, 202682 прочтения7 минут чтения.
Статьи

Введение

В эпоху больших данных, как быстро извлечь необходимую информацию из массивных данных, стало ключевым вопросом в цифровом строительстве предприятий.Независимо от поиска товаров электронной коммерции, анализа журналов, полного текстового поиска, а также Векторного поиска (Vector Search) и RAG (Retrieval-Augmented Generation), которые возникли в последние годы, не могут быть отделены от поддержки высокопроизводительных поисковых систем.

Поддерживается компанией Elastic. ElasticSearch Это один из наиболее влиятельных проектов с открытым исходным кодом в этой области.В GitHub. elastic/elasticsearch С более чем 70 тыс. Star и десятками тысяч Fork, склады активно разрабатываются и являются одним из самых популярных проектов корпоративных поисковых систем в мире.Она не только поддерживает традиционный поиск полного текста, но и постепенно превращается в платформу, объединяющую поиск, анализ, векторные базы данных и обработку данных в режиме реального времени

Что такое ElasticSearch?

Elasticsearch - это программа, основанная на Apache Lucene.Распределенный поисковый и аналитический механизм。

Официально оно определяется как:

Высокопроизводительная и масштабируемая распределенная поисковая система, аналитическая система, масштабируемая система хранения данных и векторная база данных для производственных сред.

По сравнению с традиционными базами данных, его главными особенностями является возможность миллисекундного поиска в больших объемах данных и поддержка сложных запросов, агрегированной статистики, полного текстового поиска и векторного поиска по сходству.

Основные характеристики

1.Распределенные архитектуры

Elasticsearch поддерживает распределенное развертывание.

Кластер может состоять из нескольких узлов, и каждый индекс автоматически разделяется на несколько узлов. Shard (осколки)Одновременно поддерживать Реплика (копия) повышение надежности системы.

Такая конструкция дает несколько преимуществ:

  • Высокая горизонтальная способность расширяться
  • Автоматическая балансировка нагрузки
  • Автоматическое восстановление узлов после отказа
  • Поддержка системы хранения данных объемом петабайт

Таким образом, он широко используется в таких отраслях, как Интернет, финансы, производство, где необходимо обрабатывать огромные объемы данных.

2.Полнотекстовые возможности поиска

Это самая классическая функция Elasticsearch.

Он создается при записи данных.Перевернутый индекс (Inverted Index)。

Например:

苹果 手机
华为 手机
小米 手机

Система не просматривает данные по отдельности, а создает:

手机：
    苹果
    华为
    小米

Благодаря этому поисковая скорость является чрезвычайно быстрой и сохраняет отзыв в миллисекундах даже перед лицом миллиардов данных.

3. REST API

Elasticsearch полностью использует интерфейс HTTP + JSON.

Создать индекс:

PUT /products

Добавить новый документ:

POST /products/_doc/1
{
  "name":"iPhone 16",
  "price":7999
}

Поиски:

GET /products/_search

Этот дизайн позволяет легко использовать практически все основные языки, такие как Java, Python, Go, Node.js, PHP и другие.

4.Обширные возможности анализа данных

Помимо поиска, он также поддерживает:

  • Агрегированная статистика (Aggregation)
  • Сортировка
  • Подгруппировка
  • Анализ временных рядов
  • Запрос географического положения
  • Фильтрация данных

Многие компании используют Elasticsearch в качестве аналитической платформы в реальном времени.

Например:

  • Статистика заказов в час
  • Анализ PV / UV
  • Анализ поведения пользователя
  • Список продаж

5.Векторный поиск и AI

Одним из наиболее важных направлений развития в последние годы является ИИ.

Официально Elasticsearch уже позиционируется как поддержка:

  • Векторный поиск
  • Семантические поиски
  • Гибридный поиск
  • Увеличенное генерирование (RAG)

Разработчики могут сохранять векторы Embedding в Elasticsearch и выполнять эффективный поиск сходства, обеспечивая поддержку внешних знаний для больших моделей.

Типичные сценарии применения Elasticsearch

Анализ журналов (ELK)

Самая классическая комбинация:

  • ElasticSearch
  • Logstash
  • Kibana

Образует известный в отрасли технологический стек ELK.

Доступно для:

  • Системные журналы
  • Журнал Nginx
  • Журнал приложений
  • Журнал обеспечения безопасности

помогает предприятиям быстро выявить проблемы.

Поиск электронной коммерции

Например:

搜索：
苹果 手机 256G

Система может реализовать:

  • Исправление правописания
  • Синонимы
  • Автозаполнение
  • Сортировка
  • выделение

гораздо больше базы данных LIKE Более эффективные запросы.

База корпоративных знаний

Все большее число компаний используют Elasticsearch для создания:

  • Центр документации
  • Wiki
  • OA Поиск
  • Поиск PDF
  • Поиск документов Office

Создание единого входа для поиска.

ИИ поиск знаний

С развитием больших моделей RAG стала популярной архитектурой.

Процесс обычно выглядит следующим образом:

用户问题
      │
Embedding
      │
Vector Search
      │
Elasticsearch
      │
返回相关文档
      │
LLM生成答案

Это также одно из направлений официального развития Elasticsearch в настоящее время.

Почему Elasticsearch так быстрый?

К числу основных причин относятся:

  1. Перевернутая индексация
  2. Высокопроизводительная индексная структура Lucene
  3. Управление файлами сегментов
  4. Запрос кэша
  5. Фильтр кэш
  6. параллельный поиск
  7. Одновременный запрос фрагментированного

Вместе эти механизмы гарантируют, что Elasticsearch по-прежнему обладает превосходной производительностью поиска в сценариях больших объемов данных.

Основные моменты репозитория GitHub

Официальный склад имеет следующие характеристики:

  • Код разработан в основном на Java.
  • Обеспечивает полноценный REST API.
  • Быстрое локальное развертывание Docker.
  • Имеет полную систему тестирования и процесс построения Gradle.
  • Обеспечивает большое количество официальных клиентов и ресурсов примеров.
  • Активное сообщество, постоянное обслуживание и обновление версий.

Быстрый старт

Официально рекомендуется быстро запустить Elasticsearch и Kibana локально с помощью Docker, чтобы создать среду разработки за несколько минут.

После этого можно:

  1. Создание индекса
  2. Запись в документ
  3. Выполнить поиск
  4. Визуализация анализа данных с помощью Kibana

Этот метод подходит для тестирования разработчиков и не рекомендуется непосредственно для производственной среды.

Резюме

Являясь одним из самых типичных проектов с открытым исходным кодом в поисковом пространстве, Elasticsearch превратился не просто в полнотекстовую поисковую систему, а в платформу данных, объединяющую возможности поиска, анализа, обработки данных в реальном времени и векторального поиска ИИ.

С быстрым распространением генеративных AI и RAG-приложений Elasticsearch повышает ценность в таких сценариях, как интеллектуальные вопросы и ответы, корпоративные базы знаний, анализ журналов и мониторинг в режиме реального времени.Для разработчиков, глубокое понимание их распределенной архитектуры, механизмов индексации и принципов запросов поможет не только создать высокопроизводительные поисковые системы, но и заложить прочную основу для разработки приложений ИИ.

Будь то традиционный интернет-бизнес или интеллектуальные приложения, ориентированные на будущее, Elasticsearch останется важной инфраструктурой в экологии с открытым исходным кодом, которая заслуживает постоянного внимания и изучения.