Haystack: как сделать поиск по документам и Q&A-систему на RAG

Обзор Haystack: pipeline-подход, RAG, retrievers, generators, плюсы и минусы, пример с SpeShu.AI.

Haystack — open-source фреймворк deepset для построения production-ready RAG, поиска по документам и AI-пайплайнов. Его используют, когда нужно не просто вызвать LLM, а явно собрать цепочку из retriever, prompt builder, generator и document store.

О Haystack говорят в контексте надёжных RAG-систем. Он хорошо подходит командам, которым важны понятные компоненты, явные входы и выходы, возможность тестировать pipeline и менять отдельные части без переписывания всего проекта.

В этой статье разберём, как работает Haystack и как направить OpenAI-компоненты на SpeShu.AI.

​

Что такое haystack

Haystack — это framework для AI orchestration. В нём приложение собирается из компонентов: document store, retriever, prompt builder, generator, ranker, converter и других блоков.

Главная область применения — поиск и Q&A по документам. Например: пользователь задаёт вопрос, retriever ищет релевантные фрагменты, prompt builder формирует контекст, generator отвечает через LLM.

Haystack полезен backend-командам, которые хотят видеть pipeline как инженерную систему, а не как набор скрытых магических вызовов.

​

Как работает haystack

Haystack pipeline похож на граф компонентов. Каждый компонент объявляет входы и выходы. Вы добавляете их в Pipeline, соединяете через connect, а затем запускаете с данными.

Для RAG нужны минимум:

• DocumentStore для хранения документов;
• Retriever для поиска;
• ChatPromptBuilder для prompt;
• OpenAIChatGenerator для ответа модели.

OpenAI-компоненты поддерживают api_base_url, поэтому их можно направить на совместимый endpoint SpeShu.AI.

​

Что умеет haystack

• строить явные RAG pipeline;
• подключать BM25, embeddings и hybrid retrieval;
• использовать разные document stores;
• вызывать chat generators;
• добавлять rankers, routers и evaluators;
• тестировать компоненты отдельно;
• собирать agents и tools поверх pipeline.

Мини-кейсы: Q&A по документации, поиск по базе знаний, ассистент поддержки, юридический поиск, технический helpdesk, аналитика документов.

​

haystack на практике

Пример ниже создаёт короткий RAG pipeline. Для простоты используется in-memory document store и BM25 retriever, а генерация ответа идёт через SpeShu.AI.

import os
from haystack import Document, Pipeline
from haystack.components.builders import ChatPromptBuilder
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.components.retrievers.in_memory import InMemoryBM25Retriever
from haystack.dataclasses import ChatMessage
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.utils import Secret

document_store = InMemoryDocumentStore()
document_store.write_documents([
    Document(content="SpeShu.AI предоставляет OpenAI-compatible API."),
    Document(content="RAG отвечает по найденным документам, а не только по памяти модели."),
])

prompt_template = [
    ChatMessage.from_system("Отвечай кратко и только по документам."),
    ChatMessage.from_user(
        "Документы:\n{% for doc in documents %}{{ doc.content }}\n{% endfor %}\n"
        "Вопрос: {{ question }}"
    ),
]

pipeline = Pipeline()
pipeline.add_component("retriever", InMemoryBM25Retriever(document_store))
pipeline.add_component("prompt", ChatPromptBuilder(template=prompt_template))
pipeline.add_component(
    "llm",
    OpenAIChatGenerator(
        model="openai/gpt-5.5",
        api_key=Secret.from_token(os.environ["SPESHU_AI_API_KEY"]),
        api_base_url="https://speshu.ai/api/v1",
    ),
)
pipeline.connect("retriever.documents", "prompt.documents")
pipeline.connect("prompt.prompt", "llm.messages")

question = "Зачем нужен RAG?"
result = pipeline.run({
    "retriever": {"query": question},
    "prompt": {"question": question},
})

print(result["llm"]["replies"][0].text)

Для семантического поиска добавьте embedder и vector retriever. Для продакшена замените in-memory store на Elasticsearch, OpenSearch, Qdrant, Weaviate или другой supported backend.

​

Преимущества и недостатки haystack

Плюсы:

• явная архитектура pipeline;
• сильный фокус на RAG и retrieval;
• компоненты удобно тестировать отдельно;
• есть поддержка custom OpenAI base URL.

Минусы:

• старт может быть чуть тяжелее, чем у простого LangChain-примера;
• нужно понимать связи компонентов;
• для маленьких одноразовых скриптов Haystack может быть избыточен.

​

haystack vs альтернативы

Haystack vs LangChain: Haystack даёт более явный pipeline-подход. LangChain шире по интеграциям и быстрее для экспериментальных цепочек.

Haystack vs LlamaIndex: LlamaIndex удобен, когда вы начинаете с данных и query engine. Haystack лучше, когда нужна инженерная сборка pipeline с контролируемыми компонентами.

Haystack vs Dify: Dify даёт UI и no-code workflow. Haystack — кодовый framework для разработчиков.

​

Кому подойдёт haystack

Haystack подойдёт backend-разработчикам, ML-инженерам, поисковым командам, AI-стартапам и компаниям, которые строят внутренний поиск по документам.

Если вам важны тестируемость, явные компоненты и production RAG, Haystack стоит рассмотреть одним из первых.

​

Как попробовать haystack через SpeShu.AI

SpeShu.AI подключается к OpenAIChatGenerator через api_base_url:

• не нужен VPN;
• не нужна зарубежная карта;
• доступно несколько моделей;
• один API-ключ для разных проектов;
• быстрый старт через speshu.ai/profile.

Модели смотрите в каталоге, формат chat-запросов — в Chat Completions.

​

Заключение

Haystack — сильный выбор для RAG-систем, где важны pipeline, контроль и воспроизводимость. Главный инсайт: хороший Q&A по документам строится не только на LLM, а на качественном retrieval и прозрачной сборке компонентов.

---

Подключить API

Запустите интеграцию через SpeShu.AI: единый доступ к AI-моделям, без VPN и зарубежной карты