Гибридный поиск зависит от вашего токенизатора, а не от весов слияния
DEV · 13.11.2026 · 01:00
Семантический поиск может давать результаты, которые не соответствуют точным запросам, если токенизатор неправильно обрабатывает идентификаторы. Гибридный подход предполагает использование…
Оригинал
Hybrid retrieval is decided by your tokeniser, not your fusion weights
Semantic search looks like it works until someone pastes a part number into the box. Ask a vector index for HS-2841-B and it returns "related" chunks about heating systems, because embeddings treat the string as vague semantics rather than an exact identifier. Ask BM25 for the same thing and it usually gets the row — unless the tokeniser mangled the code first, which is the part nobody checks. Hybrid retrieval is the usual answer: run both, fuse the rankings. The interesting engineering is in