Во второй части про путь в ИИ-продукты я составила карту пробелов и пообещала закрывать их на задачах своих продуктов, а не на курсах. Первым взяла RAG. Задача была такая: помощник отвечает на вопросы по статьям CaseSociety, даёт ссылки на источники, а на вопрос не по теме честно говорит «не знаю».

Собирала вместе с Claude за один день. Рассказываю, что такое RAG, нужен ли он вообще на моём объёме и что показало сравнение на живых вопросах.

Что такое RAG простыми словами

RAG (Retrieval-Augmented Generation) — это генерация ответа с опорой на найденные материалы. Модель не знает моих статей: её учили на интернете до определённой даты. Если спросить её «что Евгения пишет про JTBD-интервью», она уверенно придумает правдоподобный ответ.

RAG решает это так: перед ответом модели подкладывают нужные куски текста. Она ничего не запоминает, а читает их прямо в момент ответа, как шпаргалку.

Мне помогла такая картинка: консультант в библиотеке. Без RAG он отвечает по памяти. С RAG сначала идёт к полкам, достаёт три-пять нужных страниц, кладёт перед собой и отвечает по ним, показывая, откуда что взял.

Технически это три шага:

  • Найти. По вопросу выбрать несколько подходящих кусков из всех статей.
  • Подложить. Положить эти куски в промпт вместе с правилом: «отвечай только по ним и ставь ссылки».
  • Ответить. Модель формулирует ответ. Если в кусках ответа нет, говорит, что не знает.

Главное, что я поняла ещё до кода: модель в RAG отвечает только за формулировку, а за знания отвечает поиск. Если нашлись не те куски, даже лучшая модель ответит плохо.

А нужен ли RAG, если весь блог влезает в контекст?

Это первый вопрос, который стоило себе задать. В блоге сейчас 46 статей, около 290 тысяч знаков, это примерно 120 тысяч токенов. Современная модель может прочитать весь блог целиком за один запрос. Можно вообще без поиска: отдать ей всё и попросить ответить.

Поэтому я решила не верить на слово, а сравнить два варианта на одних и тех же вопросах:

  • База: весь блог в каждом запросе.
  • RAG: пять подходящих кусков в каждом запросе.

Если база отвечает не хуже, это тоже честный результат. Тогда RAG на моём объёме просто не нужен.

Сначала вопросы, потом код

Прежде чем что-то собирать, я сделала тестовый набор из 11 вопросов. Брала не из головы, а из реальных поисковых подсказок и обсуждений на Хабре и vc.ru: как люди на самом деле спрашивают про респондентов, JTBD-интервью, гипотезы, приоритизацию, ИИ-агентов, продакт-билдеров.

Для каждого вопроса записала, в какой статье лежит ответ и две-три мысли, без которых ответ считается неверным. Ещё добавила три ловушки:

  • «Claude Code бесплатный? И как купить подписку из России?» — на первую половину ответ в блоге есть, на вторую нет.
  • «Как отключить PMF в настройках Wi-Fi роутера?» — реальный поисковый запрос. У роутеров PMF — это настройка защиты, а в моём блоге PMF — это product-market fit.
  • «Как подключить ИИ-агента от Сбера к своему бизнесу?» — слова «ИИ-агент» и «бизнес» в блоге есть, а ответа нет.

Ловушки нужны, потому что на очевидно чужой вопрос вроде рецепта борща «не знаю» скажет любая система. А на вопрос, похожий по словам, — далеко не любая.

Тестовый набор — это критерий готовности из второй части в рабочем виде. После любой правки я прогоняю вопросы, а не перечитываю ответы глазами.

Как я собрала RAG на своём блоге

Статьи блога и так лежат в базе Supabase, поэтому всё собрали там же:

  • Нарезка. Каждая статья режется по разделам h2. Получилось 381 кусок, в среднем по 700 знаков.
  • Поиск. Пока самый простой — по словам, с русской морфологией: «респондентов» и «респонденты» считаются одним словом. Заголовок раздела весит больше, чем текст.
  • Автообновление. Когда я правлю статью в админке, её куски пересобираются сами.
  • Порог. Если лучший найденный кусок совсем слабый, система сразу отвечает «в блоге этого нет» и даже не зовёт модель.
  • Судья. Отдельная, более дешёвая модель проверяет каждый ответ: прозвучали ли нужные мысли, есть ли выдумки, признал ли помощник незнание.

Код писал Claude. Моя работа — решить, что и зачем делаем, поставить критерии и проверить результат. Но прежде чем идти дальше, я разбиралась в каждом шаге: что такое RAG, нужен ли он мне вообще, за что именно я плачу.

Результаты: база против RAG

Весь блогRAG
Ответы, где прозвучали все нужные мысли9 из 113 из 11
Нужная статья в ссылках9 из 98 из 9
Честное «не знаю» на ловушках3 из 33 из 3
Выдумки00
Входных токенов на вопрос~120 600~2 300
Время ответа~7,6 с~5,5 с

На моём объёме база отвечает полнее. Она видит всё, поэтому и ловушки обходит сама: на вопрос про Wi-Fi спокойно объяснила, что в блоге PMF значит совсем другое.

RAG отвечает короче и беднее, но в 50 раз дешевле по входу и быстрее. И у него нет ни одной выдумки: когда нужного куска не находилось, помощник прямо писал, чего в материалах нет. Для меня это главный результат.

Где RAG ошибся и почему

Все ошибки RAG оказались ошибками поиска, а не модели:

  • Респонденты. Поиск нашёл вступление и раздел «Чем отблагодарить», но пропустил «Где искать» и «Как отобрать». В итоге ответ на главный вопрос неполный.
  • Кейс и вайтборд. Из статьи про вайтборд нашлись только вступление и подготовка за неделю. Раздела про то, как распределить час, в материалах не оказалось, и помощник честно это сказал.
  • Discovery и JTBD. Вместо раздела «Где здесь JTBD» нашёлся пример из статьи про Lean Startup.
  • Мусорные куски. По одному вопросу место в пятёрке занял кусок «Содержание», то есть оглавление статьи.

Поиск по словам хорошо находит нужную статью, но плохо находит нужный раздел внутри неё. Человек спрашивает «где взять людей», а в заголовке раздела написано «Где искать». Слова разные, смысл один.

Именно эту проблему решают эмбеддинги — поиск по смыслу, а не по словам. Это следующий кирпичик в моей карте, и теперь я точно знаю, зачем он нужен.

Ошибалась не только система

Честно запишу и свои ошибки, они тоже учат:

  • Судья без контекста. В первом прогоне судья не видел статей и любую конкретику считал выдумкой. Он «наказал» самые точные ответы: с цифрами и названиями из моих же статей. Проверяющему тоже нужен контекст, иначе оценка шумит сильнее, чем сам помощник.
  • Порог «2 из 3». Ответ засчитывался, если прозвучали две мысли из трёх. Только 2/3 — это 0,666, а порог стоял 0,67. Два хороших ответа помечались как проваленные, пока я не посмотрела руками.
  • Ключ. В первый раз я вставила в настройки не ключ API, а его название. Мелочь, но весь запуск встал, пока мы не нашли причину.

Сколько это стоит

Сам RAG ничего не стоит: поиск идёт внутри моей базы, как обычный запрос к таблице. Платно только обращение к модели. Платишь за токены: за всё, что отправила модели, и за всё, что она написала. Писать дороже, чем читать.

RAG экономит именно на входе. Вместо 120 тысяч токенов на каждый вопрос — около двух тысяч. У базы есть кэш: повторное чтение одного и того же блога стоит заметно дешевле. Но кэш живёт несколько минут, и на сайте, где вопросы приходят редко, он будет остывать.

Мой вывод: пока статей мало, «весь блог в контексте» — нормальный и даже лучший вариант. RAG нужен, когда материалов станет больше, чем влезает в запрос, или когда цена каждого ответа начнёт иметь значение.

Закрыт ли кирпичик

Во второй части я записала критерий: помощник отвечает со ссылками, а на вопрос не по теме честно говорит «не знаю». По этому критерию — да. Но шаг «выпустить» ещё не сделан: помощник пока живёт в тестовой функции, а не на сайте.

Поэтому честный статус — «частично». Дальше по плану:

  • добавить поиск по смыслу и сравнить с поиском по словам на тех же 11 вопросах;
  • убрать из нарезки мусорные куски вроде оглавлений;
  • выпустить помощника на сайт и посмотреть, что спрашивают живые люди.

Как повторить у себя

  • Возьмите свои материалы: статьи, заметки, базу знаний команды.
  • Начните с вопросов, а не с кода. Десять живых вопросов, ответы на них и две-три ловушки.
  • Сначала проверьте самый простой вариант: всё в контексте. Возможно, этого хватит.
  • Если не хватает, режьте материалы по смысловым разделам и ищите куски по вопросу.
  • Проверяйте ответы автоматически, но давайте проверяющему тот же контекст, что и помощнику.

Это третья часть серии. Первая — разбор 90-дневной программы ИИ-инженера, вторая — как я докучиваю недостающие кирпичики. Все материалы о роли собраны в статье «Кто такой Product Builder».

Больше разборов про продукты и ИИ — в моём Telegram-канале: t.me/jd_tools_life.

А если хотите разбираться не в одиночку, приходите в сообщество «Продуктовые разборы». Расскажите, на каких материалах вы бы собрали своего помощника.

Частые вопросы

Что такое RAG простыми словами?

Это способ отвечать на вопросы по своим материалам: сначала система находит несколько подходящих кусков текста, затем модель отвечает только по ним и ставит ссылки на источники.

Чем RAG отличается от обучения модели на своих данных?

При обучении знания встраиваются в саму модель, это долго и дорого, а обновить их непросто. В RAG модель не меняется: нужные материалы подкладываются в каждый запрос, и новая статья доступна помощнику сразу после публикации.

Нужен ли RAG, если все материалы помещаются в контекст?

Не всегда. На 46 статьях вариант «весь блог в запросе» ответил полнее. RAG нужен, когда материалов больше, чем влезает в запрос, или когда важна цена и скорость каждого ответа.

Можно ли сделать RAG без программирования?

Да, если собирать вместе с ИИ-агентом вроде Claude Code. Но понимать устройство всё равно придётся: иначе, когда помощник начнёт ошибаться, вы не поймёте, виноват поиск, нарезка или модель.

Что лучше: поиск по словам или эмбеддинги?

Поиск по словам простой, бесплатный и хорошо находит нужную статью. Эмбеддинги лучше понимают смысл, когда вопрос сформулирован другими словами. Часто их совмещают.

Как понять, что RAG работает хорошо?

Заранее составить набор вопросов с правильными ответами и ловушками и прогонять его после каждого изменения. Без этого любая оценка — ощущение.