Что делает HR-бот, когда не знает ответа

Страх поставить ИИ перед вопросами сотрудников не в том, что он ответит медленно. А в том, что он ответит уверенно и неверно — политика отпусков, выдуманная с безупречной грамматикой, и человек бронирует неделю, которой у него нет.

Вежливая просьба к модели это не чинит. Промпт — это инструкция, а не гарантия, и любой поставщик, который обещает, что его бот «никогда не галлюцинирует», делает заявление, которого промпт не вынесет. Честно построить можно путь вокруг модели: то, что она читает перед ответом, и то, что происходит в момент, когда читать нечего. Вот этот момент, в обоих местах, где он случается:

До того, как модель скажет хоть что-то

Ответ на вопрос по политике собирается из ваших же записей базы знаний, подобранных под заданный вопрос, — и при попадании больше ничего не происходит: пробел не записывается, никому не пишут. Бот не пересказывает представления интернета об HR-справочнике; он достаёт ваш.

Когда ни одна запись не проходит порог схожести, системный промпт предписывает точную формулировку отказа — вплоть до «Do NOT guess» — вместо того чтобы оставить модель сочинять уверенный абзац. Это по-прежнему инструкция к модели, и эта страница не будет делать вид, что инструкция — закон природы. Положиться можно на конструкцию, и она в том, что происходит дальше.

Каждый промах оставляет след

Вопрос без ответа в любом случае записывается как пробел в базе знаний, и бот открывает отдельную ветку в личных сообщениях с первым руководителем HR, указанным для рабочего пространства, — с одним человеком, а не рассылкой, — и просит научить его. Ответ в этой ветке становится сохранённым ответом, и следующий, кто спросит, получит его.

А если тот же вопрос вернётся в течение суток, он запишется снова, но второго сообщения не отправит — частый пробел это сигнал, а не поток отвлечений.

Вот чего не даст более умный промпт: список вопросов, на которые ваш справочник не ответил, в том порядке, в каком их действительно задавала команда. Справочник растёт ровно там, где был тонким, а держать его честным — работа руководителя HR, по одному выученному ответу за раз.

За чем он отказывается тянуться

У бота нет инструмента для веб-поиска. Когда ответа нет, он не может пойти в сеть и выдать чужую политику за вашу — ответ попадает в вашу базу знаний, только когда руководитель HR загружает его или обучает бота. В первый день, с пустой базой знаний, это делает бота честным во многом; первая неделя — это обучение. Мы считаем, что так лучше, потому что неверный ответ про чей-то отпуск — не шероховатость, а ровно та поломка, ради предотвращения которой продукт и существует.

Если хотите увидеть цикл со стороны руководителя HR — как выглядит пробел, как работает обучение, что заложить в первый день, — руководство руководителя HR проводит по шагам, а страница базы знаний показывает половину с поиском целиком.

Отказ — это одна половина картины. Что тот же бот отвечает, когда он знает, что оформляет, когда вы просите пятницу, и какая арифметика стоит за названными числами — всё это в что умеет HR чат-бот для Slack.