Вызовы LLM
Журнал «Вызовы LLM» хранит историю обращений платформы к языковым моделям. Каждый раз, когда агент Citeck отправляет запрос в LLM, в журнал добавляется запись с параметрами этого вызова.
Журнал доступен по адресу: v2/journals?journalId=ai-llm-calls-journal&viewMode=table&ws=admin$workspace
Журнал предназначен для анализа расхода токенов, отладки и оптимизации агентов, а также для аудита обращений к LLM.
Данные журнала агрегируются и выводятся на дашборде Расход токенов ИИ.
Поля журнала
Время вызова
Поле |
Описание |
|---|---|
Дата и время |
Дата и время обращения к LLM. |
День |
День, в который выполнен вызов. Используется для группировки и фильтрации по суткам. |
Месяц |
Месяц, в который выполнен вызов. Используется для группировки и фильтрации по месяцам. |
Агент и модель
Поле |
Описание |
|---|---|
Агент |
Агент Citeck, который отправил запрос в LLM. |
Модель |
Языковая модель, к которой выполнено обращение. |
Провайдер |
Поставщик модели. |
Токены
Поле |
Описание |
|---|---|
Токенов всего |
Общее количество токенов, израсходованных на вызов. |
Токены запроса |
Количество токенов во входных данных, отправленных в модель. |
Токены ответа |
Количество токенов в ответе модели. |
Токены рассуждений |
Количество токенов, которые модель потратила на рассуждения (для моделей с режимом рассуждений). |
Кэшированные |
Количество токенов запроса, взятых из кэша провайдера. |
Запись кэша |
Количество токенов, записанных в кэш провайдера. |
Обращений |
Количество обращений к модели, учтённых в записи. |
Наибольший промпт |
Размер самого большого промпта среди обращений, в токенах. |
Длительность, с |
Время выполнения вызова в секундах. |
Прогон агента
Прогон — это один запуск агента. В рамках прогона агент может несколько раз обратиться к LLM.
Поле |
Описание |
|---|---|
Прогон |
Идентификатор прогона, в рамках которого выполнен вызов. |
Исход прогона |
Результат прогона: |
Чистое время прогона |
Время работы агента без учёта ожидания. |
Время прогона с ожиданием |
Полное время прогона, включая время ожидания. |
Завершивший запрос |
Запрос, на котором завершился прогон. |
Причина завершения |
Причина, по которой завершился прогон. |
Контекст вызова
Поле |
Описание |
|---|---|
Пользователь |
Пользователь, от имени которого выполнен вызов. |
Рабочее пространство |
Рабочее пространство, в котором выполнен вызов. |
Диалог |
Диалог с агентом, в рамках которого выполнен вызов. |
Диалог (внутренний) |
Внутренний служебный диалог, в рамках которого выполнен вызов. |