Интерфейс оркестрации LLM

Design choice: orchestration interface является model-agnostic. Local deployment может использовать любой совместимый model server или gateway, подходящий по security, licensing и performance requirements.

Интерфейс оркестрации LLM — независимый от провайдера способ запрашивать у модели AML-содержимое, совместимое с S010, сохраняя границу runner с подтверждением аналитика.

Интерфейс намеренно узкий. Он не решает все вопросы локального развёртывания, а предоставляет стандартную точку передачи между выводом модели и валидацией TCAML.

Независимая от провайдера модель#

Открытый интерфейс поддерживает два базовых типа:

Тип провайдера	Назначение
Mock provider	Офлайн-детерминированное тестирование с подготовленными черновиками.
OpenAI-compatible provider	Универсальный интерфейс вида `/v1/chat/completions` для совместимых локальных или удалённых model server.

Это сохраняет независимость открытого фреймворка от конкретного поставщика модели, desktop-инструмента или стека развёртывания.

Конвейер оркестрации#

Orchestrator должен выполнять только цикл подготовки и проверки содержимого:

prompt + знания AML
→ черновой ответ provider
→ parser LLM-to-S010 bridge
→ проверка schema / безопасности
→ повторная коррекция или safety stop
→ проверенный файл содержимого S010
→ интерактивный runner аналитика

Он не должен доводить дело до завершения, подтверждать gate или вызывать auto-confirm для черновиков LLM.

Почему важен mock mode#

Mock mode позволяет проверить всю цепочку до подключения реальной модели:

подготовленный model-like response
→ parser
→ проверка schema
→ цикл коррекции
→ проверенное содержимое

Это полезно для тестов репозитория и доказательства работы границы безопасности без зависимости от стохастического ответа модели.

Поведение реальной модели#

Реальная модель может:

оборачивать JSON пояснительным текстом;
использовать неверное enum-значение;
придумывать дополнительное поле;
обрезать вывод из-за token limit;
пропускать обязательные поля;
создавать похожее на окончательное решение, которое должно быть заблокировано.

При подключении локальной модели запускайте одинаковый prompt несколько раз и проверяйте correction prompt, неудачные попытки и проверенные результаты. Это практическая оценка частоты корректного содержимого S010 с первой попытки.

Вопросы локального развёртывания#

Производственный локальный AML-узел позднее может добавить:

профили ролей моделей;
локальные vision-модели или модели извлечения документов;
утверждённые source connector;
фиксацию материалов браузера;
отчётность PDF или spreadsheet;
пороговые значения специальной политики;
закрытые профили внедрения;
локальный мониторинг и контроль доступа.

Эти элементы относятся к специальной конфигурации развёртывания. Открытый фреймворк определяет нейтральный интерфейс и границу безопасности.

Краткое описание границ#

Model = готовит содержимое
Bridge = проверяет и блокирует нарушения безопасности
Runner = управляет gate процесса
AML analyst = подтверждает gate и решает следующее действие

Модель может поддерживать AML-операции, но не заменяет управляемую проверку.

Tom Custos AML Knowledge BaseОбучение и операцииСкачать исходный .md