Asoslar
Request lifecycle
Browser yoki CLI so‘rovi autentifikatsiyadan usage ledgergacha qanday o‘tadi.
HTTP middleware zanjiri
- Request ID biriktiriladi.
- Trusted proxy secret orqali real client IP ishonchli olinadi.
- Panic recovery, CORS va security headerlar qo‘llanadi.
- Structured access log, timeout va body limit ishlaydi.
- Route turiga qarab session+CSRF yoki API key autentifikatsiyasi bajariladi.
- RBAC, ownership va password-change gate tekshiriladi.
Inference oqimi
- Public model alias active katalogdan topiladi va user/key ruxsati tekshiriladi.
- Provider credentiali decrypt qilinadi; capability va context window validatsiyasi bajariladi.
- Rate/budget limit va idempotency holati tekshiriladi, budget reservation yaratiladi.
- Inference request DB’da qayd etilib, provider stream boshlanadi.
- Provider-specific delta hodisalari platformaning yagona event formatiga normalizatsiya qilinadi.
- Completionda message parts, token usage, micros cost, ledger va reservation bitta izchil tranzaksiyada yakunlanadi.
Streaming hodisalari
| Event | Ma’nosi |
|---|---|
response_started | Request qabul qilindi va stream identifikatori tayyor |
text_delta | Assistant matnining inkremental qismi |
reasoning_delta | Provider qaytargan reasoning qismi |
tool_call_delta | Tool nomi/argumentlarining inkremental qismi |
web_search | Qidiruv yoki source metadata |
usage | Input/output token va narx ma’lumoti |
completed | Stream muvaffaqiyatli yakunlandi |
error | Normalizatsiya qilingan terminal xato |
Xato va bekor qilish
Client disconnect yoki context cancellation provider chaqiruviga uzatiladi. Terminal xato standart envelope/eventga aylantiriladi; reservation va request holati izchil yopiladi. Yashirin provider fallback bo‘lmagani uchun audit va billing qaysi backend ishlaganini aniq saqlaydi.