Usage, pricing va limitlar
Token hisobi, integer-micros billing, budget reservation va hisobotlar.
Usage hisobi
Provider usage qaytarsa adapter uni normalizatsiya qiladi; kerak bo‘lsa tokenlar oldindan estimate qilinadi. Input/output tokenlari inference request, message va immutable usage ledger bilan bog‘lanadi.
Integer micros pricing
Pul floating point’da saqlanmaydi. Model katalogida input/output narxlar micros birlikda; request cost deterministik integer arifmetika bilan hisoblanadi. Bu agregatsiya va budget solishtirishdagi rounding drift’ni kamaytiradi.
input_cost_micros = ceil(input_tokens × input_price_micros / pricing_unit)
output_cost_micros = ceil(output_tokens × output_price_micros / pricing_unit)
total_cost_micros = input_cost_micros + output_cost_microsBudget reservation
Parallel requestlar bir xil budgetni bir paytda sarflab yubormasligi uchun inference boshlanishidan oldin estimated cost rezerv qilinadi. Completionda reservation real cost bilan reconcile qilinadi; xato/bekor qilishda release qilinadi.
Limit qatlamlari
| Qatlam | Misol | Storage |
|---|---|---|
| Rate | Request/token per interval | Redis coordination + DB policy |
| Budget | Kunlik yoki oylik micros | PostgreSQL ledger/reservation |
| Access | User ↔ model permission | PostgreSQL |
| API key | Scope, model, IP, expiry | PostgreSQL |
| Context | Model context window | Catalog + request validation |
Hisobotlar
Foydalanuvchi o‘z usage sahifasini ko‘radi. Administrator umumiy va user kesimidagi endpointlardan foydalanadi. Daily/monthly rollup jadvallari katta davr agregatsiyalarini qo‘llab-quvvatlaydi; request-level ledger audit uchun saqlanadi.