Core skydelis

Viskas, kas susiję su ORYVOX Core, yra vienoje meniu grupėje ORYVOX Core kairiajame programos meniu. Kuriuos punktus matote, priklauso nuo jūsų rolės.

Apžvalga

Sutaupymai iš karto: kiek jūsų užklausos kainuoja su ORYVOX, palyginti su tomis pačiomis užklausomis vienam modeliui, be podėlio ir suspaudimo. Žemiau – iš kur atsiranda sutaupymai (užklausų podėlis, išmanus maršrutizavimas, įvesties suspaudimas, atsakymų podėlis), efektyvumo balas, atsakymo laikas, podėlio pataikymų dalis, klaidų dalis ir atsarginių modelių dalis.

Dar nėra srauto? Pradėkite per dvi minutes: sukurkite raktą skiltyje Projektai ir raktai, tada nukreipkite savo OpenAI klientą į ORYVOX.

Užklausos

Kiekviena užklausa su maršrutizavimo sprendimu, kaina ir sutaupymu. Filtruokite tik klaidas ar atsakymus iš podėlio, slėpkite testines užklausas. Spauskite eilutę ir matysite, kodėl pasirinktas tas modelis, kaip apskaičiuotas sutaupymas, tokenus ir laiką. Žymė šalia modelio reiškia, kad jį pasirinko maršrutizatorius; be jos – modelis nurodytas užklausoje.

Stebėsena

Kas, kur ir kodėl įvyko:

Srautas: užklausos, prieinamumas, p50 / p95 delsa, laikas iki pirmo tokeno, paties ORYVOX papildoma trukmė, klaidos, pakartojimai, atsarginiai modeliai ir laukimo laiko viršijimai.
SLO: prieinamumo tikslas, likęs klaidų biudžetas ir jo eikvojimo greitis.
Tiekėjų būklė: gyvas balas iš paskutinių 15 minučių kiekvienam tiekėjui.
Išlaidos: tiekėjo kaina, kliento mokestis, grynasis sutaupymas ir kaina užklausai, pagal projektą ir biudžetą.
Incidentai: nukrypimai nuo jūsų 7 dienų bazinio lygio, jūsų įspėjimų taisyklės ir tiekėjų sutrikimai. Besitęsianti problema – vienas incidentas, su vienu įspėjimu atsiradus ir vienu išsisprendus.
Įspėjimų taisyklės ir webhooks: ribos delsai, klaidų daliai, dienos išlaidoms, podėlio pataikymų ir atsarginių modelių daliai; pasirašyti webhooks incidentams, saugos įspėjimams, biudžetams ir atsiskaitymų įvykiams (kartojama iki 8 kartų).

Vykdymai

Kaip atlikta kiekviena daugiažingsnė AI užduotis: planas, modelis kiekvienam žingsniui, patikra, eskalavimas, kaina ir laikas. Pakartokite vykdymą tiksliai arba su šiandienine konfigūracija ir palyginkite atsakymus. Maršrutizatoriaus ir vykdymo laboratorija parodo, ką ORYVOX darytų su užduotimi (reikalavimai, planas, kainos įvertis ir maršrutizavimas), nekviesdamas modelio.

Modeliai

Kiekvienas modelis su tikromis kainomis, konteksto dydžiu ir vieta, kur jis veikia. Maršrutizatorius renkasi iš savo rinkinio; bet kurį modelį vis tiek galima nurodyti tiesiogiai. Kokybė pradžioje įvertinama pagal kainos lygį, kol ją išmatuoja testai ir jūsų tikras srautas.

Podėlis

Pakartotinai panaudoti atsakymai, tiekėjų išsaugoti užklausų tokenai ir kiek tai sutaupė, kiekvienam podėliui: tiksliam, semantiniam ir tiekėjų užklausų podėliui. Matykite, kodėl užklausos nepataikė, ir išvalykite projekto podėlį. Išsaugoti atsakymai užšifruoti, laikomi pagal projektą ir baigia galioti pagal turinio tipą.

Optimizavimas

Ką jūsų tikras srautas rodo galint padaryti pigiau, greičiau ar geriau, su įrodymais. Niekas nesikeičia, kol kas nors nenusprendžia. Nauja maršrutizatoriaus politika eina kandidatas → pakartojimas su ankstesniais sprendimais → šešėlinis režimas su gyvu srautu → canary → production, kiekvienam žingsniui reikia ankstesniojo įrodymų, o production visada galima atšaukti.

Playground

Palyginkite ORYVOX Auto su bet kuriais modeliais su ta pačia užklausa: atsakymas, kaina ir greitis šalia vienas kito. Peržiūrėti kodą pateikia užklausą kopijavimui.

Projektai ir raktai

Projektas turi savo raktus, maršrutizavimo režimą, tokenų optimizavimo lygį, podėlius, konteksto ir išvesties ribas bei biudžetus.

API raktai priklauso vienam projektui ir laikosi jo politikos. Apribokite, ką raktas gali kviesti, leiskite tik tam tikrus IP, apribokite jo dienos išlaidas, pakeiskite jį su pereinamuoju laikotarpiu arba atšaukite iškart.
Maršrutizavimas ir politika: numatytasis režimas (Economy sutaupo daugiausia, Max visada naudoja geriausius modelius), tokenų optimizavimas (Conservative, Balanced, Aggressive), įrankių atranka agentams su daug įrankių.
Podėliai: atsakymų podėlis, semantinio atitikimo riba, podėlio galiojimas, užklausų podėlis.
Biudžetai: per dieną ar mėnesį, blokuoti, artėjant prie limito pereiti prie ekonomiško maršrutizavimo arba tik įspėti.

Kreditai ir naudojimas

Ką turite, ką panaudojote, kur tai nukeliavo ir kiek kainuos mėnuo: kreditų likutis, dar neapmokėtas naudojimas, prognozė, kaina be ORYVOX ir išlaidos pagal projektą, modelį ir raktą. Papildykite kreditus, nustatykite mažo likučio įspėjimą, pakeiskite Core planą ir peržiūrėkite knygą, kurioje kiekvienas kreditas ir mokestis saugomas eilės tvarka ir niekada nekeičiamas.

Sauga

Saugos įvykiai (užblokuotos paslaptys, užmaskuoti asmens duomenys, nežinomi IP, nepavykę prisijungimai, politikos pakeitimai), visos įmonės prieigos taisyklės (leidžiami IP, privaloma dviejų veiksnių autentifikacija, sesijos trukmė, SSO) ir audito žurnalas. Žr. Saugos centras.