Běžné chyby API OpenRouter a jejich opravy

1. Ignorování 20% přirážky celkových nákladů

Agregátoři vám účtují více než základní sazbu poskytovatele, což vytváří skrytou daň z každého tokenu. Platíte surovou cenu poskytovatele plus poplatek za službu, často kolem 20 %. Tento příplatek se vztahuje na vstupní i výstupní tokeny. Když škálujete na tisíce požadavků, těchto 20 % se násobí do významného plýtvání prostředky. Můžete si myslet, že platíte $0.10 za milion tokenů, ale skutečná cena je $0.12. Snižuje to vaši marži, pokud přeprodáváte přístup k API. Také zpomaluje váš testovací rozpočet během vývoje. Mnoho vývojářů si neuvědomuje, že platí za směrovací infrastrukturu, kterou nepotřebují. Přímí poskytovatelé často nabízejí surové ceny za tokeny bez této další vrstvy. Ušetříte peníze vyřazením prostředníka. Úspory jsou okamžité a transparentní. Přesně víte, kolik platíte za token. Žádné skryté servisní poplatky nedeformují cenu. Plánování rozpočtu se stává přesným. Náklady můžete předvídat s přesností. To je důležité pro aplikace s vysokým objemem.

2. Nesprávná interpretace počtů tokenů a kontextových oken

Okna kontextu jsou sdílena mezi vaším vstupem a výstupem, nikoliv oddělenými nádržemi. Musíte započítat celkový počet tokenů použitých v jednom požadavku. Pokud je limit kontextu 128k, nemůžete poslat 100k vstupních tokenů a očekávat 128k výstupních. Zbývající prostor je pouze 28k tokenů. Přečerpání tohoto limitu způsobí oříznutí nebo chyby. Některá API účtují za oříznuté tokeny. Jiná účtují za celý vyhrazený okno. Vždy si přečtěte dokumentaci pro konkrétní cenový model. Počítejte tokeny lokálně před odesláním požadavků. To zabrání neočekávaným poplatkům. Také zajistí, že se vaše data vejdou do limitu. Velké dokumenty vyžadují pečlivé strategie rozdělování. Můžete rozdělit text na menší segmenty. Zpracujte každý segment zvlášť. Tím se okno kontextu udržuje přehledné. Snižuje se latence a náklady. Zachováváte si kontrolu nad tokem dat. Tento přístup je kritický pro dlouhodobé konverzace. Hromadění historie rychle spotřebovává kontext. Musíte ořezávat staré zprávy, abyste zůstali v mezích. To zajišťuje konzistentní výkon. Zabraňuje náhlým selháním.

3. Přehlédnutí dopadů DPH a prodejních daní

Daně se liší podle vaší polohy a registračního statusu poskytovatele. Agregátory často připočítávají daň z přidané hodnoty k své služební sazbě. To znamená, že platíte daň z přirážky. Efektivní daňová sazba se výrazně zvyšuje. Můžete vidět daň 7 % na základní ceně. Pak je připočten další poplatek 20 %. Daň se vztahuje na celkovou částku. To vytváří kumulativní efekt. Vaše konečná faktura je vyšší, než se čekalo. Někteří poskytovatelé nevybírají daň v určitých regionech. Jiní ji vybírají univerzálně. Musíte vědět, kde je poskytovatel registrován. To ovlivňuje vaše účetnictví a daňová přiznání. měli byste vypočítat skutečné náklady včetně daní. Pomůže vám to přesněji plánovat rozpočet. Můžete si vybrat poskytovatele, kteří jsou daňově efektivní. Přímí poskytovatelé často mají jednodušší daňové struktury. Platíte daň pouze za službu. Žádná daň z přirážky. To zjednodušuje sledování vašich financí. Snižuje administrativní zátěž. Přesně víte, kolik dlužíte.

4. Předpokládání univerzálních limitů rychlosti

Omezení rychlosti jsou specifická pro každého poskytovatele a model. Nemůžete předpokládat, že jedno omezení platí pro všechny endpointy. Některé modely umožňují 60 požadavků za minutu. Jiné umožňují pouze 10. Limit se může lišit podle úrovně. Můžete mít bezplatnou úroveň se striktními limity. Placená úroveň nabízí vyšší propustnost. Sledujte své používání. Překročení limitů způsobí chyby 429. Tyto chyby přerušují tok vaší aplikace. Musíte implementovat logiku opakování s exponenciálním zpomalováním. To zabraňuje přetížení serveru. Zajišťuje hladký chod. Otestujte limity během vývoje. Zjistěte své aktuální omezení rychlosti. Plánujte strategii škálování podle toho. Požadavky můžete rozdělit mezi více klíčů. To zvyšuje celkovou propustnost. Poskytuje redundanci, pokud je jeden klíč omezen. Udržujete spolehlivost. To je klíčové pro produkční systémy. Vyhněte se výpadkům. Udržte uživatele spokojené.

5. Použití nesprávného ID modelu nebo koncového bodu

Agregátoři používají komplexní ID modelů, která mapují různé poskytovatele. Musíte použít správné ID pro cílový model. Struktura koncového bodu se může mírně lišit. Někteří poskytovatelé používají /v1/chat/completions. Jiní používají /v1/completions. Musíte přizpůsobit koncový bod typu modelu. Použití nesprávného koncového bodu způsobí chyby. Plýtváte tokeny na selhané požadavky. měli byste ověřit dokumentaci API. Nejprve otestujte malým požadavkem. To potvrdí, že koncový bod funguje. Poté můžete škálovat své použití. Vyhněte se neočekávaným selháním. Zajistěte kompatibilitu s vaší knihovnou klienta. Používáte standardní formát SDK OpenAI. To usnadňuje přepínání poskytovatelů. Změníte pouze základní URL. Zbytek vašeho kódu zůstává stejný. To snižuje dobu vývoje. Zjednodušuje údržbu. Pokud je to potřeba, můžete snadno vyměnit poskytovatele. Zachováte si flexibilitu. To je klíčová výhoda standardních API.

6. Selhání při plynulém zpracování chyb streamování

Streamování může přerušit prostřednictvím toku. Problémy se sítí způsobují částečné doručování dat. Musíte tyto chyby zpracovat elegantně. Nezahazujte částečné bloky. Uložte je, pokud je to možné. Opakujte požadavek, pokud je to nutné. To zajišťuje integritu dat. Můžete rekonstruovat úplnou odpověď. Poskytujete lepší uživatelský zážitek. Uživatelé vidí obsah okamžitě. Nečekají na úplnou generaci. To snižuje vnímanou latenci. Měli byste správně zpracovávat události SSE. Analyzujte každý blok, jak přichází. Ověřte strukturu dat. To zabraňuje chybám při analýze. Zajišťujete, že odpověď je platná. Můžete logovat chyby pro ladění. To vám pomáhá identifikovat vzorce. Zlepšujete spolehlivost v čase. Vytváříte robustní aplikaci. To je zásadní pro funkce v reálném čase. Udržujete připojení živé. Efektivně spravujete zdroje. To snižuje zátěž serveru. Lepší škálování pod tlakem.

7. Neoptimalizace efektivity volání funkcí

Volání funkcí přidává přídavné náklady na každý požadavek. Pošlete schéma funkce a zprávu uživatele. Model analyzuje schéma. Vygeneruje volání funkce. To spotřebuje další tokeny. Měli byste minimalizovat velikost schématu. Odstraňte nepotřebná pole. Udržujte popisy stručné. To sníží počet vstupních tokenů. Také zrychlí analýzu. Měli byste ukládat schémata funkcí do mezipaměti. Nezasílejte je znovu s každým požadavkem. To šetří tokeny i čas. Měli byste důkladně otestovat volání funkcí. Ujistěte se, že model rozumí formátu. Použijte příklady k nasměrování modelu. To zlepší přesnost. Snížíte chyby při provádění funkcí. Dostanete očekávaný výstup. Můžete řetězit volání funkcí pro složité úkoly. To vyžaduje pečlivou správu stavu. Sledujete historii konverzace. Předáváte správný kontext. To zajišťuje kontinuitu. Vytváříte sofistikované agenty. To využívá plný potenciál API.

8. Nepochopení předplaceného vs. placení za použití

Předplacené kredity uzamknou vaše prostředky, dokud je nevyčerpáte. Placení podle spotřeby vám fakturuje náklady až po použití. Předplacené kredity často přinášejí bonusy. Za větší dobíjení získáte extra kredity, což snižuje efektivní náklady. Předplacené kredity zvolte, pokud API používáte pravidelně. Vyhnete se měsíčním minimům. Platíte pouze za to, co skutečně použijete. Chyby jsou v systémech s předplacenými kredity zdarma. Neplatíte za neúspěšné požadavky. To šetří peníze. Výdaje můžete sledovat přesně. Zůstatek znáte kdykoliv. Řídíte svůj cash flow. To je ideální pro startupy. Rozpočet spravujete velmi přísně. Dobití provedete podle potřeby. Kredity nikdy neztratíte. Nevyprší. To poskytuje flexibilitu. API používáte svým tempem. Snižujete tak finanční riziko. Vydáte pouze to, co potřebujete.