1. Vyberte API pro neomezený LLM
Začněte chováním modelu na vašich vlastních podnětech. Pošlete pevnou sadu legálních požadavků pro dospělé a fiktivních a zaznamenejte každé odmítnutí. Koncový bod, který odmítá legální kreativní práci, vás nutí přidat obchůzky, které naruší fungování produktu.
Náš endpoint přímo odpovídá na zákonné dospělé, fiktivní a kontroverzní požadavky, s id uncensored.
2. Ověřte kompatibilitu s OpenAI
Směřujte oficiální SDK OpenAI na základní URL https://nsfwollama.com/v1 a odešlete jednu krátkou zprávu. Pokud se odpověď vrátí za choices[0].message.content, váš existující chat kód funguje bez změn.
- Zkontrolujte, že streamování vrací události odeslané serverem.
- Zkontrolujte, že chyby se vracejí jako JSON s kódem stavu.
3. Implementujte streamování pro uživatelský zážitek
Uživatelé hodnotí chatbota podle toho, jak brzy se objeví první slova. Nastavte stream: true, zobrazte každý chunk, jak přichází, a udržujte celý text v bufferu pro ukládání.
Měřte čas do prvního tokenu u konverací různé délky. Odpověď, která začne rychle u krátkých chatů, se může zpomalit, když poroste historie, takže otestujte i dlouhý případ.
4. Přesný výpočet nákladů na tokeny
Session roleplay přenáší celou historii s každým požadavkem, takže vstupní tokeny rostou s každým tahem. Kontextové okno je 100 000 tokenů a cena dlouhé session je převážně vstup.
| Relace | Vstupní tokeny | Výstupní tokeny | Náklady |
|---|---|---|---|
| Jedná se o krátkou odpověď | 1,200 | 300 | $0.0003 |
| Kolo dlouhého roleplay | 70,000 | 1,500 | $0.0113 |
Před naplněním okna omezte nebo shrňte starší přechody a ukládejte čísla využití pro každou konverzaci.
5. Graceful zvládání limitů rychlosti
Každý klíč umožňuje 300 požadavků za minutu a 8 souběžných požadavků. Aplikace pro chat zřídka dosáhne tohoto limitu sama, ale burst od mnoha uživatelů ano. Řaďte požadavky na uživatele a opakujte odpovědi 429 s exponenciálním zpomalováním.
Zobrazte krátkou zprávu o čekání v rozhraní místo tichého čekání.
6. Definujte své hranice obsahu
Rozhodněte se, co váš produkt přijímá před spuštěním, a vynucujte to ve svém vlastním kódu. Ověření věku, pravidla souhlasu pro role-play postavy a seznam bloků pro několik kategorií, které odmítáte, patří do vaší aplikace, ne pouze do promptu.
Zapište pravidla a otestujte je pomocí promptů z každé kategorie.
7. Nastavte kryptoměnové platby pro škálování
Předplacený kredit se hodí pro chatový produkt s nerovnoměrným provozem. Nabití se platí v USDT na TRC20 nebo USDC na Base, začíná částkou $20 a bonusový kredit se uplatňuje od $50. Zůstatek nemůže klesnout pod nulu, takže nespustitelná smyčka se zastaví při množství, které jste nabilí.
Připojte zůstatek k vašim vlastním upozorněním, abyste viděli nízký zůstatek před zastavením služby.
8. Otestujte s reálnými NSFW prompty
Než spustíte, spusťte testovou sadu reálných promptů od vašich uživatelů se stejnými systémovými zprávami a stejnou délkou historie. Přečtěte si odpovědi, zkontrolujte náklady na konverzaci a poznamenejte si každý případ, kdy se produkt choval způsobem, který jste neočekávali.
Opakujte test po každé změně v systémovém podnětu, protože malé změny ve formulaci mohou chování výrazně ovlivnit.
