1. Válassz egy uncensored LLM API-t
Kezdje a modells viselkedésének tesztelését a saját promptjaival. Küldjön egy rögzített készletet törvényes, felnőtt és fikciós kérésekkel, és rögzítse az összes elutasítást. Egy olyan végpont, amely elutasítja a törvényes kreatív munkát, kényszeríti Önt a terméket tönkretevő megoldások bevezetésére.
A végpont közvetlenül válaszol törvényes felnőtt, fikciós és vitatott kérésekre, az azonosítóval uncensored.
2. OpenAI kompatibilitás ellenőrzése
Irányítsa a hivatalos OpenAI SDK-t az alap URL-re https://nsfwollama.com/v1 és küldjön egy rövid üzenetet. Ha a válasz choices[0].message.content, meglévő chat kódja változtatás nélkül működik.
- Ellenőrizze, hogy a streamelés SSE eseményeket ad vissza.
- Ellenőrizze, hogy a hibák JSON formátumban térnek vissza státuskóddal.
3. Streamelés implementálása a felhasználói élmény érdekében
A felhasználók egy chatbotot úgy ítélik meg, hogy milyen gyorsan jelennek meg az első szavak. Állítsa be stream: true, jelenjen meg minden darab, ahogy érkezik, és tartsa meg a teljes szöveget egy pufferben tároláshoz.
Mérje az első token időtartamát különböző hosszúságú beszélgetéseknél. Egy gyorsan kezdő válasz rövid chat-eknél lassulhat, amikor a történelem nő, ezért tesztelje a hosszú esetet is.
4. Számítsa ki pontosan a tokenköltségeket
A szerepjáték munkamenetek minden kéréssel együtt hordozzák a teljes előzményt, így a bemeneti tokenek száma minden körben nő. A kontextusablak 100,000 token, és egy hosszú munkamenet költsége főként a bemenet.
| Munkamenet | Bemeneti tokenek | Kimeneti tokenek | Költség |
|---|---|---|---|
| Egyetlen rövid válasz | 1,200 | 300 | $0.0003 |
| Hosszú szerepjáték kör | 70,000 | 1,500 | $0.0113 |
Vágja vagy összefoglalja a régi fordulatokat, mielőtt az ablak megtelik, és tárolja a felhasználási számokat beszélgetésenként.
5. A sebességkorlátok kezelése gracefully
Minden kulcs percenként 300 kérést és 8 egyidejű kérést engedélyez. Egy chat alkalmazás ritkán éri el ezt a határt egyedül, de sok felhasználó által okozott robbanás esetén igen. Sorolja be a kéréseket felhasználónként, és próbálja újra a 429 válaszokat exponenciális backoffgal.
Mutasson egy rövid várakozási üzenetet a felületen a néma késés helyett.
6. Tartalmi határok meghatározása
Döntse el, mit fogad el a terméke a indítás előtt, és érvényesítse a saját kódjában. Korhatár-ellenőrzések, beleegyezési szabályok a szerepjáték karakterekhez és egy blokklista a kevés kategóriához, amelyeket mindenképpen elutasít, mind az alkalmazásban kell lennie, nem csak a promptban.
Írja le a szabályokat, és tesztelje őket promptokkal minden kategóriából.
7. Kriptófizetések beállítása nagy volumenű műveletekhez
Az előre fizetett hitel illik egy egyenetes forgalmú chat termékhez. A feltöltések USDT-ben a TRC20 hálózaton vagy USDC-ben a Base hálózaton történnek, $20-tól kezdődően, és a bónusz hitel $50-től érvényes. Az egyenleg nem mehet null alá, így egy kóros hurok megáll az előre betöltött összegnél.
Csatlakoztassa a saldot a saját értesítéseihez, hogy alacsony saldot észlelje a szolgáltatás leállása előtt.
8. Tesztelje valós NSFW promptokkal
Mielőtt elindítaná, futtasson egy teszt készletet valós promptokkal a felhasználóktól, ugyanazokkal a rendszerüzenetekkel és ugyanazzal a történelem hosszúsággal. Olvassa el a válaszokat, ellenőrizze a költséget beszélgetésenként, és jegyezze fel minden olyan esetet, ahol a termék úgy viselkedett, ahogy nem várta.
Ismételd meg a tesztet minden rendszerprompt módosítás után, mert a kis szövegváltoztatások jelentősen megváltoztathatják a viselkedést.
