1. เลือก API LLM แบบไม่มีเซนเซอร์
เริ่มจากการทดสอบพฤติกรรมของโมเดลกับ prompts ของคุณเอง ส่งชุดคำขอที่ถูกต้องตามกฎหมาย ผู้ใหญ่ และเชิงสร้างสรรค์แบบฟิกชันที่คงที่ แล้วบันทึกการปฏิเสธทั้งหมด หาก endpoint ปฏิเสธงานสร้างสรรค์ที่ถูกต้องตามกฎหมาย คุณจะต้องเพิ่มวิธีแก้ที่อาจทำให้ผลิตภัณฑ์ทำงานไม่สมบูรณ์
จุดจบ API ของเราตอบคำขอสำหรับผู้ใหญ่ที่ถูกต้องตามกฎหมาย เรื่องแต่ง และเรื่องโต้แย้งได้โดยตรง พร้อม id uncensored.
2. ยืนยันความเข้ากันได้กับ OpenAI
ชี้ SDK OpenAI ทางการไปที่ URL ฐาน https://nsfwollama.com/v1 และส่งข้อความสั้นๆ หนึ่งข้อความ หากคำตอบกลับมาภายใน choices[0].message.content, โค้ดแชทที่มีอยู่ของคุณทำงานได้โดยไม่ต้องเปลี่ยนแปลง
- ตรวจสอบว่า streaming ส่งคืน server-sent events
- ตรวจสอบว่า error ส่งกลับเป็น JSON พร้อม status code
3. นำสตรีมมิ่งไปใช้เพื่อ UX
ผู้ใช้ตัดสินแชทบอทจากเวลาที่คำแรกปรากฏ ตั้งค่า stream: true, แสดงแต่ละชิ้นเมื่อมาถึงและเก็บข้อความเต็มไว้ในบัฟเฟอร์สำหรับการจัดเก็บ
วัดเวลาไปยังโทเค็นแรกในการสนทนาที่มีความยาวต่างกัน การตอบกลับที่เริ่มเร็วในการแชทสั้นอาจช้าลงเมื่อประวัติเติบโต ดังนั้นควรทดสอบกรณีที่ยาวด้วย
4. คำนวณต้นทุนโทเค็นอย่างแม่นยำ
เซสชัน roleplay จะเก็บประวัติทั้งหมดไว้ในทุกคำขอ ดังนั้น input tokens จึงเพิ่มขึ้นในแต่ละเทิร์น หน้าต่างบริบทคือ 100,000 tokens และต้นทุนของเซสชันยาวส่วนใหญ่คือ input
| เซสชัน | โทเค็นอินพุต | โทเค็นเอาท์พุต | ต้นทุน |
|---|---|---|---|
| การตอบกลับสั้นๆ เพียงครั้งเดียว | 1,200 | 300 | $0.0003 |
| การสนทนา roleplay ยาว | 70,000 | 1,500 | $0.0113 |
ตัดหรือสรุปการสนทนาเก่าก่อนที่หน้าต่างจะเต็ม และบันทึกจำนวนการใช้งานต่อการสนทนา
5. Handle Rate Limits Gracefully
คีย์แต่ละคีย์อนุญาตให้ส่งคำขอได้ 300 คำขอต่อนาที และคำขอพร้อมกันได้ 8 คำขอ แอปแชทมักจะไม่ถึงขีดจำกัดนี้เพียงลำพัง แต่การพุ่งขึ้นจากผู้ใช้จำนวนมากอาจทำได้ จัดคิวคำขอต่อผู้ใช้และลองใหม่สำหรับการตอบกลับ 429 พร้อมการถดถอยแบบเอกซ์โพเนนเชียล
แสดงข้อความรอแบบสั้นๆ ในอินเทอร์เฟซแทนที่จะรอแบบเงียบๆ
6. กำหนดขอบเขตเนื้อหาของคุณ
ตัดสินใจว่าผลิตภัณฑ์ของคุณยอมรับอะไรก่อนเปิดตัว และบังคับใช้ในโค้ดของคุณเอง การตรวจสอบอายุ กฎความยินยอมสำหรับตัวละครบทบาทสมมติ และรายการบล็อกสำหรับหมวดหมู่ไม่กี่หมวดที่คุณปฏิเสธทั้งหมดควรอยู่ในแอปพลิเคชันของคุณ ไม่ใช่เพียงในคำสั่ง
เขียนกฎและทดสอบด้วยคำสั่งจากแต่ละหมวดหมู่
7. ตั้งค่าการชำระเงินด้วยคริปโตสำหรับการขยาย規模
เครดิตแบบเติมเงินเหมาะสำหรับผลิตภัณฑ์แชทที่มีปริมาณการเข้าชมไม่สม่ำเสมอ การเติมเงินชำระด้วย USDT บน TRC20 หรือ USDC บน Base เริ่มต้นที่ $20 และเครดิตโบนัสใช้ได้ที่ $50 ยอดเงินไม่สามารถติดลบได้ ดังนั้นลูปที่ทำงานผิดปกติจะหยุดที่จำนวนเงินที่คุณโหลด
เชื่อมต่อยอดเงินกับการแจ้งเตือนของคุณเอง เพื่อให้คุณเห็นยอดเงินต่ำก่อนที่บริการจะหยุดทำงาน
8. ทดสอบด้วยพรอมต์ NSFW จริง
ก่อนการเปิดตัว ให้รันชุดทดสอบด้วยคำขอจริงจากผู้ใช้ของคุณ พร้อมข้อความระบบและความยาวของประวัติเดียวกัน อ่านการตอบกลับ ตรวจสอบต้นทุนต่อการสนทนา และบันทึกทุกกรณีที่ผลิตภัณฑ์แสดงพฤติกรรมที่คุณไม่คาดคิด
ทำซ้ำการทดสอบหลังจากการเปลี่ยนแปลงทุกครั้งต่อ prompt ระบบ เนื่องจากคำพูดที่เปลี่ยนแปลงเล็กน้อยสามารถเปลี่ยนพฤติกรรมได้มาก
