1. Chọn một API LLM không kiểm duyệt
Bắt đầu bằng cách kiểm tra hành vi của mô hình với các prompt của riêng bạn. Gửi một bộ yêu cầu cố định gồm các nội dung người lớn hợp pháp và hư cấu, và ghi lại mọi lệnh từ chối. Một endpoint từ chối các tác phẩm sáng tạo hợp pháp sẽ buộc bạn phải thêm các giải pháp thay thế làm gián đoạn trải nghiệm sản phẩm.
Điểm cuối của chúng tôi trả lời trực tiếp các yêu cầu người trưởng thành hợp pháp, hư cấu và gây tranh cãi, với id uncensored.
2. Xác minh tương thích OpenAI
Điểm SDK OpenAI chính thức tại URL cơ sở https://nsfwollama.com/v1 và gửi một tin nhắn ngắn. Nếu phản hồi trả về trong choices[0].message.content, mã trò chuyện hiện tại của bạn hoạt động mà không cần thay đổi.
- Kiểm tra rằng streaming trả về các sự kiện gửi từ máy chủ.
- Kiểm tra rằng lỗi trả về dưới dạng JSON với mã trạng thái.
3. Triển khai Streaming cho trải nghiệm người dùng
Người dùng đánh giá một chatbot bằng cách từ khi nào những từ đầu tiên xuất hiện. Đặt stream: true, hiển thị từng chunk khi nó đến và giữ toàn bộ văn bản trong bộ đệm để lưu trữ.
Đo lường thời gian đến token đầu tiên trên các cuộc trò chuyện có độ dài khác nhau. Một phản hồi bắt đầu nhanh trên các cuộc trò chuyện ngắn có thể chậm lại khi lịch sử phát triển, vì vậy hãy kiểm tra trường hợp dài hơn.
4. Tính toán chi phí token chính xác
Các phiên bản Roleplay mang theo toàn bộ lịch sử của chúng với mỗi yêu cầu, vì vậy các token đầu vào tăng lên sau mỗi lượt. Cửa sổ ngữ cảnh là 100.000 token, và chi phí của một phiên bản dài chủ yếu là đầu vào.
| Phiên | Token đầu vào | Token đầu ra | Chi phí |
|---|---|---|---|
| Phản hồi ngắn đơn | 1,200 | 300 | $0.0003 |
| Lượt nhập vai dài | 70,000 | 1,500 | $0.0113 |
Cắt giảm hoặc tóm tắt các lượt hội thoại cũ trước khi cửa sổ bộ nhớ đầy, và lưu trữ số liệu sử dụng cho mỗi hội thoại.
5. Xử lý giới hạn tốc độ một cách khéo léo
Mỗi khóa cho phép 300 yêu cầu mỗi phút và 8 yêu cầu cùng lúc. Một ứng dụng chat hiếm khi đạt giới hạn đó một mình, nhưng một đợt bùng phát từ nhiều người dùng thì có thể. Hãy xếp hàng các yêu cầu theo từng người dùng và thử lại các phản hồi 429 với cơ chế backoff theo cấp số nhân.
Hiển thị một thông báo chờ ngắn trong giao diện thay vì khoảng lặng im lặng.
6. Xác định ranh giới nội dung của bạn
Quyết định những gì sản phẩm của bạn chấp nhận trước khi ra mắt, và thực thi nó trong mã của chính bạn. Kiểm tra độ tuổi, quy tắc đồng ý cho các nhân vật nhập vai và danh sách chặn cho một vài danh mục mà bạn từ chối hoàn toàn đều thuộc về ứng dụng của bạn, không chỉ nằm trong prompt.
Ghi lại các quy tắc và kiểm tra chúng bằng các lời nhắc từ mỗi danh mục.
7. Thiết Lập Thanh Toán Tiền Điện Tử Để Mở Rộng
Tín dụng trả trước phù hợp với sản phẩm trò chuyện có lưu lượng không đều. Các khoản nạp được thanh toán bằng USDT trên TRC20 hoặc USDC trên Base, bắt đầu từ $20, và tín dụng bonus áp dụng từ $50. Số dư không thể xuống dưới không, vì vậy một vòng lặp chạy không kiểm soát sẽ dừng lại ở số tiền bạn đã nạp.
Kết nối số dư với các cảnh báo của riêng bạn, để bạn thấy số dư thấp trước khi dịch vụ dừng lại.
8. Kiểm tra với các Prompt NSFW thực tế
Trước khi ra mắt, hãy chạy một bộ kiểm thử gồm các prompt thực tế từ người dùng của bạn, với cùng các thông báo hệ thống và độ dài lịch sử như nhau. Đọc các câu trả lời, kiểm tra chi phí cho mỗi cuộc hội thoại và ghi lại mọi trường hợp mà sản phẩm hành xử theo cách bạn không mong đợi.
Lặp lại bài kiểm tra sau mỗi lần thay đổi hệ thống lệnh, vì những thay đổi nhỏ về cách diễn đạt có thể thay đổi hành vi rất nhiều.
