1. Оберіть uncensored LLM API
Почніть із поведінки моделі на ваших власних запитах. Надішліть фіксований набір законних дорослих та художніх запитів і зафіксуйте кожну відмову. Ендпоінт, який відмовляє у законній творчій роботі, змусить вас додавати обхідні шляхи, що порушують функціональність продукту.
Наша точка доступу безпосередньо відповідає на законні дорослі, художні та суперечливі запити, з id uncensored.
2. Перевірте сумісність з OpenAI
Вкажіть офіційний SDK OpenAI на базовий URL https://nsfwollama.com/v1 та надіслати одне коротке повідомлення. Якщо відповідь повертається протягом choices[0].message.content, ваш існуючий код чату працює без змін.
- Перевірте, що потокова передача повертає події, надіслані сервером (SSE).
- Перевірте, що помилки повертаються у форматі JSON із кодом стану.
3. Реалізація потокової передачі для покращення UX
Користувачі оцінюють чат-бота за тим, як швидко з’являться перші слова. Встановіть stream: true, показуйте кожен чанк, коли він надходить, і зберігайте повний текст у буфері для зберігання.
Вимірюйте час до першого токена в розмовах різної довжини. Відповідь, яка починається швидко в коротких чатах, може уповільнюватися, коли історія зростає, тому протестуйте також довгий випадок.
4. Точно розраховуйте вартість токенів
Сесії рольових ігор передають всю свою історію з кожним запитом, тому вхідні токени зростають з кожним ходом. Контекстне вікно становить 100,000 токенів, і витрати на довгу сесію переважно складаються з вхідних даних.
| Сесія | Вхідні токени | Токени виводу | Вартість |
|---|---|---|---|
| Single short reply | 1,200 | 300 | $0.0003 |
| Довгий хід рольової гри | 70,000 | 1,500 | $0.0113 |
Обрізайте або стислюйте старі кроки до заповнення вікна та зберігайте статистику використання для кожної розмови.
5. Гідна обробка лімітів швидкості
Кожен ключ дозволяє 300 запитів на хвилину та 8 одночасних запитів. Чат-додаток рідко досягає цього ліміту сам по собі, але сплеск від багатьох користувачів може. Чергуйте запити на користувача та повторюйте спроби для відповідей 429 з експоненційним сповільненням.
Показуйте короткий повідомлення про очікування в інтерфейсі замість непомітної затримки.
6. Визначення ваших меж контенту
Визначте, що приймає ваш продукт, перед запуском, і забезпечте це у власному коді. Перевірки віку, правила згоди для персонажів у ролевих іграх та список блокування для кількох категорій, які ви відмовляєтеся приймати, мають належати вашій програмі, а не лише промпту.
Запишіть правила та протестуйте їх за допомогою промптів з кожної категорії.
7. Налаштуйте криптоплатежі для масштабування
Попередня оплата кредитів підходить для продукту чату з нерівномірним трафіком. Поповнення оплачуються USDT на мережі TRC20 або USDC на мережі Base, починаючи з $20, а бонусний кредит застосовується від $50. Баланс не може опуститися нижче нуля, тому нескінченний цикл зупиняється на сумі, яку ви завантажили.
Підключіть баланс до ваших власних сповіщень, щоб бачити низький баланс до того, як служба зупиниться.
8. Тестування з реальними NSFW-промптами
Перед запуском запустіть набір тестових реальних запитів від ваших користувачів, з тими ж системними повідомленнями та тією ж довжиною історії. Прочитайте відповіді, перевірте вартість на розмову та відзначте кожен випадок, коли продукт поводився так, як ви не очікували.
Повторіть тест після кожної зміни системного промпту, оскільки невеликі зміни у формулюваннях можуть суттєво змінити поведінку.
