۱. یک API LLM بدون سانسور انتخاب کنید
رفتار مدل را روی پرامپت‌های خودتان آزمایش کنید. مجموعه‌ای ثابت از درخواست‌های قانونی، بزرگسال و داستانی ارسال کنید و هرگونه رد (refusal) را ثبت نمایید. اگر یک اندپوینت، کار خلاقانه‌ی قانونی را رد کند، مجبور می‌شوید راه‌حل‌هایی اضافه کنید که محصول را مختل می‌کند.
نقطه پایانی ما درخواست‌های بزرگسالان قانونی، داستانی و بحث‌برانگیز را مستقیماً با شناسه uncensored.
۲. تأیید سازگاری با OpenAI
SDK رسمی OpenAI را به URL پایه https://nsfwollama.com/v1 و یک پیام کوتاه ارسال کنید. اگر پاسخ در choices[0].message.content, کد چت موجود شما بدون تغییر کار می‌کند.
- بررسی کنید که استریمینگ رویدادهای ارسالی سرور را باز می‌گرداند.
- بررسی کنید که خطاها به صورت JSON با کد وضعیت بازگردانده می‌شوند.
۳. پیاده‌سازی استریم برای UX
کاربران یک چت‌بات را بر اساس سرعت ظاهر شدن اولین کلمات قضاوت می‌کنند. تنظیم stream: true, هر قطعه را همانطور که می‌رسد نشان دهید و متن کامل را در یک بافر برای ذخیره‌سازی نگه دارید.
زمان تا دریافت اولین توکن را در مکالمات با طول‌های مختلف اندازه‌گیری کنید. پاسخی که در مکالمات کوتاه سریع شروع می‌شود ممکن است با رشد تاریخچه کند شود، بنابراین مورد طولانی را نیز تست کنید.
۴. محاسبه دقیق هزینه‌های توکن
جلسات رول‌پلی کل تاریخچه خود را با هر درخواست همراه دارند، بنابراین توکن‌های ورودی با هر نوبت افزایش می‌یابند. پنجره زمینه 100,000 توکن است و هزینه یک جلسه طولانی عمدتاً ورودی است.
| جلسه | توکن‌های ورودی | توکن‌های خروجی | هزینه |
|---|---|---|---|
| پاسخ کوتاه واحد | 1,200 | 300 | $0.0003 |
| نوبت نقش‌آفرینی طولانی | 70,000 | 1,500 | $0.0113 |
قبل از پر شدن پنجره، نوبت‌های قدیمی را حذف یا خلاصه کنید و اعداد مصرف را به ازای هر مکالمه ذخیره کنید.
۵. مدیریت روان محدودیت‌های نرخ
هر کلید اجازه ۳۰۰ درخواست در دقیقه و ۸ درخواست همزمان را می‌دهد. یک برنامه چت به ندرت به تنهایی به این محدودیت می‌رسد، اما یک انفجار از طرف کاربران متعدد ممکن است. درخواست‌ها را برای هر کاربر صف‌بندی کنید و پاسخ‌های ۴۲۹ را با بازگشت نمایی مجدداً تلاش کنید.
به جای تأخیر بی‌صدا، یک پیام انتظار کوتاه در رابط کاربری نمایش دهید.
۶. تعریف مرزهای محتوایی شما
تصمیم بگیرید که محصول شما چه چیزی را می‌پذیرد قبل از راه‌اندازی، و آن را در کد خود اجرا کنید. بررسی‌های سنی، قوانین رضایت برای شخصیت‌های نقش‌آفرینی و لیست مسدودی برای دسته‌های معدودی که همه را رد می‌کنید، باید در برنامه شما باشد، نه فقط در پرامپت.
قوانین را یادداشت کنید و آن‌ها را با پرامپت‌هایی از هر دسته آزمایش کنید.
۷. تنظیم پرداخت‌های رمزارز برای مقیاس‌پذیری
اعتبار پیش‌پرداخت برای یک محصول چت با ترافیک ناهموار مناسب است. شارژ‌ها با USDT روی شبکه TRC20 یا USDC روی شبکه Base پرداخت می‌شوند، از مبلغ ۲۰ دلار شروع شده و اعتبار هدیه از ۵۰ دلار اعمال می‌شود. موجودی نمی‌تواند از صفر کمتر شود، بنابراین یک حلقه بی‌رویه در مبلغی که بارگذاری کرده‌اید متوقف می‌شود.
اتصال موجودی به هشدارهای خود، تا زمانی که موجودی کم است قبل از توقف سرویس متوجه شوید.
۸. با پرامپت‌های واقعی NSFW آزمایش کنید
قبل از راه‌اندازی، یک مجموعه آزمایشی از پرامپت‌های واقعی کاربران خود را با همان پیام‌های سیستمی و همان طول تاریخچه اجرا کنید. پاسخ‌ها را بخوانید، هزینه هر مکالمه را بررسی کنید و هر موردی که محصول به شکلی غیرمنتظره رفتار کرد را یادداشت کنید.
آزمون را پس از هر تغییر در دستورالعمل سیستم تکرار کنید، زیرا تغییرات کوچک در کلمات می‌تواند رفتار را به شدت تغییر دهد.
