Khung cơ bản: Vòng lặp, lịch sử, API
Chatbot không bộ lọc không phải là trường hợp đặc biệt về mặt kỹ thuật. Bạn cần cùng các khối xây dựng như bất kỳ bot nào: một vòng lặp nhập liệu, một danh sách tin nhắn và một mô hình trả lời. Sự khác biệt nằm ở mô hình. Chúng tôi sử dụng API của kiohnezensurapi.com, cung cấp một mô hình trọng số mở từ nhà cung cấp độc lập, được tinh chỉnh để trả lời mà không từ chối nội dung cho người lớn sử dụng hợp pháp.
Yêu cầu: Python 3.9 trở lên, pip install openai và một khóa từ trang lấy khóa API. Tín dụng dùng thử $0,50 (một lần mỗi người, có hiệu lực 7 ngày, không cần thông tin thanh toán) đủ cho toàn bộ hướng dẫn.
Mã nguồn đầy đủ
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.kiohnezensurapi.com/v1",
api_key=os.environ["KI_KEY"],
)
SYSTEM = (
"Du bist Rex, ein trockener, direkter Gesprächspartner. "
"Du antwortest auf Deutsch, in kurzen Absätzen, ohne Vorträge."
)
verlauf = [{"role": "system", "content": SYSTEM}]
MAX_NACHRICHTEN = 20 # ohne System-Prompt
def kuerzen():
rest = verlauf[1:][-MAX_NACHRICHTEN:]
verlauf[:] = [verlauf[0]] + rest
while True:
text = input("Du: ").strip()
if text in ("", "exit"):
break
verlauf.append({"role": "user", "content": text})
kuerzen()
stream = client.chat.completions.create(
model="uncensored",
messages=verlauf,
stream=True,
temperature=0.8,
max_tokens=600,
)
antwort = ""
print("Rex: ", end="", flush=True)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
teil = chunk.choices[0].delta.content
antwort += teil
print(teil, end="", flush=True)
print()
verlauf.append({"role": "assistant", "content": antwort})Lưu dưới dạng bot.py, đặt KI_KEY trong môi trường và chạy python bot.py. Hàm kuerzen chỉ giữ lại 20 tin nhắn cuối cùng cộng với prompt hệ thống, để đoạn hội thoại không tăng vô hạn.
Cách mã hoạt động
System prompt
Tin nhắn đầu tiên với role: system xác định tính cách và phong cách. Nó được gửi kèm trong mọi yêu cầu. Hãy giữ nó ngắn gọn vì nó luôn được tính là đầu vào.
Lịch sử
API không lưu trữ giữa các lệnh gọi. Do đó, bạn thêm từng tin nhắn người dùng và câu trả lời vào danh sách. Nếu không có câu trả lời của bot, nó sẽ quên những gì nó đã nói.
Truyền phát
Với stream: true, phản hồi được trả về qua Server-Sent Events từng phần nhỏ. Điều này cảm thấy nhanh hơn vì văn bản xuất hiện ngay lập tức. Lưu ý: Một yêu cầu truyền phát chiếm một vị trí trong giới hạn yêu cầu đồng thời cho đến khi luồng kết thúc. Với khóa dùng thử, bạn có thể gửi 2 yêu cầu đồng thời, với khóa đầy đủ là 8.
max_tokens
Tham số này là tùy chọn. Không có nó, câu trả lời có thể sử dụng phần còn lại của cửa sổ 100.000 token. Đối với chat, một giới hạn trên là hợp lý để bảo vệ khỏi các câu trả lời dài dòng và do đó tránh chi phí không cần thiết.
Bảng tính chi phí cho bot của bạn
Giá: $0,15 cho 1M token đầu vào, $0,50 cho 1M token đầu ra. Giả sử system prompt có 100 token và lịch sử trung bình 3.000 token, câu trả lời 300 token.
- Đầu vào: 3.100 / 1.000.000 × $0,15 = $0,000465
- Đầu ra: 300 / 1.000.000 × $0,50 = $0,00015
- Tổng cộng: $0,000615 mỗi tin nhắn
Đó là $0,615 cho 1.000 tin nhắn. Với tín dụng dùng thử $0,50, bạn tính toán được khoảng 813 tin nhắn (0,50 / 0,000615 ≈ 813). Một người dùng gửi 50 tin nhắn mỗi ngày tạo ra khoảng $0,92 mỗi tháng (30 ngày, 1.500 tin nhắn).
Yếu tố quan trọng nhất là độ dài lịch sử. Nếu bot trung bình gửi 10.000 thay vì 3.000 token, chi phí đầu vào sẽ tăng lên 10.100 / 1.000.000 × $0,15 = $0,001515 mỗi tin nhắn, cộng với câu trả lời là $0,001665. Việc cắt ngắn hoặc tóm tắt các cuộc hội thoại cũ giúp tiết kiệm tiền. Các yêu cầu thất bại hoặc bị từ chối không được tính phí.
Cải thiện cho việc sử dụng hàng ngày
- Bộ nhớ thông qua tóm tắt: Tóm tắt các tin nhắn cũ bằng một lệnh gọi API riêng biệt và thay thế chúng bằng bản tóm tắt đó. Cách này giúp bot duy trì ngữ cảnh với chi phí thấp hơn.
- Xử lý lỗi: Bắt lỗi HTTP 429. Mã lỗi
rate_limitednghĩa là quá nhiều yêu cầu mỗi phút,concurrencynghĩa là quá nhiều yêu cầu đồng thời. Khi quá tải, tiêu đề chứaRetry-After: 5, bạn hãy chờ 5 giây. - Lưu trữ: Lưu đoạn hội thoại dưới dạng tệp JSON hoặc vào cơ sở dữ liệu để các cuộc trò chuyện có thể khởi động lại.
- Nhiều người dùng: Duy trì một danh sách đoạn hội thoại riêng cho mỗi người dùng. Với nhiều người dùng cùng lúc, 8 yêu cầu đồng thời sẽ giới hạn thông lượng, hãy sử dụng hàng đợi.
- Bảo vệ khóa: Không bao giờ ghi khóa vào giao diện người dùng của bạn. Gọi API từ máy chủ của bạn.
Các tham số khác như top_p, stop và seed cũng như gọi hàm được mô tả trong tài liệu.
Điều "không kiểm duyệt" không có nghĩa là gì
Bot trả lời khi các trợ lý khác từ chối. Điều này không thay thế trách nhiệm của bạn với tư cách là nhà vận hành. Nội dung tình dục liên quan đến người chưa thành niên bị loại trừ hoàn toàn, và dịch vụ dành cho việc sử dụng hợp pháp bởi người lớn. Nếu bạn cung cấp bot công khai, bạn nên yêu cầu khai báo độ tuổi và đưa ra các quy tắc sử dụng. Các prompt không được dùng để huấn luyện; nghĩa vụ bảo vệ dữ liệu của bạn đối với người dùng vẫn không bị ảnh hưởng.
Ngoài ra, API chỉ xử lý văn bản: trò chuyện hình ảnh hoặc giọng nói cần các dịch vụ khác. Thông tin chi tiết về chủ đề này có trong bài viết LLM không kiểm duyệt, bảng giá có trên trang giá cả. Bạn có thể nạp tiền từ $20 bằng USDT trên TRC20 hoặc USDC trên Base, với +5% bonus từ $50.

