Token, Context Window ও Pricing অর্থনীতি

🔢 Token কী?

LLM text-কে সরাসরি পড়ে না। প্রথমে text ছোট ছোট টুকরোয় ভাগ করে, প্রতিটা টুকরোকে বলে token। এরপর প্রতিটা token-কে number-এ convert করে model-এ পাঠায়।

"Hello, world!" → ["Hello", ",", " world", "!"] = ৪টা token
"আমি বাংলায় লিখি" → প্রায় ১২-১৫টা token

📏 Rough হিসাব

• English: ১ token ≈ ৪ character বা ¾ word
• Bengali/Arabic/Chinese: বেশি token লাগে (খরচ বেশি!)
• Code: মধ্যবর্তী

🪟 Context Window

একটা call-এ কত token model process করতে পারে (input + output মিলে)। এটা model-এর "short-term memory"।

Model	Context	তুলনা
GPT-3.5	16K	~১২ হাজার শব্দ
GPT-4o	128K	~১০০ পৃষ্ঠা বই
Claude Sonnet	200K	~৫০০ পৃষ্ঠা
Gemini 1.5 Pro	1M-2M ⭐	পুরো Harry Potter series!

💵 Pricing Model

দুই ধরনের token-এর জন্য আলাদা দাম:

• Input tokens — আপনি যা পাঠান (সস্তা)
• Output tokens — model যা generate করে (৩-৫ গুণ দামি)

GPT-4o আনুমানিক (২০২৫):
  Input:  $2.50 / 1M tokens
  Output: $10 / 1M tokens

Claude Sonnet:
  Input:  $3 / 1M
  Output: $15 / 1M

🧮 খরচ হিসাব

Chatbot: প্রতিদিন ১০০০ message
  গড়ে ৫০০ input + ২০০ output token/message
  মোট দৈনিক: 500K input + 200K output
  GPT-4o: $1.25 + $2 = $3.25/দিন
  মাসিক: ~$100

💰 খরচ কমানোর ১০টি কৌশল ⭐

1. ছোট model বেছে নিন যেখানে সম্ভব (GPT-4o-mini, Haiku) — ১০-২০ গুণ সস্তা।
2. Concise prompt — অপ্রয়োজনীয় কথা বাদ দিন।
3. Streaming — perceived speed বাড়ে।
4. Prompt Caching (Anthropic) — একই system prompt cache হলে ৯০% ছাড়।
5. Batch API — async করলে ৫০% ছাড়।
6. max_tokens limit সেট করুন।
7. Conversation history compress করুন।
8. RAG ব্যবহার করুন — পুরো document পাঠানোর বদলে শুধু relevant অংশ।
9. Semantic cache — একই প্রশ্ন হলে cached answer দিন।
10. Smart routing — সহজ প্রশ্ন ছোট model-এ, কঠিন প্রশ্ন বড় model-এ।

🛠️ Token Counter Tools

• OpenAI tiktoken library
• Anthropic token counter API
• Online tokenizer playground

⚠️ লুকানো খরচ

• System prompt প্রতি call-এ পাঠানো হয়।
• Conversation history বাড়তে থাকে — পুরোনো messages remove না করলে প্রতি reply-তে সব পাঠাতে হয়।
• Error-এ retry করলে double খরচ।
• Function/tool calling overhead।
• Multimodal input (image) অনেক token নেয়।

📊 Monthly Budget Template

- Developers internal use:    $50
- Customer-facing chatbot:    $500
- RAG knowledge base search:  $200
- Image generation:           $100
- মোট:                        $850/মাস

Daily alert set করুন, cost anomaly detect করুন।