RAG System — নিজের ডেটা দিয়ে AI তৈরি

লেসন ১৭ / ২৫

RAG (Retrieval-Augmented Generation) কী?

RAG হলো একটি পদ্ধতি যেখানে AI নিজের training data-র বাইরে আপনার নিজস্ব ডকুমেন্ট থেকে উত্তর খুঁজে বের করে।

প্রশ্ন: "আমাদের Return Policy কী?"
        ↓
[Embedding — প্রশ্নকে vector-এ রূপান্তর]
        ↓
[Vector Store — similar document খোঁজা]
        ↓
[Context: "Return Policy: ৩০ দিনের মধ্যে..."]
        ↓
[LLM — Context + Question = Answer]
        ↓
"আপনি ৩০ দিনের মধ্যে পণ্য ফেরত দিতে পারবেন..."

n8n-এ RAG Pipeline তৈরি

─── Document Ingestion Workflow ───
[HTTP Request / Google Drive — ডকুমেন্ট পড়া]
         ↓
[Embeddings Node — OpenAI text-embedding-3-small]
         ↓
[Pinecone / Qdrant / In-memory Vector Store]
  → Document chunked ও stored হবে

─── Query Workflow ───
[Telegram/Chat Trigger — প্রশ্ন এলো]
         ↓
[Vector Store Tool — similar chunks খোঁজা]
         ↓
[AI Agent / OpenAI — Context দিয়ে উত্তর তৈরি]
         ↓
[Telegram — উত্তর পাঠানো]

কোন Vector Store ব্যবহার করবেন?

  • In-memory — testing-এর জন্য, restart করলে মুছে যাবে
  • Pinecone — Cloud-based, production-ready, free tier আছে
  • Qdrant — Self-hosted, free, Docker দিয়ে চালানো যায়
  • Supabase pgvector — PostgreSQL ভিত্তিক

Company FAQ Bot উদাহরণ

# Setup (একবার করলেই হবে):
[Google Drive — FAQ.pdf / Policy.docx পড়া]
→ [Text Splitter — ৫০০ token-এর chunks]
→ [OpenAI Embeddings]
→ [Pinecone Vector Store — upsert]

# Runtime (প্রতিটি প্রশ্নে):
[Telegram Bot — প্রশ্ন এলো]
→ [Pinecone — Top 3 relevant chunks]
→ [OpenAI — "এই context থেকে উত্তর দিন"]
→ [Telegram — উত্তর পাঠানো]