Phase 7: Hoàn thiện Modular RAG Backend với FastAPI và Đa LLM Provider

chat/llm_providers/base_llm.py

@@ -0,0 +1,16 @@
+from abc import ABC, abstractmethod
+from typing import List, Dict
+
+class BaseLLMProvider(ABC):
+    """
+    Interface gốc cho tất cả các mô hình Ngôn ngữ (Chat LLMs).
+    Đảm bảo tính dễ mở rộng (Cắm rút API khác nhau) mà không làm vỡ kiến trúc RAG.
+    """
+    
+    @abstractmethod
+    def generate_response(self, prompt: str, context: str, history: List[Dict[str, str]] = None) -> str:
+        """
+        Nhận vào ngữ cảnh (từ VectorDB) và câu hỏi của user (prompt),
+        Trả về câu trả lời cuối cùng dưới dạng Text.
+        """
+        pass

chat/llm_providers/gemini_llm.py

@@ -0,0 +1,44 @@
+import logging
+from typing import List, Dict
+from core.config import settings
+from .base_llm import BaseLLMProvider
+
+logger = logging.getLogger("GeminiLLM")
+
+class GeminiLLM(BaseLLMProvider):
+    def __init__(self):
+        try:
+            import google.generativeai as genai
+        except ImportError:
+            logger.error("LỖI: Chưa cài đặt thư viện Gemini. Chạy lệnh: pip install google-generativeai")
+            raise
+            
+        if not settings.gemini_api_key:
+            raise ValueError("GEMINI_API_KEY chưa được cấu hình trong .env!")
+            
+        genai.configure(api_key=settings.gemini_api_key)
+        # Sử dụng model flash mới nhất, cực nhanh và có ngữ cảnh lớn
+        self.model = genai.GenerativeModel('gemini-1.5-flash')
+        logger.info("Đã khởi tạo Gemini 1.5 Flash Provider.")
+
+    def generate_response(self, prompt: str, context: str, history: List[Dict[str, str]] = None) -> str:
+        full_prompt = f"""Bạn là một trợ lý ảo thông minh chuyên giải đáp thông tin dựa trên cơ sở dữ liệu nội bộ.
+Hãy trả lời câu hỏi của người dùng một cách chính xác, lịch sự và DỰA HOÀN TOÀN vào ngữ cảnh được cung cấp.
+
+=== NGỮ CẢNH (CONTEXT) ===
+{context}
+
+=== LỊCH SỬ CHAT ===
+{history if history else 'Không có'}
+
+=== CÂU HỎI CỦA NGƯỜI DÙNG ===
+{prompt}
+
+=== TRẢ LỜI ===
+"""
+        try:
+            response = self.model.generate_content(full_prompt)
+            return response.text
+        except Exception as e:
+            logger.error(f"Lỗi khi gọi Gemini API: {e}")
+            return f"Xin lỗi, tôi đang gặp sự cố khi xử lý câu trả lời: {e}"

chat/llm_providers/groq_llm.py

@@ -0,0 +1,54 @@
+import logging
+from typing import List, Dict
+from core.config import settings
+from .base_llm import BaseLLMProvider
+
+logger = logging.getLogger("GroqLLM")
+
+class GroqLLM(BaseLLMProvider):
+    def __init__(self):
+        try:
+            from openai import OpenAI
+        except ImportError:
+            logger.error("LỖI: Thư viện openai chưa được cài đặt.")
+            raise
+            
+        if not settings.groq_api_key:
+            raise ValueError("GROQ_API_KEY chưa được cấu hình trong .env!")
+            
+        # Groq hỗ trợ thư viện OpenAI SDK, chỉ cần đổi Base URL
+        self.client = OpenAI(
+            api_key=settings.groq_api_key,
+            base_url="https://api.groq.com/openai/v1"
+        )
+        self.model_name = settings.groq_model
+        logger.info(f"Đã khởi tạo Groq Provider với model: {self.model_name}")
+
+    def generate_response(self, prompt: str, context: str, history: List[Dict[str, str]] = None) -> str:
+        system_prompt = f"""Bạn là một trợ lý ảo thông minh chuyên giải đáp thông tin dựa trên cơ sở dữ liệu nội bộ.
+Hãy trả lời câu hỏi của người dùng một cách chính xác, lịch sự và DỰA HOÀN TOÀN vào ngữ cảnh được cung cấp.
+
+=== NGỮ CẢNH (CONTEXT) ===
+{context}
+"""
+        messages = [{"role": "system", "content": system_prompt}]
+        
+        # Thêm lịch sử chat (nếu có)
+        if history:
+            for msg in history:
+                messages.append({"role": msg.get("role", "user"), "content": msg.get("content", "")})
+                
+        # Thêm câu hỏi hiện tại
+        messages.append({"role": "user", "content": prompt})
+        
+        try:
+            response = self.client.chat.completions.create(
+                model=self.model_name,
+                messages=messages,
+                temperature=0.2, # Giữ temperature thấp để AI không bịa chuyện
+                max_tokens=1024
+            )
+            return response.choices[0].message.content
+        except Exception as e:
+            logger.error(f"Lỗi khi gọi Groq API: {e}")
+            return f"Xin lỗi, tôi đang gặp sự cố khi xử lý câu trả lời qua Groq: {e}"

chat/llm_providers/local_llm.py

@@ -0,0 +1,54 @@
+import logging
+from typing import List, Dict
+from core.config import settings
+from .base_llm import BaseLLMProvider
+
+logger = logging.getLogger("LocalLLM")
+
+class LocalLLM(BaseLLMProvider):
+    def __init__(self):
+        try:
+            from openai import OpenAI
+        except ImportError:
+            logger.error("LỖI: Thư viện openai chưa được cài đặt.")
+            raise
+            
+        if not settings.local_llm_endpoint:
+            raise ValueError("LOCAL_LLM_ENDPOINT chưa được cấu hình trong .env!")
+            
+        # llama.cpp server hỗ trợ API y hệt OpenAI
+        # Ta cần cắt đuôi /chat/completions để ra base_url
+        base_url = settings.local_llm_endpoint.replace("/chat/completions", "")
+        
+        self.client = OpenAI(
+            api_key="sk-no-key-required", # Llama.cpp local không cần key
+            base_url=base_url
+        )
+        logger.info(f"Đã khởi tạo Local Llama.cpp Provider kết nối tới: {base_url}")
+
+    def generate_response(self, prompt: str, context: str, history: List[Dict[str, str]] = None) -> str:
+        system_prompt = f"""Bạn là trợ lý RAG nội bộ. 
+Chỉ trả lời dựa trên NGỮ CẢNH dưới đây. Nếu không biết thì nói không biết.
+
+=== NGỮ CẢNH ===
+{context}
+"""
+        messages = [{"role": "system", "content": system_prompt}]
+        
+        if history:
+            for msg in history:
+                messages.append({"role": msg.get("role", "user"), "content": msg.get("content", "")})
+                
+        messages.append({"role": "user", "content": prompt})
+        
+        try:
+            response = self.client.chat.completions.create(
+                model="local-model", # llama.cpp thường phớt lờ tên model
+                messages=messages,
+                temperature=0.1,
+                max_tokens=1024
+            )
+            return response.choices[0].message.content
+        except Exception as e:
+            logger.error(f"Lỗi khi gọi Local LLM: {e}")
+            return f"Xin lỗi, máy chủ AI nội bộ đang bận hoặc mất kết nối: {e}"