131 lines
2.2 KiB
Markdown
131 lines
2.2 KiB
Markdown
# 8.EndToEnd-Processing-Flows-Bullets.md
|
||
|
||
> File này liệt kê **TOÀN BỘ các luồng xử lý cần thiết** để triển khai và mở rộng hệ thống.
|
||
> Dạng **gạch đầu dòng**, dùng như **bản đồ tư duy kỹ thuật**, hoặc checklist khi mở rộng.
|
||
|
||
---
|
||
|
||
## A. Luồng Ingestion
|
||
|
||
- Load config site / library
|
||
- Authenticate Graph (app-only)
|
||
- First full delta snapshot
|
||
- Persist delta token
|
||
- Poll delta định kỳ
|
||
- Detect create / update / delete
|
||
- Fetch metadata
|
||
- Fetch & flatten permissions
|
||
- Decide eligible file
|
||
- Emit job downstream
|
||
|
||
---
|
||
|
||
## B. Luồng Permission
|
||
|
||
- Resolve direct users
|
||
- Resolve AAD groups
|
||
- Expand nested groups
|
||
- Cache membership
|
||
- Attach ACL to file/chunk
|
||
|
||
---
|
||
|
||
## C. Luồng Extraction
|
||
|
||
- Receive file job
|
||
- Detect file type
|
||
- Detect scan vs text PDF
|
||
- OCR per page (if needed)
|
||
- Convert to Markdown
|
||
- Insert page markers
|
||
- Normalize text
|
||
- Remove noise
|
||
|
||
---
|
||
|
||
## D. Luồng Chunking
|
||
|
||
- Split by heading
|
||
- Split by page
|
||
- Validate token length
|
||
- Attach page range
|
||
- Attach source URL
|
||
|
||
---
|
||
|
||
## E. Luồng Indexing
|
||
|
||
- Validate mapping version
|
||
- Generate embedding
|
||
- Attach ACL
|
||
- Index chunk
|
||
- Remove old chunks (on update)
|
||
|
||
---
|
||
|
||
## F. Luồng Search
|
||
|
||
- Receive query
|
||
- Resolve user identity
|
||
- Resolve user groups
|
||
- Hybrid search
|
||
- Apply ACL filter
|
||
- Score & rank
|
||
- Highlight text
|
||
- Return results
|
||
|
||
---
|
||
|
||
## G. Luồng RAG Chat
|
||
|
||
- Receive question
|
||
- Decide Search vs Chat
|
||
- Retrieve top K chunks
|
||
- Build context
|
||
- Enforce token budget
|
||
- Generate answer
|
||
- Attach citations
|
||
- Return answer
|
||
|
||
---
|
||
|
||
## H. Luồng Feedback
|
||
|
||
- Collect user feedback
|
||
- Store feedback
|
||
- Aggregate metrics
|
||
- Feed prompt tuning
|
||
- Feed ranking tuning
|
||
|
||
---
|
||
|
||
## I. Luồng Ops & Monitoring
|
||
|
||
- Health check all services
|
||
- Collect metrics
|
||
- Trigger alerts
|
||
- Incident handling
|
||
- Post-mortem
|
||
|
||
---
|
||
|
||
## J. Luồng Governance & Change
|
||
|
||
- Prompt version change
|
||
- Model version change
|
||
- Embedding change
|
||
- Re-index strategy
|
||
- Rollback
|
||
|
||
---
|
||
|
||
## Cách sử dụng file này
|
||
|
||
- Dùng làm checklist triển khai
|
||
- Dùng để chia task cho AI agent
|
||
- Dùng làm reference mở rộng hệ thống
|
||
|
||
---
|
||
|
||
*File này intentionally không chi tiết – nó là xương sống logic cho mọi mở rộng sau này.*
|