مستندات پروژه – سیستم بازیابی مبتنی بر LLM
این پروژه شامل دو مدل مختلف است که با استفاده از کتابخانه HuggingFace Transformers برای وظایف پردازش زبان طبیعی (NLP) ساخته و تنظیم دقیق (Fine-tune) شدهاند. در ادامه، توضیحات کاملی درباره ساختار دایرکتوری و منطق مدلها ارائه شده است.
ساختار پروژه
.
├── QA_Model
│ ├── LLMProject.ipynb
│ ├── model
│ │ ├── config.json
│ │ ├── pytorch_model.bin
│ │ ├── special_tokens_map.json
│ │ ├── tokenizer_config.json
│ │ ├── tokenizer.json
│ │ └── vocab.txt
│ ├── README.md
│ ├── RunModel.ipynb
│ └── RUNMODEL.md
└── T2T_Model
├── LLMProject.ipynb
└── README.md
دایرکتوری QA_Model/
این پوشه حاوی مدل پرسش و پاسخ (Question Answering) است.
LLMProject.ipynb: نوتبوکی که در آن مدل QA آموزش و تنظیم دقیق شده است. این فایل شامل بارگذاری دادهها، تنظیمات Tokenizer، بارگذاری مدل، حلقه آموزش و ارزیابی است.RunModel.ipynb: یک نوتبوک مجزا برای تست مدل آموزشدیده. این فایل سوال کاربر و یک متن (Context) را دریافت کرده و پاسخ را پیشبینی میکند.model/: شامل تمام فایلهای خروجی مدل آموزشدیده، از جمله:pytorch_model.bin: وزنهای مدل آموزشدیده.config.json: تنظیمات معماری مدل.tokenizer.jsonو سایر فایلهای مرتبط: جزئیات مربوط به توکنساز مدل.
README.md: اطلاعات پایه درباره پروژه مدل QA.RUNMODEL.md: توضیحات مربوط به نحوه بارگذاری و اجرای استنتاج (Inference) روی مدل.
دایرکتوری T2T_Model/
این پوشه شامل یک مدل سادهتر متن-به-متن (Text-to-Text) است.
LLMProject.ipynb: در این نوتبوک، مدل بر روی یک مجموعه داده مبتنی بر پرامپت (Prompt) آموزش دیده است. این مدل یک سوال را دریافت کرده و بدون نیاز به متن اضافی، پاسخ را تولید میکند.README.md: توضیحاتی درباره نحوه عملکرد مدل T2T و چگونگی آموزش آن.
تفاوت بین مدلهای QA و T2T
| ویژگی | مدل QA_Model | مدل T2T_Model |
|---|---|---|
| ورودی | سوال + متن مرجع (Context) | فقط سوال (Prompt) |
| نوع مدل | استخراجی (مانند BERT) | تولید متن (مانند T5) |
| مورد استفاده | نیاز به متن مرجع برای پاسخدهی | تولید پاسخهای آزاد |
| نوع خروجی | بخشی از متن مرجع | متن کاملاً جدید و تولید شده |
| هدف آموزش | یافتن توکن شروع و پایان پاسخ | تولید پاسخ به صورت توکنبهتوکن |
چه زمانی از کدام مدل استفاده کنیم؟
- QA_Model: زمانی ایدهآل است که شما یک سند یا متن مشخص دارید و میخواهید پاسخ دقیق را از داخل آن استخراج کنید. این مدل بهترین عملکرد را روی دادههای ساختاریافته دارد.
- T2T_Model: انعطافپذیری بیشتری دارد و برای سوالات باز، چتباتها، خلاصهسازی یا کارهای تولید متن استفاده میشود. این مدل نیازی به متن خارجی ندارد و بر اساس دانش داخلی خود پاسخ میدهد.
