درخواست آموزش مدل با داده‌های سازمان، اغلب بیانگر نیازی مشخص است: هوش مصنوعی باید آیین‌نامه‌ها، قراردادها، مستندات و اصطلاحات داخلی را به‌درستی تفسیر کند و پاسخ قابل استناد ارائه دهد. انتخاب میان RAG و Fine-Tuning به ماهیت این نیاز بستگی دارد؛ باید مشخص شود مسئله، کمبود دانش در زمان پاسخ‌گویی است یا ضعف مدل در انجام یک وظیفه مشخص.
برای دانش سازمانی که در طول زمان تغییر می‌کند، بازیابی منبع هنگام پاسخ‌گویی معمولاً نقطه شروع مناسبی است. تنظیم تکمیلی مدل نیز می‌تواند به بهبود رفتار، قالب پاسخ یا عملکرد در یک وظیفه کمک کند. هیچ‌یک از این دو روش، به‌تنهایی دقت، امنیت یا کاهش هزینه را تضمین نمی‌کند.
تفاوت RAG و Fine-Tuning از منظر نیاز سازمان
در روش RAG، سامانه ابتدا بخش‌های مرتبط از منابع مجاز را بازیابی می‌کند و همراه پرسش در اختیار مدل قرار می‌دهد. در روش Fine-Tuning، مدل با مجموعه‌ای از نمونه‌ها آموزش تکمیلی می‌بیند. راهنمای رسمی OpenAI درباره بهبود دقت نیز تفکیک مسئله زمینه و دانش از مسئله رفتار مدل را مبنای انتخاب روش قرار می‌دهد.
مقایسه دو روش برای دانش سازمانی
| معیار | RAG | Fine-Tuning |
|---|---|---|
| نیاز اصلی | ارائه منبع مرتبط به مدل در زمان پاسخ‌گویی | بهبود عملکرد در یک وظیفه با نمونه‌های آموزشی |
| تغییر آیین‌نامه | اصلاح منبع و به‌روزرسانی نمایه جست‌وجو | اطلاعات آموخته‌شده با تغییر فایل منبع به‌صورت خودکار اصلاح نمی‌شود |
| استناد | قابل طراحی با شناسه سند، نسخه و محل متن | استناد معتبر به‌صورت خودکار از آموزش به دست نمی‌آید |
| مجوز سند | در لایه جست‌وجو و تحویل محتوا اعمال می‌شود | وزن‌های مشترک مدل، ابزار مناسبی برای اعمال مجوز به تفکیک سند نیستند |
| هزینه | آماده‌سازی منبع، جست‌وجو، پردازش و نگهداری | تهیه نمونه، آموزش، ارزیابی و نگهداری نسخه‌ها |
| نمونه کاربرد | پاسخ‌گویی بر اساس بخشنامه‌ها و راهنماهای داخلی | طبقه‌بندی تخصصی یا قالب پاسخ پایدار |
شرایط مناسب برای آغاز با RAG
- پاسخ باید به بند و نسخه مشخصی از سند رسمی متکی باشد
- بخشنامه‌ها و راهنماها به‌طور مستمر تغییر می‌کنند و حذف نسخه‌های منسوخ اهمیت دارد
- کاربران واحدهای مختلف به منابع متفاوت دسترسی دارند
- اطلاعات در PDF، Word، سامانه اسناد یا منابع متنی پراکنده است
اثربخشی RAG به بارگذاری اسناد محدود نمی‌شود. کیفیت متن استخراج‌شده، انتخاب منبع معتبر، بازیابی بخش مناسب و تفسیر آن توسط مدل، هرکدام به ارزیابی مستقل نیاز دارند. وجود پیوند در پاسخ نیز به‌تنهایی اثبات نمی‌کند که منبع مورد اشاره، ادعای مطرح‌شده را پشتیبانی می‌کند.
شرایط مناسب برای بررسی Fine-Tuning
- نمونه‌های صحیح، نماینده کار واقعی و دارای مجوز استفاده در دسترس هستند
- خطا با دستور روشن و چند نمونه در درخواست برطرف نشده است
- مدل در دسته‌بندی، قالب خروجی یا رفتار تکرارشونده ضعف مشخصی دارد
- تیم مسئول ارزیابی نسخه جدید و هزینه آموزش مجدد مشخص است
تنظیم تکمیلی می‌تواند دانش را نیز به مدل منتقل کند، اما نگهداری اطلاعاتی را که باید به‌طور مستمر اصلاح یا حذف شوند، یا تنها در دسترس گروه مشخصی باشند، دشوارتر می‌کند. تصمیم درباره ترکیب RAG و Fine-Tuning باید بر نتایج آزمون متکی باشد؛ افزایش پیچیدگی معماری به‌خودی‌خود مزیت محسوب نمی‌شود.
مثال فرضی: پاسخ‌گویی بر اساس آیین‌نامه منابع انسانی
کارمند می‌پرسد: «مرخصی استعلاجی برای قرارداد موقت چگونه محاسبه می‌شود؟» سامانه باید نوع قرارداد و تاریخ اجرای مقررات را در نظر بگیرد، نسخه معتبر آیین‌نامه را بازیابی کند و پاسخ را با استناد به بند مربوط ارائه دهد. اگر برای این وضعیت سندی وجود نداشته باشد یا دو نسخه با یکدیگر تعارض داشته باشند، سامانه باید محدودیت اطلاعات را اعلام کند و کاربر را به واحد منابع انسانی ارجاع دهد؛ ارائه حکم بر پایه حدس قابل قبول نیست.
در این سناریو، ابتدا کیفیت بازیابی و پاسخ مستند ارزیابی می‌شود. اگر پس از اصلاح دستور و نمونه‌ها، قالب پاسخ همچنان ناپایدار باشد، تنظیم تکمیلی برای رفع همان ضعف بررسی می‌شود. ورود اطلاعات محرمانه کارکنان به مدل مشترک از طریق نمونه‌های آموزشی نباید بدون نیاز مشخص انجام شود.
آزمون‌های ارزیابی دانش فارسی
آزمون‌های پیشنهادی برای منابع فارسی
| مسئله | آزمون عملی | معیار پذیرش |
|---|---|---|
| PDF اسکن‌شده و جدول | چند صفحه دشوار را با متن استخراج‌شده مقایسه کنید | شماره بند، سطر جدول و استثناهای متن جابه‌جا نشده‌اند |
| ی، ک و نیم‌فاصله | یک سؤال را با نگارش‌های متفاوت تکرار کنید | تفاوت نگارشی مانع بازیابی منبع مرتبط نمی‌شود |
| تاریخ و اعداد | پرسشی شامل تاریخ شمسی، مبلغ و شماره بخشنامه مطرح کنید | پاسخ عدد و تاریخ را از منبع درست نقل می‌کند |
| اصطلاحات داخلی | بازیابی را با مخفف نام سامانه و نام پیشین واحد آزمایش کنید | سامانه سند صحیح را بازیابی می‌کند یا برای رفع ابهام پرسش تکمیلی مطرح می‌کند |
| نسخه و دسترسی | سؤال یکسان را با دو نقش و دو نسخه سند اجرا کنید | فقط نسخه معتبر و منابع مجاز وارد پاسخ می‌شوند |
این جدول، برنامه پیشنهادی آزمون است و نتایج اندازه‌گیری هوشیار یا مدل مشخصی را گزارش نمی‌کند. برای مقایسه منصفانه، مجموعه‌ای از پرسش‌های واقعی و مجاز با پاسخ مرجع تهیه کنید که موارد بی‌پاسخ، چندمرحله‌ای و دارای سند منسوخ را نیز در بر گیرد. بخشی از پرسش‌ها باید تا پایان انتخاب روش، برای آزمون مستقل نگه داشته شوند.
ارزیابی صحت پاسخ و هزینه واقعی
برای هر پاسخ، این موارد را ثبت کنید: آیا منبع مورد نیاز بازیابی شده است؟ آیا ادعا با منبع سازگار است؟ آیا پاسخ، مسئله کاربر را به‌درستی و به‌طور کامل پوشش می‌دهد؟ آیا سامانه در نبود شواهد از حدس‌زدن خودداری کرده است؟ امتیاز روان‌بودن متن فارسی یا رضایت کاربر، جایگزین این بررسی‌ها نیست. راهنمای ارزیابی OpenAI بر آزمون متناسب با کار واقعی و همراهی سنجش خودکار با قضاوت انسانی تأکید می‌کند.
مبنای مقایسه هزینه باید زمان پاک‌سازی اسناد، کارشناسی محتوا، زیرساخت، پردازش درخواست، بازبینی پاسخ و اصلاح خطا را در بر گیرد. هزینه پایین آموزش یا هر توکن، به‌تنهایی بیانگر هزینه کمتر برای دستیابی به پاسخ صحیح نیست. برای پایش تغییرات، از اصول LLMOps و مدیریت کیفیت مدل استفاده کنید.
پرسش‌های متداول مدیران فناوری اطلاعات
آیا RAG از همه پاسخ‌های ساختگی جلوگیری می‌کند؟
خیر. بازیابی نامرتبط، سند ناقص یا تفسیر اشتباه مدل همچنان ممکن است. استناد قابل بررسی، آزمون پرسش‌های بی‌پاسخ و ارجاع موارد حساس به کارشناس لازم است.
آیا حذف سند از پوشه کافی است؟
خیر. حذف یا اصلاح سند باید در نمایه، نسخه‌های ذخیره‌شده و حافظه موقت مرتبط نیز اعمال شود. دامنه و زمان انجام این تغییرات و سیاست نسخه‌های پشتیبان باید از ابتدا تعیین شوند.
آیا آموزش مدل برای زبان فارسی ضروری است؟
خیر. ابتدا مدل پایه را با اسناد و پرسش‌های فارسی سازمان آزمایش کنید. آموزش مدل، روش قابل اتکایی برای جبران خطاهای استخراج متن (OCR)، بازیابی یا مدیریت نسخه سند نیست.
خروجی قابل قبول مرحله نخست چیست؟
خروجی مرحله نخست باید شامل یک سناریوی محدود، منابع دارای مالک، مجموعه آزمون، پاسخ‌های قابل بررسی و گزارش خطا به تفکیک بازیابی و تولید پاسخ باشد. گسترش به سایر واحدها باید پس از بررسی این شواهد انجام شود.
مسیر پیشنهادی بعدی
برای پاسخ‌گویی بر اساس اسناد داخلی، صفحه پایگاه دانش هوشمند سازمانی، مسیر گفت‌وگو با اسناد سازمانی و کنترل کیفیت RAG را توضیح می‌دهد.
