متریک‌های مدل

«متریک‌های مدل» برای پایش روندهای تجمیعی درخواست‌های مدل در گدارAI است. این صفحه به شما کمک می‌کند ببینید در یک بازه زمانی چه تعداد درخواست ارسال شده، تاخیر چقدر بوده، کدام مدل یا ارائه‌دهنده بیشتر مصرف شده، چقدر توکن و هزینه ثبت شده و کش چه مقدار صرفه‌جویی ایجاد کرده است.

اگر لاگ و ردیابی برای بررسی یک درخواست مشخص‌اند، متریک‌ها برای پاسخ به سؤال‌های روندی و مدیریتی استفاده می‌شوند: «کدام قابلیت بیشترین هزینه را دارد؟»، «کدام مدل کندتر شده؟»، «کش چقدر اثر گذاشته؟» و «خطاها از کدام ارائه‌دهنده بیشتر می‌آیند؟»

اطلاع

متریک‌های مدل از داده‌های تجمیعی مسیر درگاه ساخته می‌شوند. برای دیدن payload یا جزئیات یک درخواست خاص، از لاگ درخواست‌ها و ردیابی درخواست‌ها استفاده کنید.

فیلترها و گروه‌بندی

در این صفحه می‌توانید بازه زمانی را انتخاب کنید و داده را با این فیلترها محدود کنید:

مدل
ارائه‌دهنده
Request ID
وضعیت
صدک تاخیر
گروه‌بندی بر اساس مدل، مدل مجازی، کاربر، اکانت مجازی یا تیم

UI بازه تاریخ و زمان را به وقت محلی نشان می‌دهد، اما کوئری گدارAI با قالب RFC3339 ارسال می‌شود. این یعنی هنگام مقایسه با ابزارهای بیرونی، منطقه زمانی را در نظر بگیرید.

نکته

برای تحلیل هزینه تیمی، گروه‌بندی بر اساس «تیم» یا «اکانت مجازی» معمولاً از گروه‌بندی صرف بر اساس مدل مفیدتر است. مدل نشان می‌دهد چه چیزی مصرف شده؛ تیم یا اکانت مجازی نشان می‌دهد چه کسی یا کدام سرویس مصرف کرده است.

کارت‌های خلاصه

کارت‌های بالای صفحه تصویر سریع بازه انتخاب‌شده را می‌دهند:

کارت	معنی
کل درخواست‌ها	تعداد درخواست‌های منطبق با فیلترهای فعلی.
توکن ورودی و توکن خروجی	مصرف ورودی و خروجی مدل در بازه.
هزینه کل	برآورد هزینه ارائه‌دهنده بر اساس دلار.
پاسخ‌های کش‌شده و نرخ موفقیت کش	اثر کش روی پاسخ‌ها.
هزینه برآوردی صرفه‌جویی‌شده	هزینه‌ای که بر اساس پاسخ‌های کش‌شده تخمین زده می‌شود.
توکن‌های ارائه‌شده از کش	توکن‌های ورودی و خروجی پاسخ اصلی که از مسیر کش ارائه شده‌اند.

هزینه صرفه‌جویی‌شده برآوردی است. طبق توضیح UI، هزینه embedding و زیرساخت ممکن است در این عدد لحاظ نشده باشد.

نمودارها

نمودار	کاربرد
تعداد درخواست‌ها	دیدن حجم درخواست در طول زمان یا به تفکیک گروه انتخاب‌شده.
تاخیر درخواست	مقایسه صدک انتخاب‌شده مثل `P50`، `P90` یا `P99`.
توکن و هزینه در طول زمان	دیدن رابطه مصرف توکن و هزینه.
تفکیک خطاهای درخواست	پیدا کردن نوع خطاهای پرتکرار.
هزینه واقعی و صرفه‌جویی برآوردی	بررسی اثر کش ساده یا کش هوشمند روی هزینه.
اثربخشی کش	مقایسه hit دقیق، hit معنایی، نرخ موفقیت و هزینه صرفه‌جویی‌شده.

هشدار

متریک‌ها برای تحلیل عملیاتی و مالی بسیار مفیدند، اما برای حسابداری نهایی یا تصمیم‌های حساس مالی باید با رهگیری هزینه، صورتحساب و سیاست داخلی سازمان شما تطبیق داده شوند.

چه زمانی از متریک‌ها استفاده کنید؟

از این صفحه برای این سناریوها استفاده کنید:

بررسی رشد هزینه در یک قابلیت محصول.
مقایسه تاخیر چند مدل یا ارائه‌دهنده.
پیدا کردن مدل، تیم یا اکانت مجازی پرمصرف.
سنجش اثر کش بعد از فعال‌سازی.
دیدن اینکه خطاها موقت، مدل‌محور یا ارائه‌دهنده‌محور هستند.

عیب‌یابی سریع

نشانه	علت‌های محتمل	بررسی پیشنهادی
متریک‌ها بارگیری نمی‌شوند	ذخیره‌گاه متریک در محیط فعال نیست یا خطای دسترسی/زیرساخت رخ داده است.	پیام خطای صفحه را بررسی کنید و در صورت نیاز با مدیر فضای کاری هماهنگ شوید.
داده‌ای برای فیلترها نیست	بازه زمانی یا فیلترها محدود است.	بازه را بزرگ‌تر کنید و فیلتر مدل/ارائه‌دهنده را پاک کنید.
هزینه بالا رفته اما درخواست‌ها زیاد نشده‌اند	خروجی طولانی‌تر، مدل گران‌تر یا نبود کش می‌تواند علت باشد.	توکن خروجی، مدل، ارائه‌دهنده و نمودار کش را بررسی کنید.
تاخیر `P99` بالا است ولی میانگین عادی است	چند درخواست کند، صدک بالا را جابه‌جا کرده‌اند.	از متریک به لاگ‌ها یا ردیابی‌های همان بازه بروید و نمونه‌های کند را بررسی کنید.

گام بعدی

برای بررسی نمونه واقعی، لاگ درخواست‌ها را باز کنید.
برای دیدن مسیر یک درخواست کند یا ناموفق، ردیابی درخواست‌ها را بخوانید.
برای کنترل هزینه، رهگیری هزینه و محدودیت بودجه را ببینید.

پرسش‌های پرتکرار