از روند کلی مصرف تا جزئیات هر درخواست
لاگ، رد درخواست و سنجههای تجمیعی گدارAI نشان میدهند کدام مدل پاسخ داده، چه میزان توکن و هزینه ثبت شده، چه خطایی رخ داده و هر مرحله چقدر زمان برده است.
رهگیری هزینه و درخواستها
نمونه لاگ درخواستها
| وضعیت | زمان | مدل | تأمینکننده | تأخیر | توکنها | هزینه |
|---|---|---|---|---|---|---|
| 200 | 10:42:01 | gpt-4-turbo | OpenAI | 420ms | 450 | ۵۲۰ ت |
| 200 | 10:41:55 | claude-3-opus | Anthropic | 850ms | 1200 | ۱,۴۵۰ ت |
| 429 | 10:41:30 | gpt-3.5-turbo | OpenAI | 120ms | - | ۰ ت |
تفکیک مدلها
Trace Timeline
برای تیمهایی که مدل زبانی را در محصول واقعی به کار میگیرند
تیمهای فنی، محصول و مالی میتوانند دادههای درخواست، مصرف و هزینه را از یک منبع مشترک بررسی کنند و سریعتر به علت تغییرها برسند.
سه نمای مکمل برای بررسی درخواستها
لاگ برای جزئیات یک درخواست، رد درخواست برای مسیر مرحلهبهمرحله و سنجه برای تحلیل روندهای کلی به کار میرود.
بررسی لاگ هر درخواست
مدل انتخابشده، توکن، تأخیر، هزینه، وضعیت پاسخ، خطا و فراداده هر درخواست را بررسی کنید. ثبت محتوای درخواست و پاسخ نیز تابع تنظیمات حریم خصوصی فضای کاری است.
عیبیابی مرحلهای با رد درخواست
تلاشها، خطاها، مسیر جایگزین و زمان هر مرحله را در یک نمای زمانی ببینید و مشخص کنید کدام بخش باعث کندی یا شکست شده است.
تحلیل روند مصرف و عملکرد
تعداد درخواست، خطا، تأخیر، مصرف توکن، هزینه و اثربخشی حافظه نهان را در بازه زمانی و بر اساس مدل یا ارائهدهنده مقایسه کنید.
پیگیری هزینه و مصرف
هزینه را بر اساس مدل، ارائهدهنده، تیم یا حساب مجازی بررسی کنید و افزایش مصرف را به درخواستهای مربوط برسانید.
یک مسیر مشترک برای دادههای پایش
دادههای درخواست در همان مسیری ثبت میشوند که اپلیکیشن از طریق درگاه به مدل وصل است. برای همبستگی با سرویسهای دیگر نیز میتوانید از OpenTelemetry استفاده کنید.
مقایسه عملکرد و هزینه
تأخیر، هزینه، نرخ خطا و مصرف توکن را در بازه زمانی و بر اساس مدل یا ارائهدهنده مقایسه کنید.
بررسی تلاشها و مسیر جایگزین
در رد درخواست ببینید هر تلاش به کدام مقصد رفته، چه خطایی رخ داده و مسیر جایگزین چگونه انتخاب شده است.
یافتن سریع درخواستهای مسئلهدار
دادهها را بر اساس مدل، ارائهدهنده، کد وضعیت، تیم، زمان، هزینه، تأخیر یا فراداده فیلتر کنید و نمونههای مرتبط را باز کنید.
Real-time Metrics
هر چیزی که برای سنجش عملکرد نیاز دارید
لاگ، رد درخواست، سنجه و خروجی داده، هرکدام برای یک سطح از بررسی طراحی شدهاند.
لاگ و رد درخواست
جزئیات یک درخواست را در لاگ ببینید و در صورت نیاز، مسیر اجرای آن را مرحلهبهمرحله دنبال کنید.
فراداده قابل تحلیل
هزینه، تأخیر، کاربر، فضای کاری، ارائهدهنده و فراداده سفارشی را برای فیلتر و تحلیل درخواستها به کار ببرید.
Auto-instrumentation
داده گدارAI را با OpenTelemetry در کنار ردیابی و سنجههای سرویسهای خود همبسته کنید.
تحلیل روندها
مصرف، خطا، حافظه نهان، فراداده و هزینه را در بازه زمانی دلخواه مشاهده کنید.
فیلتر و نمای ذخیرهشده
فیلترهای پرتکرار را برای بررسیهای عملیاتی نگه دارید و درخواستهای مرتبط را سریعتر پیدا کنید.
خروجی برای تحلیل بیرونی
لاگها را با قالب CSV یا JSONL برای تحلیل، گزارشگیری یا نگهداری در سامانه دیگر دریافت کنید.
چرا پایش متمرکز برای تیمهای ایرانی مهم است؟
وقتی محصول شما به LLM وابسته است، فقط اتصال به مدل کافی نیست. باید بدانید هر درخواست چقدر هزینه دارد، چقدر طول میکشد، چه خطایی میدهد و کدام تأمینکننده بهترین عملکرد را دارد.
کاهش ریسک محدودیتهای اتصال مستقیم
عبور درخواستها از یک درگاه، وابستگی کد محصول به اتصال مستقیم هر ارائهدهنده را کمتر میکند و تغییر مسیر را سادهتر میسازد.
بدون پرداخت ارزی مستقیم
هزینه مدلها را بدون نیاز به کارت اعتباری خارجی یا پرداخت دلاری مستقیم مدیریت و با نمایش ریالی بررسی کنید.
هزینه قابل مشاهده به ریال
نمایش هزینه به ریال کمک میکند تیم فنی و مالی درباره مصرف مدلها با واحدی مشترک تصمیم بگیرند.
یک نقطه کنترل برای چند مدل و تأمینکننده
بهجای بررسی جداگانه چند ارائهدهنده، درخواستها، هزینه و خطاها را از یک مسیر مشترک تحلیل کنید.
برای چه تیمهایی ساخته شده است؟
تیمهای محصول هوش مصنوعی
الگوی استفاده، خطا و زمان پاسخ قابلیتهای مبتنی بر مدل را بررسی کنید و نقاط اصطکاک محصول را پیدا کنید.
تیمهای Backend و Platform
تأخیر، خطا، تلاش دوباره، مهلت پاسخ و مسیر جایگزین را بررسی کنید و علت ناپایداری را پیدا کنید.
تیمهای مالی و مدیریت
مصرف مدل را بر اساس تیم، قابلیت محصول، کاربر یا فضای کاری ببینید و هزینهها را قابل پیشبینیتر کنید.
تیمهای پشتیبانی مشتری
درخواستهای خطادار یا کند در مسیر پاسخگویی خودکار را با شناسه درخواست پیدا و برای تیم فنی ارسال کنید.
پرسشهای پرتکرار
رفتار درخواستهای مدل را با داده بررسی کنید
از سنجهها برای یافتن روند، از لاگ برای بررسی نمونه واقعی و از رد درخواست برای پیدا کردن علت خطا یا تأخیر استفاده کنید.