یک مسیر مشترک برای اتصال قابل کنترل و قابل پیگیری به مدلهای هوش مصنوعی
اپلیکیشن را به یک نقطه پایانی سازگار با OpenAI وصل کنید. حسابهای ارائهدهنده، مدلهای مجاز، مسیر جایگزین، سقف مصرف و دادههای پایش را در فضای کاری گدارAI مدیریت کنید.
مسیریابی مدل مجازی — مسیر فعال
Liveمدیریت کلیدها
گزارشهای رخداد درخواست (Live)
| وضعیت | مدل | ارائهدهنده | تأخیر | توکن | حافظه نهان | هزینه |
|---|---|---|---|---|---|---|
| 200 | gpt-4o | OpenAI | 380ms | 520 | HIT | ۶۲۰ ت |
| 200 | claude-3.5-sonnet | Anthropic | 710ms | 1100 | MISS | ۱,۳۲۰ ت |
| 429 | gpt-4-turbo | OpenAI | 90ms | — | — | ۰ ت |
| 200 | gemini-1.5-pro | 510ms | 840 | HIT | ۴۸۰ ت |
برای تیمهایی که مدل زبانی را در محصول واقعی به کار میگیرند
گدارAI منطق اتصال، دسترسی، مصرف و پایش مدلها را از سرویسهای پراکنده به یک لایه مرکزی منتقل میکند.
اجزای لازم برای اتصال عملیاتی مدلها
گدارAI درخواست را احراز هویت میکند، سیاستهای دسترسی و مصرف را میسنجد، مقصد را انتخاب میکند و دادههای پایش را ثبت میکند.
اتصال به چند مدل از طریق یک رابط برنامهنویسی
بهجای نگهداری اتصال جداگانه در هر سرویس، درخواستهای سازگار را از یک نشانی پایه بفرستید و مدل مقصد را با شناسه مدل انتخاب کنید.
جزئیات اتصال ارائهدهنده را از قرارداد مصرف اپلیکیشن جدا نگه دارید.
مسیریابی با مدل مجازی
یک شناسه پایدار برای اپلیکیشن تعریف کنید و پشت آن چند مقصد، ترتیب یا وزن مسیریابی، تلاش دوباره و مسیر جایگزین قرار دهید.
تغییر مقصدها بدون تغییر شناسهای که اپلیکیشن فراخوانی میکند.
کاهش فراخوانی تکراری با حافظه نهان
برای درخواستهای واجد شرایط، حافظه نهان را فعال کنید تا پاسخ تکراری بدون فراخوانی دوباره ارائهدهنده برگردد. اثربخشی آن را از سنجه نرخ اصابت بررسی کنید.
نتیجه به شباهت درخواستها، مدت نگهداری و سیاست حافظه نهان بستگی دارد.
مدیریت امن کلیدهای دسترسی
اعتبارنامه حسابهای ارائهدهنده را در فضای کاری نگه دارید و برای اپلیکیشنها توکن گدارAI بسازید؛ به این ترتیب کلید خام ارائهدهنده در کد مصرفکننده پخش نمیشود.
توکن هر کاربر یا سرویس را جداگانه بسازید، بچرخانید یا باطل کنید.
قابلیتهای تکمیلی در همان مسیر
بسته به API و ارائهدهنده منتخب، از مسیرهای دستهای، چندحالته و مدلهای سفارشی پشتیبانیشده استفاده کنید.
پردازش دستهای برای کارهای غیرهمزمان
کارهایی را که به پاسخ فوری نیاز ندارند از مسیر Batch API ارسال کنید. قالب و محدودیتهای این مسیر را در مستندات API بررسی کنید.
استفاده از مدلهای سفارشی ارائهدهنده
اگر ارائهدهنده و نقطه پایانی از مدل تنظیمدقیقشده پشتیبانی کنند، شناسه آن را مانند دیگر مدلهای فعال از مسیر درگاه فراخوانی کنید.
مدلهای چندحالته
برای متن، تصویر و صوت از API پشتیبانیشده همان حالت استفاده کنید و پیش از مهاجرت، سازگاری مدل و ارائهدهنده را بررسی کنید.
کنترلهایی که همراه رشد مصرف لازم میشوند
با افزایش مصرف، باید نرخ درخواست، هزینه، دسترسی و رفتار مقصدهای جایگزین را با سیاستهای روشن مدیریت کنید.
قرارداد مشترک اتصال
اپلیکیشن درخواستهای سازگار را از یک نشانی پایه میفرستد و مقصد را با شناسه مدل انتخاب میکند.
مسیر جایگزین
برای خطاهای مشخص، مقصدهای بعدی را به ترتیب یا با وزن دلخواه در مدل مجازی تعریف کنید.
مصرف و هزینه
مصرف را بر اساس مدل، ارائهدهنده، تیم یا حساب مجازی بررسی و با سقف هزینه کنترل کنید.
خطا و تأخیر
لاگ و رد درخواست نشان میدهند کدام مقصد، تلاش یا مرحله باعث خطا یا تأخیر شده است.
از نمونه آزمایشی تا محیط عملیاتی
با مدل مجازی، سیاست مصرف و دادههای پایش، رفتار اتصال را بدون پراکندهکردن منطق در سرویسهای مختلف مدیریت کنید.
مسیریابی ترتیبی یا وزنی
مقصدهای مدل مجازی را به ترتیب امتحان کنید یا ترافیک را با وزن مشخص بین مقصدهای سازگار تقسیم کنید.
APIهای چندحالته
برای متن، تصویر و صوت از نقطه پایانی پشتیبانیشده استفاده کنید و سازگاری مدل مقصد را پیش از اتصال بسنجید.
مسیر جایگزین هنگام خطا
اگر مدل اصلی خطا داد، کند شد یا به محدودیت رسید، درخواست را به مدل یا تأمینکننده جایگزین منتقل کنید تا تجربه کاربر قطع نشود.
تلاش دوباره کنترلشده
درخواستهای ناموفق را با قانونهای کنترلشده دوباره ارسال کنید تا خطاهای موقت باعث شکست تجربه کاربر نشوند.
توزیع بار بین مدلها
درخواستها را بین مدلها یا تأمینکنندههای مختلف توزیع کنید تا فشار روی یک مسیر خاص کاهش پیدا کند و عملکرد پایدارتر شود.
پایش درخواستها
وضعیت، خطا، تأخیر، توکن، هزینه و نتیجه گاردریل درخواستها را در لاگ و رد درخواست بررسی کنید.
تقسیم وزنی ترافیک
برای مقصدهای سازگار وزن تعیین کنید و نتیجه هر مسیر را در دادههای پایش مقایسه کنید.
مدیریت مهلت پاسخ
برای درخواستهایی که بیش از حد طول میکشند، قانون توقف تعریف کنید و در صورت نیاز مسیر جایگزین یا درخواست جدید اجرا کنید.
انتخاب API متناسب با ورودی
برای متن، تصویر، صوت و فایل، نقطه پایانی و مدل سازگار را از فهرست APIهای پشتیبانیشده انتخاب کنید.
چرا درگاه گدارAI برای تیمهای ایرانی مهم است؟
برای تیمهای ایرانی، اتصال مستقیم به مدلهای خارجی فقط یک مسئله فنی نیست؛ مسئله دسترسی، پرداخت، پایداری، هزینه و ریسک قطع سرویس هم هست.
کاهش ریسک محدودیتهای اتصال مستقیم
عبور درخواستها از یک مسیر مشترک، وابستگی کد محصول به اتصال مستقیم هر ارائهدهنده را کمتر میکند و جایگزینی مقصد را سادهتر میسازد.
بدون پرداخت ارزی مستقیم
بهجای درگیری با کارت اعتباری خارجی، پرداخت دلاری و حسابهای بینالمللی، مصرف AI را از طریق گدارAI و متناسب با نیاز بازار ایران مدیریت کنید.
یک لایه مرکزی برای چند مدل و ارائهدهنده
مدلها، اعتبارنامهها، هزینه، مسیریابی و دادههای پایش را بهجای چند اتصال پراکنده از یک فضای کاری مدیریت کنید.
رابط فارسی و هزینه ریالی
تیمهای فنی و مالی میتوانند دادههای مصرف را در رابط فارسی و با نمایش هزینه ریالی بررسی کنند.
درگاه گدارAI برای چه سناریوهایی مناسب است؟
محصولات SaaS با قابلیت هوش مصنوعی
اتصال قابلیتهایی مانند چتبات، تولید محتوا، تحلیل متن یا دستیار هوشمند را از یک مسیر مشترک مدیریت کنید.
تیمهای Backend و Platform
اتصالهای پراکنده را به یک درگاه مرکزی منتقل کنید و مسیریابی، تلاش دوباره، مسیر جایگزین، توکنها و پایش را در یک نقطه نگه دارید.
تیمهای محصول و رشد
مدلها و نسخههای پرامپت را با داده یکسان آزمایش کنید و نتیجه مسیرهای مختلف را در لاگ و سنجهها مقایسه کنید.
تیمهای مالی و مدیریت
مصرف AI را قابل مشاهده و قابل کنترل کنید، هزینه را در سطح مدل، تیم، کاربر یا فیچر ببینید و تصمیمهای اقتصادیتری بگیرید.
ایجنتها و جریانهای چندمرحلهای
فراخوانی مدل در ایجنتها را از مسیر درگاه بفرستید و خطا، مهلت پاسخ و جایگزینی مدل را قابل پیگیری نگه دارید.
پرسشهای پرتکرار
اتصال مدلهای محصول را از یک درگاه مدیریت کنید
اتصال به مدلها، اعتبارنامهها، مسیریابی، مسیر جایگزین، تلاش دوباره، حافظه نهان و پایش را در یک لایه مرکزی نگه دارید.