پرش به مطلب اصلی
جستجو

نمای کلی قابلیت‌های گدارAI

گدارAI یک درگاه مدل‌های زبانی سازگار با OpenAI است. نقش اصلی آن این است که بین اپلیکیشن‌های مصرف‌کننده و ارائه‌دهنده‌های مدل قرار بگیرد و کارهایی را که معمولاً در چند سرویس پخش می‌شوند، در یک فضای کاری مرکزی مدیریت کند: اتصال مدل‌ها، کاتالوگ مدل‌ها، رجیستری پرامپت، احراز هویت، دسترسی، سیاست‌های مصرف، گاردریل‌ها و پایش.

این صفحه برای تصمیم‌گیری اولیه است. اگر می‌خواهید مستقیم به راه‌اندازی برسید، شروع سریع را دنبال کنید. اگر می‌خواهید معماری درگاه را دقیق‌تر بفهمید، معرفی درگاه مدل‌های زبانی گدارAI را بخوانید.

الگوی کلی​

در این الگو، اپلیکیشن‌ها به‌جای اتصال مستقیم به هر ارائه‌دهنده، درخواست‌های مدل را به گدارAI می‌فرستند. گدارAI درخواست را احراز هویت می‌کند، دسترسی و سیاست‌های لازم را بررسی می‌کند، مقصد مناسب را انتخاب می‌کند و پاسخ را همراه با داده‌های پایش برمی‌گرداند.

اپلیکیشن شما

وب‌اپ، سرویس بک‌اند، عامل هوشمند یا ابزار داخلی

GodarAI Gateway
مشاهده‌پذیریمسیردهیکنترل هزینهRate LimitBudget LimitGuardrailsVirtual Modelاحراز هویت
مدل‌ها و ارائه‌دهنده‌ها

چند مدل و provider پشت یک قرارداد مصرف پایدار

۱. اتصال مدل‌ها از یک نقطه​

در بخش «اتصال‌دهنده‌های LLM»، حساب‌های ارائه‌دهنده را مدیریت می‌کنید. هر حساب ارائه‌دهنده می‌تواند اعتبارنامه، مدل‌های فعال، قیمت‌گذاری و دسترسی‌های خودش را داشته باشد.

این لایه کمک می‌کند:

  • کلیدهای خام ارائه‌دهنده بین اپلیکیشن‌ها پخش نشوند.
  • مدل‌های قابل مصرف هر فضای کاری مشخص باشد.
  • تغییر ارائه‌دهنده یا مدل با تغییر کمتر در کد اپلیکیشن انجام شود.
  • تیم‌ها بتوانند چند حساب از یک ارائه‌دهنده یا چند ارائه‌دهنده مختلف را کنار هم مدیریت کنند.

برای مسیر عملی، شروع سریع و سپس اولین درخواست به درگاه را ببینید.

اگر هنوز بین چند ارائه‌دهنده یا مدل مردد هستید، از ارائه‌دهندگان و مدل‌ها شروع کنید تا مدل‌ها را با معیارهایی مثل نوع ورودی و خروجی، پنجره زمینه، وضعیت و هزینه مقایسه کنید.

۲. APIهای سازگار با OpenAI​

بخش مهمی از تجربه توسعه در گدارAI بر پایه APIهای سازگار با OpenAI ساخته شده است. در بسیاری از سناریوها، اپلیکیشن فقط نشانی پایه و توکن دسترسی را عوض می‌کند و همان الگوی SDK یا درخواست قبلی را از مسیر گدارAI می‌فرستد.

نقطه شروع رایج برای بیشتر تیم‌ها Chat Completions است. در کنار آن، مستندات APIهای دیگر مثل Responses API، Embeddings، Image Generation، Speech to Text و Moderation هم در دسترس است.

۳. مدل مجازی و مسیریابی​

مدل مجازی یک شناسه پایدار برای مصرف مدل است. اپلیکیشن به‌جای دانستن جزئیات هر مقصد، یک شناسه مشخص را صدا می‌زند و گدارAI پشت آن مقصدهای واقعی، ترتیب مسیریابی، تلاش دوباره و مسیر جایگزین را مدیریت می‌کند.

این قابلیت برای این کارها مفید است:

  • تغییر مدل بدون تغییر کد اپلیکیشن
  • تعریف مسیر جایگزین بین چند مقصد
  • کنترل تلاش دوباره و مهلت پاسخ
  • جدا کردن قرارداد مصرف از جزئیات ارائه‌دهنده

برای جزئیات بیشتر، راهنمای مدل مجازی را بخوانید.

۴. رجیستری پرامپت و نسخه‌بندی​

رجیستری پرامپت کمک می‌کند قالب‌های پرامپت را از کد اپلیکیشن جدا کنید، آن‌ها را نسخه‌بندی کنید و هر نسخه را با FQN مشخص از مسیر درگاه اجرا کنید.

این قابلیت برای این کارها مفید است:

  • ساخت پرامپت‌های قابل استفاده مجدد
  • نگهداری نسخه‌های ثابت و قابل بازبینی
  • جایگذاری متغیرها هنگام اجرا
  • مقایسه نسخه‌ها و کپی Spec
  • پیگیری نسخه اجراشده در لاگ درخواست‌ها

برای شروع، رجیستری پرامپت را بخوانید.

۵. کنترل مصرف و هزینه​

مصرف مدل‌های زبانی فقط یک مسئله فنی نیست؛ روی هزینه، ظرفیت و تجربه کاربران هم اثر می‌گذارد. گدارAI چند ابزار برای کنترل این لایه فراهم می‌کند:

این بخش‌ها کمک می‌کنند مصرف مدل‌ها قابل پیش‌بینی‌تر باشد و قبل از تبدیل‌شدن به مسئله عملیاتی دیده شود.

۶. هویت، کاربران و دسترسی​

گدارAI برای استفاده تیمی طراحی شده است. به همین دلیل، دسترسی فقط به یک کلید عمومی محدود نمی‌شود. در فضای کاری می‌توانید کاربران، تیم‌ها، نقش‌ها، توکن‌های دسترسی شخصی و کاربران مجازی را مدیریت کنید.

مسیرهای مرتبط:

برای تست انسانی معمولاً PAT کافی است. برای اپلیکیشن‌ها و سرویس‌های محیط عملیاتی، VAT انتخاب مناسب‌تری است.

۷. گاردریل‌ها و سیاست‌های اجرایی​

گاردریل‌ها روی ورودی یا خروجی مدل اجرا می‌شوند و می‌توانند محتوا را اعتبارسنجی، نشانه‌گذاری، متوقف یا در برخی حالت‌ها اصلاح کنند. این قابلیت برای کنترل داده حساس، الگوهای ممنوع، ساختار JSON، محدودیت طول و سناریوهای مشابه استفاده می‌شود.

از گاردریل‌ها شروع کنید و بعد بسته به نیاز، صفحه نوع گاردریل موردنظر را بخوانید.

۸. مشاهده‌پذیری و پایش​

بعد از ارسال درخواست، باید بتوانید بفهمید چه اتفاقی افتاده است: کدام مدل صدا زده شده، چه خطایی رخ داده، چه میزان مصرف ثبت شده و مسیر اجرای درخواست چگونه بوده است.

صفحه‌های مرتبط:

مسیر پیشنهادی بعد از این صفحه​

  1. شروع سریع
  2. اولین درخواست به درگاه
  3. ارائه‌دهندگان و مدل‌ها
  4. APIهای پشتیبانی‌شده
  5. مدل مجازی
  6. رجیستری پرامپت
  7. پایش هزینه

پرسش‌های پرتکرار​

آیا گدارAI فقط زمانی مفید است که چند ارائه‌دهنده مدل داشته باشیم؟​

خیر. حتی با یک ارائه‌دهنده هم می‌توانید احراز هویت، رجیستری پرامپت، کنترل مصرف، گزارش رخداد، دسترسی، گاردریل و مدل مجازی را در یک نقطه مدیریت کنید.

برای اولین تست کدام توکن را بسازم؟​

برای تست انسانی و شروع سریع، توکن دسترسی شخصی (PAT) مناسب است. برای اپلیکیشن یا سرویس در محیط عملیاتی، از کاربر مجازی و کلید دسترسی مجازی (VAT) استفاده کنید.

بهترین نقطه ورود فنی کدام است؟​

برای بیشتر تیم‌ها، شروع سریع و سپس Chat Completions سریع‌ترین مسیر است.