دیگر خودتان LLM Gateway نسازید
یک زیرساخت آماده، به‌جای یک پروژه داخلی دائمی
اگر تیم مهندسی شما یک token manager یا LLM gateway داخلی برای مدیریت دسترسی، بودجه و پایش مدل‌های زبانی ساخته یا در حال ساخت آن است، گدارAI همین لایه را آماده، نگه‌داری‌شده و با پشتیبانی در اختیار شما قرار می‌دهد؛ روی ابر یا روی زیرساخت خودتان.
# قبل: تیم شما این‌ها را نگه‌داری می‌کرد# - adapter برای OpenAI، Anthropic، Google و ...# - حسابداری مصرف و rate limiting# - سیاست دسترسی و گزارش رخداد# - به‌روزرسانی مداوم مدل‌ها و قیمت‌ها# با گدارAI: فقط یک endpointbase_url = "https://YOUR_WORKSPACE.godarai.ir/v1"
گدارAI مناسب شماست، اگر:
تیم مهندسی شما یک token manager یا LLM gateway داخلی ساخته یا در حال ساخت آن است.
چند تیم یا سرویس داخلی (پشتیبانی، محصول، داده، عملیات) هم‌زمان از چند ارائه‌دهنده مدل زبانی استفاده می‌کنند.
نگه‌داری adapterها، پایش و کنترل دسترسی، زمان مهندسی قابل‌توجهی از تیم شما می‌گیرد.
می‌خواهید این لایه را از دوش تیم مهندسی بردارید، بدون آنکه کنترل را از دست بدهید.
چطور کار می‌کند
یک endpoint برای همه مدل‌ها
سازگار با فرمت OpenAI API و SDKهای رسمی ارائه‌دهندگان؛ سرویس‌های داخلی بدون بازنویسی adapter فقط base URL را عوض می‌کنند.
دسترسی و بودجه به تفکیک تیم
واحد سازمانی، تیم و کاربر مجازی برای هر سرویس؛ هرکدام با مدل‌های مجاز، سقف بودجه و محدودیت نرخ خودش.
پایش و ردیابی کامل
گزارش درخواست، هزینه، خطا و تأخیر برای هر تیم و سرویس، همراه با رد درخواست و امکان همبستگی با OpenTelemetry.
مدل مجازی و مسیر جایگزین
وقتی یک ارائه‌دهنده قطع یا کند شود، درخواست‌ها بدون منطق fallback در کد سرویس‌ها به مقصد جایگزین منتقل می‌شوند.
مصرف این ماه به تفکیک تیم‌های داخلی
با ساختن یک gateway داخلی، خودتان ثابت کرده‌اید که به این لایه نیاز دارید. سؤال این است: نگه‌داری adapterها، حسابداری مصرف، سیاست دسترسی، پایش و به‌روزرسانی مداوم مدل‌ها چقدر از زمان مهندسی تیم شما را می‌گیرد؟ گدارAI همین لایه را آماده، نگه‌داری‌شده و با پشتیبانی در اختیار شما می‌گذارد و در صورت نیاز در کنار سیستم فعلی‌تان اجرا می‌شود.
چرا گدارAI، به‌جای نگه‌داری gateway داخلی؟
ما همین الان یک gateway داخلی داریم؛ چرا گدارAI؟
چون نگه‌داری، امنیت و به‌روزرسانی آن مسئولیتی دائمی روی دوش تیم مهندسی شماست. گدارAI همین قابلیت‌ها را بدون این بار نگه‌داری ارائه می‌دهد و می‌تواند مرحله‌به‌مرحله و در کنار سیستم فعلی شما به کار گرفته شود.
کلیدها و دسترسی سرویس‌های داخلی چطور مدیریت می‌شود؟
کلید اصلی ارائه‌دهنده‌ها در اختیار سرویس‌ها قرار نمی‌گیرد. افراد با توکن شخصی (PAT) و سرویس‌ها با کلید دسترسی مجازی (VAT) کار می‌کنند؛ هرکدام با محدوده تیم، مدل‌های مجاز و امکان چرخش و ابطال مستقل.
می‌توانیم داده‌های پایش را به ابزارهای فعلی‌مان بفرستیم؟
بله. علاوه بر داشبورد، گزارش رخدادها و رد درخواست‌ها در گدارAI، می‌توانید با OpenTelemetry درخواست‌های مدل را کنار داده‌های سرویس‌ها و ابزارهای پایش فعلی‌تان ببینید و از گزارش‌ها خروجی بگیرید.
امکان استقرار درون‌سازمانی (On-Premise) وجود دارد؟
بله. برای سازمان‌هایی که به کنترل کامل زیرساخت و داده نیاز دارند، گدارAI روی زیرساخت خودتان هم مستقر می‌شود. درخواست استقرار درون‌سازمانی
قابلیت‌های مرتبط با این راهکار را دقیق‌تر ببینید، یا فهرست به‌روز مدل‌ها و ارائه‌دهندگان را در کاتالوگ مدل‌ها بررسی کنید.