معرفی شگفت انگیز پلتفرم هوش مصنوعی Groq در راه اندازی Llama 3

دیروز متا مدل جدید زبان بزرگ Llama 3 (Llama 3) را در اختیار ارائه دهندگان خدمات ابری قرار داد و در عین حال هوش مصنوعی خود را به اینستاگرام، واتس اپ و فیسبوک معرفی کرد. اکنون برخی از کاربران شبکه های اجتماعی به ارائه این مدل در پلتفرم هوش مصنوعی نگاه می کنند گروک اشاره شد که ادعا می کند سرعت پردازش استثنایی دارد 800 توکن در ثانیه فراهم می کند

عملکرد خیره کننده مدل Llama 3 بر روی پلت فرم Groq AI

طبق پست مت شومر، موسس و مدیر عامل OthersideAI منتشر شده استپلتفرم هوش مصنوعی Groq با مدل متا Llama 3، سرعت استخراج بسیار سریع بیش از 800 توکن در ثانیه را ارائه می دهد، اگرچه نه Meta و نه Groq هنوز این موضوع را تایید نکرده اند، این ویژگی می تواند جهشی قابل توجه در مقایسه با سایر خدمات هوش مصنوعی ابری باشد.

VentureBeat در گزارش خود در این مورد اعلام کرد که این ادعا درست است. (از طریق این لینک می توانید چت بات Groq را خودتان امتحان کنید.)

پردازش 800 توکن در ثانیه (یا حدود 48000 توکن در دقیقه) برای Llama 3 به اندازه ای سریع است که مدل های هوش مصنوعی می توانند حدود 500 کلمه در دقیقه تولید کنند. همچنین، تحت این شرایط، سرعت استنتاج Llama 3 از دیگر مدل‌های زبان بزرگ موجود امروزی در پردازنده‌های گرافیکی ابری معمولی سریع‌تر است.

توسعه یک معماری جدید توسط Groq برای محاسبات یادگیری عمیق

استارت‌آپ Groq مستقر در سیلیکون ولی در حال توسعه یک معماری پردازنده جدید است که برای عملیات ضرب ماتریس، قلب محاسبات یادگیری عمیق، بهینه شده است. Groq ادعا می کند که این معماری می تواند توان و کارایی بسیار بالاتری را برای استنباط هوش مصنوعی ارائه دهد و امتیاز پردازش 800 توکن در ثانیه برای Lama 3 به این ادعا اعتبار می بخشد.

معماری Groq در مقایسه با طرح های مورد استفاده توسط انویدیا و سایر سازندگان تراشه تفاوت های قابل توجهی دارد. این استارت آپ به جای تطبیق پردازنده های همه منظوره برای هوش مصنوعی، پردازنده Tensor Streaming خود را برای سرعت بخشیدن به مدل های محاسباتی خاص برای یادگیری عمیق ساخت.

خود متا پس از انتشار Lama 3 اظهار داشت که این مدل زبان عملکرد بهتری نسبت به اکثر رقبا دارد. این مدل در حال حاضر در دو نسخه یکی با 8 میلیارد و دیگری با 70 میلیارد پارامتر ارائه شده است. متا می گوید که تنوع در پاسخ های ارائه شده توسط این مدل نسبت به گذشته بیشتر است و به ندرت خطا یا سؤال از دست رفته رخ می دهد. همچنین نحوه درک دستورات و نوشتن کدها نیز بهبود یافته است.

لازم به ذکر است که استارتاپ Groq هیچ ارتباطی با Grok AI متعلق به استارت آپ xAI ایلان ماسک ندارد.