متا در یک بیانیه مطبوعاتی گفت که مدل بزرگ زبان Llama 3 که به زودی توسط ارائه دهندگان خدمات ابری مانند AWS منتشر خواهد شد، از بیشتر مدل های فعلی هوش مصنوعی بهتر عمل می کند.

Llama 3 در حال حاضر دارای دو نسخه با هشت میلیارد پارامتر و 70 میلیارد پارامتر است که در حال حاضر فقط پاسخ های متنی را ارائه می دهند. Llama 3 در پاسخ به پرسش‌ها تنوع بیشتری نسبت به مدل‌های زبان بزرگ رقیب نشان می‌دهد.

لاما 3 امتناع های نادرست کمتری دارد و می تواند در هنگام امتناع از پاسخ دادن به سؤالات استدلال بهتری داشته باشد. متا می‌گوید Llama 3 دستورالعمل‌های بیشتری را می‌فهمد و بهتر از همیشه کد می‌نویسد.

متا

متا ادعا می کند که دو نسخه اول Llama 3 در معیارهای خاصی از مدل های قابل مقایسه مانند Gemma و Gemnai و Mistral و Claude 3 بهتر عمل می کنند. در معیار MMLU، که معمولاً دانش عمومی را اندازه گیری می کند، نسخه هشت میلیارد پارامتری Llama 3 به طور قابل توجهی بهتر از نسخه هفت میلیارد پارامتری Gemma و Mistral عمل کرد. نسخه 70 میلیارد پارامتری Llama 3 رقابت نزدیکی با Jumnai Pro 1.5 داشت.

جالب اینجاست که الگوی بزرگ زبان GPT-4 در مقایسه های متا ظاهر نمی شود. لازم به ذکر است که اگرچه بنچمارک مدل های هوش مصنوعی برای درک قدرت آنها مفید است، اما ناقص است. مجموعه داده های مورد استفاده برای آزمایش مدل ها بخشی از آموزش آنهاست. این بدان معنی است که یک مدل زبان بزرگ از قبل پاسخ سوالات را می داند.

متا می گوید که بررسی کنندگان به Llama 3 بالاتر از مدل های دیگر از جمله GPT-3.5 امتیاز داده اند. این شرکت مجموعه داده‌های جدیدی را برای ارزیابی‌کنندگان انسانی ایجاد کرده است تا سناریوهای دنیای واقعی را تقلید کنند که در آن Llama 3 ممکن است استفاده شود.

این مجموعه داده ها شامل مواردی مانند درخواست های مشاوره، چکیده ها و نوشتن خلاق می شود. متا می گوید که تیم کار بر روی این مدل به داده های ارزیابی جدید دسترسی نداشتند، بنابراین بر عملکرد مدل تأثیری نداشت.

Llama 3 همچنین دارای یک نسخه 400 میلیارد پارامتری خواهد بود که می تواند رشته های طولانی تر دستورالعمل ها و داده ها را درک کند، همچنین یک مدل چند حالته که می تواند برای تولید یک تصویر یا رونویسی یک فایل صوتی استفاده شود.

نسخه 400 میلیارد پارامتری Llama 3 می تواند مدل های پیچیده تری را نسبت به نسخه های کوچکتر یاد بگیرد و در حال حاضر در حال آموزش است.