جروم پسنتی دلایل متعددی برای جشن گرفتن تصمیم متا در هفته گذشته برای انتشار Llama 3، یک مدل قدرتمند زبان منبع باز دارد که هر کسی می تواند آن را دانلود، اجرا و بر اساس آن بسازد.
پسنتی معاون هوش مصنوعی متا بود و می‌گوید که او اغلب این شرکت را تحت فشار قرار می‌داد که فناوری خود را برای استفاده دیگران و توسعه آن در نظر بگیرد. اما دلیل اصلی خوشحالی او این است که استارت‌آپ جدیدش به یک مدل هوش مصنوعی دسترسی پیدا می‌کند که می‌گوید قدرت آن به تولیدکننده متن پیشرو در صنعت OpenAI GPT-4 نزدیک است، اما اجرای آن بسیار ارزان‌تر و در معرض کنترل‌های خارجی بازتر است. تغییر.
پسنتی می‌گوید: «انتشار جمعه گذشته واقعاً یک تغییر بازی است. شرکت جدید او، Sizzle، یک مربی هوش مصنوعی، در حال حاضر از GPT-4 و سایر مدل‌های هوش مصنوعی، چه بسته و چه باز، برای ایجاد مجموعه‌های مسائل و برنامه‌های درسی برای دانش‌آموزان استفاده می‌کند. مهندسان آن در حال ارزیابی هستند که آیا Llama 3 می تواند در بسیاری از موارد جایگزین مدل OpenAI شود یا خیر.
داستان سیزل ممکن است نوید دهنده یک تغییر گسترده تر در توازن قدرت در هوش مصنوعی باشد. OpenAI جهان را با ChatGPT تغییر داد و موجی از سرمایه گذاری در هوش مصنوعی را آغاز کرد و بیش از 2 میلیون توسعه دهنده را به API های ابری خود جذب کرد. اما اگر مدل‌های منبع باز رقابتی شوند، توسعه‌دهندگان و کارآفرینان ممکن است تصمیم بگیرند که هزینه دسترسی به آخرین مدل از OpenAI یا Google را متوقف کنند و از Llama 3 یا یکی از مدل‌های متن‌باز قوی‌تر دیگر که ظاهر می‌شوند استفاده کنند.
پسنتی در مورد رقابت بین مدل های باز مانند Llama 3 و مدل های بسته مانند GPT-4 گوگل و جمینی می گوید: “این مسابقه اسب دوانی جالبی خواهد بود.”
مدل قبلی متا، Llama 2، قبلاً تأثیرگذار بود، اما این شرکت می‌گوید که آخرین نسخه را با ارائه مقادیر بیشتری از داده‌های آموزشی با کیفیت بالاتر، با تکنیک‌های جدید توسعه‌یافته برای فیلتر کردن محتوای اضافی یا کج‌شده و انتخاب موارد، قدرتمندتر کرده است. بهترین ترکیب از مجموعه داده ها برای استفاده
پسنتی می گوید که اجرای Llama 3 بر روی پلتفرم ابری مانند Fireworks.ai تنها یک بیستم هزینه دسترسی به GPT-4 از طریق API هزینه دارد. او اضافه می‌کند که Llama 3 را می‌توان طوری پیکربندی کرد که به درخواست‌ها بسیار سریع پاسخ دهد، این نکته کلیدی برای توسعه‌دهندگان شرکت‌هایی مانند او است که به استفاده از مدل‌های فروشندگان مختلف متکی هستند. او می گوید: “این معادله ای است بین تاخیر، هزینه و دقت.”
به نظر می رسد مدل های باز در یک کلیپ چشمگیر قرار می گیرند. چند هفته پیش، من به استارتاپ Databricks مراجعه کردم تا شاهد مراحل پایانی تلاش برای ساخت DBRX، یک مدل زبان داخلی که به طور خلاصه بهترین منبع باز در بازار بود، باشم. این تاج اکنون به Llama 3 می رسد. علی گودزی، مدیر عامل Databricks، همچنین Llama 3 را به عنوان یک “تغییرگر بازی” توصیف می کند و می گوید که مدل بزرگتر “به کیفیت GPT 4 نزدیک می شود – که زمین بازی بین LLM را با منبع باز و بسته یکسان می کند. “
Llama 3 همچنین پتانسیل کوچک کردن مدل‌های هوش مصنوعی را نشان می‌دهد تا بتوانند روی سخت‌افزار کمتر قدرتمندی کار کنند. متا دو نسخه از آخرین مدل خود را منتشر کرد، یکی با 70 میلیارد پارامتر – معیاری از متغیرهایی که برای یادگیری از داده های آموزشی استفاده می کند – و دیگری با 8 میلیارد. مدل کوچکتر به اندازه کافی جمع و جور است که می تواند روی لپ تاپ اجرا شود، اما حداقل در آزمایشات WIRED به طور قابل توجهی توانایی دارد.
دو روز قبل از راه‌اندازی متا، Mistral، یک شرکت فرانسوی هوش مصنوعی که توسط فارغ‌التحصیلان تیم Pesenti در Meta تأسیس شد، Mixtral 8x22B را افتتاح کرد. دارای 141 میلیارد پارامتر است، اما تنها از 39 میلیارد آن در هر لحظه استفاده می کند، طرحی که توسط کارشناسان به عنوان ترکیبی شناخته می شود. به لطف این ترفند، این مدل به طور قابل توجهی نسبت به برخی از مدل هایی که بسیار بزرگتر هستند، توانایی بیشتری دارد.
متا تنها غول فناوری نیست که هوش مصنوعی منبع باز دارد. این هفته مایکروسافت Phi-3-mini را منتشر کرد و اپل OpenELM را منتشر کرد، دو مدل زبان کوچک اما با قابلیت استفاده رایگان که می‌توانند روی گوشی هوشمند اجرا شوند.
ماه های آینده نشان خواهد داد که آیا Llama 3 و سایر مدل های باز واقعاً می توانند جایگزین مدل های برتر هوش مصنوعی مانند GPT-4 برای برخی از توسعه دهندگان شوند یا خیر. حتی هوش مصنوعی منبع باز قدرتمندتر در راه است. این شرکت در حال کار بر روی یک نسخه عظیم از Llama 3 با 400 میلیارد پارامتر است که به گفته جان لکون، دانشمند ارشد هوش مصنوعی، باید یکی از تواناترین ها در جهان باشد.
البته این همه گشاده رویی صرفاً نوع دوستانه نیست. مارک زاکربرگ، مدیر عامل متا می گوید که مدل های هوش مصنوعی خود را باز می کند در نهایت باید به نفع شرکت باشد با کاهش هزینه فن آوری هایی که به آنها متکی است، برای مثال با ایجاد ابزارها و خدمات سازگاری که متا می تواند برای خود استفاده کند. او ناگفته گذاشت که ممکن است جلوگیری از تسلط OpenAI، مایکروسافت یا گوگل بر این حوزه نیز به نفع متا باشد.