پس از محبوبیت ChatGPT در نوامبر گذشته، چت ربات های زیادی راه اندازی شدند که به عنوان رقیب ChatGPT عمل می کنند. این چت بات ها از نظر LLM (مدل زبان بزرگ)، هزینه، رابط کاربری، دسترسی به اینترنت و موارد دیگر متفاوت هستند و برای تسهیل آنها را مقایسه کنیدیک سازمان تحقیقاتی به نام سازمان سیستم های مدل که توسط دانشجویان و اساتید دانشگاه کالیفرنیا، برکلی، تأسیس شده است Chatbot Arena آشکار کرد

Chatbot Arena یک پلت فرم معیار برای مدل های زبان بزرگ است که به کاربران اجازه می دهد چت بات ها را با یکدیگر مقایسه کنند. برای آزمایش چت بات ها با این پلتفرم، کاربران ابتدا باید یک پرس و جو ارسال کنند و سپس دو مدل به صورت تصادفی پاسخ می دهند و کاربران بدون اطلاع از LLM هر مدل، بهترین پاسخ را انتخاب می کنند.

پس از اینکه کاربران بهترین پاسخ ارائه شده توسط یکی از دو ربات چت را انتخاب کردند، نام آن نمایش داده می شود.

به عنوان مثال، در آزمایش زیر، از دو چت بات خواسته می شود تا نامه ای بنویسند و از آنها بخواهند که آنجا را ترک کنند. پس از ارائه پاسخ های مختلف و انتخاب گزینه مورد نظر متوجه می شوید که یکی از چت بات ها koala-13b و دیگری vicuna-13b نام دارد.

بهترین چت بات

سپس صفحه رتبه بندی، رتبه بندی تمام LLM ها را نشان می دهد که به شدت تحت تاثیر نتایج تست کاربران است و از سیستم رتبه بندی Elo استفاده می کند که در زمینه محاسبه سطح مهارت ورزشکاران استفاده می شود. طبق این صفحه، GPT-4 OpenAI در حال حاضر پیشرفته ترین LLM است و دارای امتیاز Elo 1227 است. Claude-v1 توسعه یافته توسط Anthropic با امتیاز 1227 در رتبه دوم قرار دارد.

در رتبه هشتم این لیست، نام PaLM-Chat-Bison-001 قرار دارد که یکی از زیر مجموعه های PalM 2، مدل زبان بزرگ هوش مصنوعی Bard گوگل است.

همچنین وب سایت ChatBot Arena قسمت دیگری دارد که می توانید یک چت بات خاص را تست کنید یا دو مدل خاص را با هم مقایسه کنید. اگر می خواهید یک LLM خاص را آزمایش کنید، این ویژگی می تواند مفید باشد.