صرف‌نظر از مواضع سیاسی دردسرساز، دلایل زیادی وجود داشت که چرا آلبرت اینشتین با وجود نزدیکی و دوستی با رابرت اوپنهایمر، در پروژه‌ی تحقیقاتی لس آلاموس استخدام نشد. اینشتین پژوهشگر مکانیک کوانتوم و فیزیکدان هسته‌ای نبود و به‌جای فیزیک ذرات، بر مطالعه روی گرانش، فضا و زمان، کیهان‌شناسی در مقیاس بزرگ و سایر زمینه‌های مشابه تمرکز داشت. مکانیک کوانتوم درمورد برهم‌کنش‌های مربوط به ماده و تابش‌ها در مقیاس اتم‌ها است. از این علم برای اهداف کاربردی در زمینه‌ی دریافت انرژی از ماده استفاده شد و درنتیجه تا حدی با مهندسی گره خورده بود.
در واقع، اینشتین به‌نوعی دشمن علمی فیزیک کوانتوم تلقی می‌شد و همان‌طور که در جمله‌ی معروف «خدا تاس نمی‌اندازد» می‌گوید، پذیرفتن فرضیات مبتنی بر عدم قطعیت این علم برای او دشوار بود. از نظر اینشتین به‌عنوان یک جبرگرا، خدا «هماهنگی قانونی» را خلق کرده است و جهان به‌جای شانس، از قواعد مشخص پیروی می‌کند. این دیدگاه وی متاسفانه برخلاف تمام شواهد تجربی و تحولات نظری زمان وی بود.
حتی گفته می‌شود که اینشتین از دانستن اینکه یکی از پیامدهای قانون هم‌ارزی جرم-انرژی او می‌تواند ساخت وسیله‌ای انفجاری در اندازه‌ای بسیار بزرگ باشد، متعجب شد. او استخراج حجم عظیمی انرژی از ماده را غیرممکن می‌دانست. علاوه‌براین، وی به‌عنوان پیشکسوت فیزیک و یک صلح‌طلب افراطی با ساخت تسلیحات جنگی به‌دست دانشمندان فیزیک، به‌ویژه فیزیکدانان نظری مانند خود، کاملا مخالف بود. این موضع‌گیری قبلا در طول جنگ جهانی اول، وقتی از امضای نامه‌ی حمایت دانشمندان آلمانی از تلاش‌های جنگی امتناع کرد، او را به دردسر انداخته بود.
بسیاری از دانشمندانی که در ساخت بمب اتم مشارکت داشتند، از اینکه ارتش آمریکا می‌خواست آن را روی یکی از شهرهای ژاپن بیندازد، وحشت کرده بودند. مدت کوتاهی پس از آزمایش ترینیتی، لئو زیلارد و برخی دیگر ازطریق ادوارد تلر دادخواستی را برای جامعه فیزیک در آمریکا و لس آلاموس ارسال کردند و از دولت خواستند دست به بمباران اتمی نزند و از قبل به ژاپنی‌ها اطلاع بدهد. تصور می‌شد که این اطلاع‌رسانی، ژاپنی‌ها را متقاعد می‌کند تا تسلیم شوند و دیگر به قربانی‌کردن تعداد زیادی غیرنظامی نیاز نخواهد بود. بااین‌حال وقتی تلر با اوپنهایمر مشورت کرد، او قانعانه با این امر مخالف کرد؛ زیرا فکر می‌کرد که وظیفه‌ی دانشمندان دخالت در مسائل سیاسی و نظامی نیست. علاوه‌براین، پنتاگون و ترومن، رئیس‌جمهور آمریکا دیگر متقاعد شده بودند که جز با نابودی کامل و ناگهانی یک شهر مملو از غیرنظامیان، تسلیم بدون قید و شرط ژاپن و پایان جنگ اقیانوس آرام ممکن نخواهد بود.
اینشتین بعدها به شدت درگیر جنبش ضدهسته‌ای شد. در ۵ ژوئیه ۱۹۵۵، تقریبا در اواخر عمر خود، مانیفستی را با برتراند راسل، فیلسوف مشهور بریتانیایی امضا و در آن گسترش سلاح‌های هسته‌ای را محکوم کرد. به‌باور آن‌ها، این تسلیحات پیامدهای جنگ را برای ملت‌ها و مردم باورنکردنی می‌کنند. مانیفست جسورانه‌ی اینشتین و راسل، تظاهرات گسترده علیه سلاح‌های هسته‌ای را در سرتاسر جهان تشویق کرد. به‌قول خود اینشتین، «من نمی‌دانم جنگ جهانی سوم با چه سلاحی انجام می‌شود؛ اما جنگ جهانی چهارم با چوب و سنگ خواهد بود.»