نصر بن مزاحم او را یکی از بزرگان انصار و از شیعیان امام علی (علیه‌السلام) دانسته است. ۱۵۰ حدیث به ابوایوب نسبت داده شده، اما بخاری و مسلم فقط بر ۷ حدیث روایت شده از او، اتفاق دارند.
آنچه ابوایّوب را در چشم مسلمانان بزرگ ساخته، فرود آمدن پیامبر (صلی الله علیه و اله و سلم) به منزل او -به رغم اصرار بسیار دیگران- پس از هجرت به مدینه بوده است. از این‌رو مورخان به اتفاق ،از او به عنوان میزبان پیامبر (صلی الله علیه و اله و سلم) یاد کرده‌اند. پیامبر اسلام (صلی الله علیه و اله و سلم) ۷ ماه، تا اتمام ساختمان مسجد و منزل، در خانه وی سکنی گزید. برخی این مدت را ۱ ماه و برخی دیگر ۱۲ ماه و به قولی ۷ ماه ذکر کرده است.
ابوایوب پس از رحلت پیامبر اکرم (صلی الله علیه و اله و سلم) همراه با ۱۱ صحابی دیگر، به دفاع از خلافت و وصایت حضرت علی بن ابی‌طالب (علیه‌السلام) برخاست.
از این‌رو ابن اثیر وی را از خواص اصحاب حضرت امام علی (علیه‌السلام) بشمار آورده است. به هنگام محاصره خانه عثمان توسط مخالفان، مسلمانان نماز را به امامت ابوایوب در مسجد مدینه برپا می‌داشتند. و همو در زمره شهودی بود که در آن روز‌ها از عثمان پیمان گرفتند تا از آن پس بر طبق کتاب خدا و سنّت پیامبر (صلی الله علیه و اله و سلم) عمل کند.
او پس از قتل عثمان از نخستین کسانی بود که دست بیعت به حضرت علی (علیه‌السلام) داد و انصار را بدان ترغیب کرد. ابوایوب در تمام جنگهایی که حضرت علی (علیه‌السلام) در آن‌ها درگیر شد، حضور داشت.
رشادتهای اعجاب‌انگیز ابوایوب را همه یاد کرده‌اند. در نبرد نهروان، علی (علیه‌السلام) وی را به فرماندهی سواره نظام گماشت و پیش از شروع جنگ، او را برای احتجاج با خوارج و نصیحت آنان فرستاد و هنگامی که از وی پرسیده شد: با این‌که از صحابه بزرگ پیامبری، چگونه در رکاب علی (علیه‌السلام) با اهل قبله قتال می‌کنی؟ پاسخ داد: رسول خدا ص از ما پیمان گرفت که به همراهی علی (علیه‌السلام) با ناکثین و قاسطین و مارقین نبرد کنیم. او همچنین در ۳۵ق همراه با گروهی در کوفه شهادت داد که حدیث غدیر را از پیامبر (صلی الله علیه و اله و سلم) شنیده است.
وی پس از نهروان از سوی حضرت علی (علیه‌السلام) به امارت مدینه گماشته شد، اما بعد از آن‌که معاویه در ۴۰ق، بُسر بن ابی ارطاه را با ۰۰۰ ۳ مرد جنگی به حجاز فرستاد، ابوایوب مدینه را رها کرد و در عراق به امام علی (علیه‌السلام) پیوست. بُسر پس از هجوم به مدینه و اشغال شهر، خانه او را به آتش کشید.
ابوایوب را همه رجال‌شناسان اهل سنت ستوده و برخی نیز توثیق کرده‌اند، اما علمای شیعه تنها به مدح وی اکتفا کرده و از تصریح به توثیق او خودداری نموده‌اند. حتّی ابن داوود حلی وی را در شمار مُهملین آورده است. رجال‌شناسان شیعه در توجیه شرکت او در جنگ با مشرکان تحت فرمان معاویه و پسرش یزید، به رغم هواداری محکم او از حق خلافت علی (علیه‌السلام) اختلاف دارند. فضل بن شاذان این عمل او را غفلت و خطا در اجتهاد نسبت داده و می‌افزاید هرچند او از خلیفه روزگار خود خشنود نبوده، ولی به قصد پیشبرد و تقویت اسلام در این نبرد‌ها شرکت جسته است، شاهد این مدعا مشاجراتی است که میان او و معاویه رخ داده است، اماآیة الله العظمی خویی ضمن رد این نظریه، احتمال می‌دهد که وی بر طبق اجازه امام معصوم حسن بن علی (علیه‌السلام) عمل کرده باشد.
ابوایوب پس از شهادت علی (علیه‌السلام) بار دیگر برای جنگ به سرحدّات رفت. یزید بن معاویه در ۴۹ق به قصد جنگ با رومیان رهسپار شد و ابوایوب انصاری را که سالخورده بود، به همراه برد. چندی بعد در ۵۲ق که قسطنطنیه در محاصره مسلمانان بود، ابوایوب در اثر بیماری درگذشت. براساس پاره‌ای روایات، درگذشت او در ۵۰ یا ۵۱ق اتفاق افتاده است.براساس روایتی دیگر، او گفت: از پیامبر خدا شنیده‌ام که مردی صالح در کنار دیوارهای قسطنطنیه دفن خواهد شد، امیدوارم که آن مرد من باشم. بر این اساس بود که با سپاهیان به سوی جنگ با روم نهاد.
بعد‌ها بر روی قبر او قبه‌ای ساخته شد که تا مدتها در دوران رومیان بر جای بوده است. پس از آن تا ۸۵۷ق/ ۱۴۵۳م که ترکان عثمانی قسطنطنیه را تصرف کردند، قبر او ناشناخته بود. در این تاریخ مزار وی به وسیله آق شمس‌الدین شیخ‌الاسلام، افسانه گونه شناسانده شد. در ۸۶۳ق/ ۱۴۵۸م سلطان محمد دوم عثمانی مسجد و بارگاهی بر گور او ساخت و از آن پس بسیاری از بزرگان عثمانی در مجاورت آن به خاک سپرده شدند و سلاطین عثمانی به عنوانی آیینی تشریفاتی هنگام جلوس بر تخت سلطنت، بر تربت او حضور می‌یافتند و طی مراسمی خاص، شمشیر نیاکان خود را که موسوم به شمشیر عثمان بود، بر کمر می‌بستند.
رد عنایت مسلمانان بوده است، چنانکه در آن‌جا مدرسه‌ای برای مذاهب اربعه ساخته شد که به شهابیه شهرت یافت و در آن، موضع فرود آمدن شتر پیامبر (صلی الله علیه و اله و سلم) را که بدان مَبروکه می‌گفتند، مشخص ساخته و بدان تبرک می‌جستند.