در ماجرای پناهنده شدن عبداللّه بن‌زبیر و یارانش به مسجدالحرام در سال ۶۴، کعبه مورد هتک حرمتِ سپاهیان یزید بن معاویه قرار گرفت و برخی از قسمت‌های آن در آتش سوخت. به سبب این آتش‌سوزی، حجرالاسود سه تکه شد و بعدها عبدالله بن زبیر پاره‌های جدا شده آن را با نقره به هم وصل کرد.او را نخستین کسی دانسته‌اند که در مورد حجرالاسود چنین کرده است.پس از این حادثه، به پیشنهاد عبداللّه‌بن زبیر، کعبه بازسازی شد. در مورد اینکه چه کسی یا کسانی حجرالاسود را در جایگاهش نهادند، اختلاف‌نظر هست.بنابر گزارشی، عبدالملک بن‌مروان (متوفی ۸۶)، از خلفای اموی، نیز به بازسازی و ترمیم کعبه پرداخت و در جریان آن، امام سجاد(ع) حجرالاسود را در جایگاهش نهاد.
بند و بست‌های نقره‌ای که به دستور عبداللّه بن‌زبیر حجرالاسود را به وسیله آنها محکم کرده بودند، به مرور زمان آسیب دید و در زمان هارون الرشید (متوفی ۱۹۳)، خلیفه عباسی، از بیم اینکه به حجرالاسود آسیبی برسد، با الماس در سنگ‌های پیرامون آن سوراخ‌هایی ایجاد کردند و آنها را با نقره پر کردند.
در ۳۱۷ در فتنه قرامطه ـ که به فرماندهی ابوطاهر قرمطی (متوفی ۳۳۲) در مکه روی داد و قرمطیان به خانه خدا حمله بردندـ حجرالاسود تکه‌تکه و از جای کنده شد. ابوطاهر پاره‌های این سنگ را به سرزمین خود، هَجَر (احساء کنونی، مرکز بحرین قدیم)، برد و تا سال ۳۳۹ که حجرالاسود به کعبه بازگردانده شد،مردم به جایگاه خالی آن تبرک می‌جستند.
گزارش‌های مختلفی در مورد چگونگی بازگردانده شدن حجرالاسود به جایگاه اصلی‌اش وجود دارد.از جمله گفته شده است مطیع، خلیفه عباسی، حجرالاسود را در قبال پرداخت سی هزار دینار از قرمطیان پس گرفت. ولی این گزارش صحیح دانسته نشده است.
بر پایه گزارشی دیگر، هنگامی که بَجْکم ترکی (ماکانی)، امیرالامرای بغداد در زمان‌الراضی باللّه و متقی‌للّه، از قرمطیان خواست در برابر دریافت پنجاه هزار دینار، حجرالاسود را باز پس فرستند، آنان امتناع کردند.
اما کردی این مطلب را که قرمطیان در قبال پس دادن حجرالاسود پولی دریافت کرده باشند نادرست دانسته است.
درواقع پس از مرگ ابوطاهر قرمطی بود، که قرمطیان دانستند محال است به هدفشان برسند بنابراین سنبربن حسن قرمطی، در روز عید قربان ۳۳۹، حجرالاسود را -که در این مدت به خوبی و در پوششی نقره‌ای نگه‌داری می‌شدـ در حضور فرماندار مکه از درون جوال بیرون آورد و با همان پوشش نقره‌ای در جایگاهش نهاد.در ۳۴۰، چند ماه پس از بازگردانده شدن و نصبِ دوباره حجرالاسود، پرده‌داران کعبه آن را از جایگاهش بیرون آوردند و با به کارگیری طوق جدیدی از نقره محکم‌تر کردند. این طوق در ۵۸۵ به دستور داوود بن عیسی حسنی، فرمانروای مکه، برداشته شد.
در ۳۶۳، مردی از سرزمین روم با دریافت مال بسیار مأموریت یافت حجرالاسود را با خود ببرد. وی در ظاهرِ مردی مستمند، در حالی که تنها یکی دو تن به طواف مشغول بودند، به کنار حجرالاسود رفت و با تیشه، ضربه سختی به آن زد و چون آهنگ ضربه دیگری کرد، مردی یمنی که در طواف بود، با خنجر او را سخت زخمی کرد. سپس مردم از اطراف مسجد جمع شدند و پس از آنکه او را به بیرون از مسجدالحرام بردند، هیزم بسیار فراهم کردند و او را در آتش سوزاندند.
در حوادث سال ۴۱۳ نیز آورده‌اند که مردی با گُرز، ضربات سختی بر حجرالاسود زد که بر اثر آن، سنگ شکافته شد و تکه‌های ریزی از آن بر زمین ریخت.
ابن‌اثیرــ که این رویداد را ذیل حوادث سال ۴۱۴ آورده ــ آن مرد را کافر و اهل سرزمین مصر معرفی کرده و گفته است که مردم، او و گروهی از همکاران و یارانش را در آتش سوزاندند.پس از آن، خاندان بنی‌شیبه پاره‌های ریز و درشت حجرالاسود را جمع‌آوری کردند و آنها را به‌هم چسباندند.کردی نیز به نقل از بتنونی در الرِّحْلَةُ الحِجازِیة، سال وقوع این حادثه را ۴۱۱ ذکر کرده و آورده است که به نظر برخی، یکی از حاکمان فاطمی، با این قصد که مردم از کعبه روی‌گردان شوند و به مسجد او در قاهره روی آورند، این مرد را برای نابود کردن حجرالاسود به مکه فرستاده بود.
نقل کرده اند که مردی از عجم نیز که در ۹۹۰ با گرُز، ضربه‌ای سخت به حجرالاسود وارد کرد، در همانجا به قتل رسید
هنگام بازسازی کعبه در عهد سلطان مراد عثمانی در ۱۰۴۰، حجرالاسود چهار تکه شد و پس از آزمایشهای فراوان، از ترکیب موادی مخصوص، چسبی ساختند که پاره‌های آن را به‌خوبی به هم وصل کردند.
در اين ترميم، سيد زين العابدين كاشانى از علماى شيعه ساكن در مكه موفق شد كه حجر الاسود را با دستان خود درمكانش قرار دهد.