هشام به حج آمد و پس از طواف به سمت حجر الاسود رفت تا آن را زیارت کند، اما از شدت ازدحامِ جمعیت نتوانست نزدیک شود.
او و یارانش در گوشهای از مسجد الحرام نشستند؛ و بعد از لحظاتی دیدند امام سجاد علیهالسلام وارد شد و پس از طواف به سمت حجر الاسود رفت. با نزدیک شدن حضرت مردم احترام کرده و کناری رفتند، و امام به راحتی حجر الاسود را زیارت کرد.
هشام با دیدن این منظره بسیار عصبانی شد، زیرا مردم به او که پسر و برادر خلیفه بود اجازه زیارت حجر الاسود را ندادند، اما برای امام سجاد علیهالسلام راه باز کردند!
اطرافیان هشام که هر دو صحنه را دیده بودند با تعجب از هشام درباره حضرت سؤال کردند و او با بیاعتنایی پاسخ داد: من این مرد را نمیشناسم!!