Adıyaman Zey Türbesi, tarih boyunca pek çok efsane ve olayla anılan bir mekan olmuştur. Şeyh Abdurrahman Erzincani'nin hayatı ve ölümünden sonra meydana gelen gelişmeler, bu türbenin çevresinde oluşan manevi atmosferi beslemiştir. Özellikle padişahların ziyaretleri ve türbenin inşası, bölgenin dini ve kültürel önemini artırmış, Zey Köyü'nü bir ziyaret noktası haline getirmiştir.

Adıyaman Zey Türbesi'nin hikâyesinin bir kısmı şu şekildedir:

• Şeyh Abdurrahman Erzincani'nin Adıyaman'a gelişi. Aslen Erzincanlı olan Şeyh Abdurrahman Erzincani, eğitimini aldıktan sonra Adıyaman'ın Zey Köyü'ne yerleşir ve burada hayatını tamamlar.
• Sultan IV. Murad'ın ziyareti. 1638 yılında, Sultan IV. Murad'ın Bağdat seferi sırasında ordu, Adıyaman'da konaklar. Şeyh Abdurrahman Erzincani, padişahı ve orduyu misafir eder ve onları doyurur.
• Türbenin inşası. Sultan, sefer dönüşü Şeyhin öldüğünü öğrenince çok üzülür ve onun türbesini yaptırır. Ayrıca, Şeyhin işaret ettiği Ebu Zer-i Gaffari'nin türbesini de inşa ettirir.

Türbede, Şeyh Abdurrahman Erzincani ve ailesine ait toplam dört sanduka bulunmaktadır.