Namun hal itu diurungkan setelah mendapat pertimbangan dari sahabatnya yang juga seorang ulama, dengan alasan rakyat Mataram akan kesulitan jika ingin mengunjungi makamnya.
Sebagai gantinya, ulama tersebut menyarankan Sultan Agung untuk membawa segenggam tanah yang harum itu untuk dibawa ke Mataram.
Setibanya di Mataram, tanah yang harum tersebut kemudian dilemparkan Sultan Agung dan jatuh di daerah Giriloyo.
Rupanya pembangunan makam bukan hanya mempersiapkan lubang namun membangun kompleks makam yang melibatkan ribuan orang.
Paman Sultan Agung yaitu Gusti Juminah ikut membantu mengawasi pembangunan makam, namun kemudian ia jatuh sakit hingga meninggal dan lalu dimakamkan di kompleks tersebut.
Karena pamannya sudah dimakamkan di Giriloyo, Sultan Agung pun merasa kompleks makam tersebut tidak akan cukup untuk keluarga dan keturunannya.
Sultan Agung pun mengambil sisa tanah yang berbau harum kemudian melemparnya ke selatan dan jatuh di Bukit Merak.
Di tempat inilah kompleks makam akhirnya dibangun dan dibagi menjadi beberapa bagian yang dimaksudkan tidak hanya untuk dirinya sendiri, namun juga untuk keluarganya.
Hingga akhirnya pada tahun 1645 Sultan Agung wafat dan sesuai keinginannya maka jasadnya pun dimakamkan di tempat tersebut.
Makam Sultan Agung menjadi makam pertama sekaligus makam induk yang disebut Kasultanagungan.
Setelah itu barulah kompleks makam ini digunakan sebagai makam untuk raja-raja setelahnya.
Adapun setelah terjadinya Perjanjian Giyanti, kompleks makam ini terbagi dua yaitu bagian barat untuk makam raja-raja Kasunanan Surakarta dan bagian timur Kasultanan Yogyakarta.
Nama Pajimatan Imogiri yang disematkan pada Makam Raja Imogiri berasal dari gabungan dua suku kata ‘pajimatan’ dan ‘imogiri’.
Pajimatan berasal dari kata ‘jimat’ yang mendapat awalan pa- dan akhiran –an, untuk menunjukkan tempat, sehingga bermakna sebagai tempat untuk jimat atau tempat pusaka.
Sedangkan Imogiri atau Imagiri berasal dari kata ‘ima’ atau ‘hima’ yang berarti berawan atau awan yang meliputi gunung, dan giri yang berarti gunung.