Cerita mistis tersebar dari mulut ke mulut juga membuat Jalan Cadas Pangeran terkenal dengan keangkerannya. Dalam sejarah pembangunannya, Jalan Cadas Pangeran konon memakan banyak korban.
Untuk mempercepat pembangunan, Gubernur Jenderal Hindia Belanda Herman Willem Daendels membangun jembatan ini dengan melibatkan ribuan pekerja yang mayoritasnya warga Sumedang. Sebanyak lima ribu pekerja meregang nyawa karena harus bekerja rodi untuk mengikis perbukitan terjal dan memangkas material batu cadas yang keras dengan alat terbatas.
Banyak dari pekerja yang terjatuh saat bekerja, terjangkit penyakit bahkan dimangsa binatang buas di hutan belantara. Selain itu terdapat banyak makam dengan nisan tanpa nama di sekitar Jalan Cadas Pangeran.
Baca Juga:Sebelum Makan Tempe Mendoan, Simak Dulu SejarahnyaGoogle Doodle Peringati Tempe Mendoan, Pedangang Tahu Tempe Mogok Jualan
Makam-makam tersebut diyakini warga setempat merupakan peristirahatan terakhir para pekerja rodi. Menurut cerita rakyat, di sekitar Cadas Pangeran juga terdapat batu yang diyakini sebagai petilasan Pangeran Kornel atau Pangeran Kusumadinata IX.
Pangeran Kusumadinata IX menentang kesewenang-wenangan Daendels saat pembangunan jalan. Penentangan tersebut membuat pekerjaan rakyat Indonesia lebih ringan dan sebagain besar pekerjaan dilakukan oleh Belanda.