Herindra memulai karir militernya di Komando Pasukan Khusus (Kopassus) sebagai perwira muda. Dia juga tidak asing dengan dunia intelijen semenjak ia menjadi asisten senior intelijen di Kodam I/Bukit Barisan.
Di tahun 2008, ia menjadi asisten intelijen Komandan Kopassus Pramono Edhie Wibowo. Setahun setelahnya, ia menduduki posisi yang sama di Kodam Jaya. Pada tahun 2010, Herindra menjadi direktur penelitian dan pengembangan Pusat Intelijen Angkatan Darat.
Setelah menjabat sebagai koordinator staf pribadi KSAD dan jabatan teritorial, Herindra diangkat menjadi Wakil Komandan Jenderal (Danjen) Kopassus pada 2013, Danjen Kopassus pada 2015, dan Pangdam III/Siliwangi pada 2016.
Jabatan terakhirnya di militer sebelum pensiun adalah sebagai Kepala Staf Umum (Kasum) TNI pada 2020. Setelah menjadi purnawirawan, Presiden Joko Widodo menunjuk Herindra menjadi Wakil Menteri Pertahanan di bawah Prabowo Subianto.***