Ketika pendudukan Jepang, ia masuk tentara Pembela Tanah Air (Peta) di Bogor yang begitu tamat pendidikan, langsung menjadi Komandan Batalyon di Kroya. Menjadi Panglima Divisi V/Banyumas sesudah TKR terbentuk, dan akhirnya terpilih menjadi Panglima Angkatan Perang Republik Indonesia (Panglima TNI). Ia merupakan Pahlawan Pembela Kemerdekaan yang tidak perduli pada keadaan dirinya sendiri demi mempertahankan Republik Indonesia yang dicintainya. Ia tercatat sebagai Panglima sekaligus Jenderal pertama dan termuda Republik ini.
Sudirman merupakan salah satu pejuang dan pemimpin teladan bangsa ini. Pribadinya teguh pada prinsip dan keyakinan, selalu mengedepankan kepentingan masyarakat banyak dan bangsa di atas kepentingan pribadinya. Ia selalu konsisten dan konsekuen dalam membela kepentingan tanah air, bangsa, dan negara. Hal ini boleh dilihat ketika Agresi Militer II Belanda. Ia yang dalam keadaan lemah karena sakit tetap bertekad ikut terjun bergerilya walaupun harus ditandu. Dalam keadaan sakit, ia memimpin dan memberi semangat pada prajuritnya untuk melakukan perlawanan terhadap Belanda. Itulah sebabnya kenapa ia disebutkan merupakan salah satu tokoh besar yang dilahirkan oleh revolusi negeri ini.
Sementara pendidikan militer diawalinya dengan mengikuti pendidikan tentara Pembela Tanah Air (Peta) di Bogor. Setelah selesai pendidikan, ia diangkat menjadi Komandan Batalyon di Kroya. Ketika itu, pria yang memiliki sikap tegas ini sering memprotes tindakan tentara Jepang yang berbuat sewenang-wenang dan bertindak kasar terhadap anak buahnya. Karena sikap tegasnya itu, suatu kali dirinya hampir saja dibunuh oleh tentara Jepang.
Setelah Indonesia merdeka, dalam suatu pertempuran dengan pasukan Jepang, ia berhasil merebut senjata pasukan Jepang di Banyumas. Itulah jasa pertamanya sebagai tentara pasca kemerdekaan Indonesia. Sesudah Tentara Keamanan Rakyat (TKR) terbentuk, ia kemudian diangkat menjadi Panglima Divisi V/Banyumas dengan pangkat Kolonel. Dan melalui Konferensi TKR tanggal 2 Nopember 1945, ia terpilih menjadi Panglima Besar TKR/Panglima Angkatan Perang Republik Indonesia.