Po powrocie z Kielc Józef Piłsudski rozpoczął formowanie Legionów Polskich. Miały one walczyć u boku armii austro-węgierskiej przeciwko Rosji. 

Marszałek i jego żołnierze utworzyli słynną Pierwszą Brygadę Legionów Polskich. Liczyła ona ok. 5500 ochotników. Dowództwo objął nad nią sam Józef Piłsudski.

Łącznie powstały trzy brygady Legionów Polskich (I i III Brygadą dowodził Józef Piłsudski, a II - gen. Józef Haller). 

Dla Józefa Piłsudskiego Legiony były kadrą przyszłej armii polskiej, dlatego starał się unikać udziału w krwawych walkach. Czasami odmawiał również wykonania rozkazów, które mogły doprowadzić do unicestwienia polskich jednostek.