Józef Piłsudski herbu Piłsudski urodził się 5 grudnia 1867 w Zułowie na Wileńszczyźnie, w rodzinie o tradycjach patriotycznych. Ojciec, Józef Wincenty (1833–1902), był podczas powstania w 1863 komisarzem Rządu Narodowego na powiat rosieński, matka – Maria z Billewiczów (1842–1884) – pochodziła ze szlacheckiego rodu herbu Mogiła. Rodzice zawarli związek małżeński po wybuchu powstania styczniowego (23 kwietnia 1863).
Po stłumieniu powstania, uchodząc przed prześladowaniem ze strony Rosjan, Józef Wincenty Piłsudski uciekł ze Żmudzi na Litwę, gdzie też kilkakrotnie zmieniał miejsce pobytu. Jesienią lub zimą 1863 nowożeńcy zamieszkali na stałe w posagowym Zułowie.
Józef Wincenty Piłsudski postawił na uprzemysłowienie. Poddał majątki żony (Adamowo, Suginty, Tenenie, Zułów, razem ok. 12 000 ha) modernizacji, sprowadził specjalistów, również z zagranicy. Nad brzegiem Mery wybudował trzypiętrowy młyn, gorzelnię, wytwórnię drożdży, cegielnię i wytwórnię terpentyny.
Wzniósł również nowy dwór. W majątku Zułów 5 grudnia 1867 urodził się Józef Klemens Piłsudski. Był czwartym w kolejności dzieckiem – w 1864 urodziła się Helena, w 1865 – Zofia, a w 1866 – Bronisław Piłsudski. Po Józefie, którego w rodzinie nazywano Ziukiem[e], urodzili się: Adam (1869), Kazimierz (1871), Maria (1873), Jan (1876), Ludwika (1879), Kacper (1881) oraz bliźnięta Piotra i Teodora (zmarli w wieku 1,5 roku, w lutym 1884).
Józef został ochrzczony 15 grudnia 1867 w kościele rzymskokatolickim w majątku Sorokpol (dekanat święciański) przez księdza Tomasza Wolińskiego. Rodzicami chrzestnymi byli Józef Marcinkowski i Konstancja Rogalska.
Maria Piłsudska wychowywała swoje dzieci w duchu patriotycznym, dbała też o ich wykształcenie. Dzieci uczyli sprowadzeni do dworu nauczyciele. Języków uczyły dwie bony, Niemka i Francuzka.
Nieudana działalność inwestycyjna ojca doprowadziła zarządzane przez niego majątki do ruiny. Problemy rodziny pogłębił pożar, po którym w 1874 Piłsudscy przenieśli się do Wilna, zmuszeni tam do egzystencji w trudnych warunkach materialnych.
W 1877 Józef, wraz z bratem Bronisławem, rozpoczął naukę w I Gimnazjum wileńskim, mieszczącym się w gmachu dawnego uniwersytetu. W gimnazjum bracia, razem z innymi uczniami, poddawani byli intensywnej rusyfikacji.
22 marca 1887 Józef Piłsudski został aresztowany pod zarzutem udziału w spisku na życie cara, którego autorami byli członkowie Frakcji Terrorystycznej Narodnej Woli. Piłsudski pomógł zamachowcom, będąc m.in. przewodnikiem po Wilnie jednego z głównych organizatorów zamachu, próbującego zdobyć truciznę niezbędną do zabicia cara Aleksandra III Romanowa[21]. Inaczej było z Bronisławem, który w całą sprawę zaangażował się o wiele bardziej. Na początku kwietnia 1887 Józef Piłsudski został przewieziony do Twierdzy Pietropawłowskiej, a następnie do więzienia śledczego w Petersburgu. Chociaż Józefa ostatecznie potraktowano jako świadka w procesie spiskowców, to jednak został skazany 1 maja 1887 na pięcioletnie zesłanie w głąb Rosji.
Na początku października 1887, wraz z innymi skazanymi, Piłsudski dotarł do Irkucka, gdzie miał czekać na przewiezienie do docelowego miejsca osiedlenia – Kireńska. 1 listopada w irkuckim więzieniu wybuchł bunt, Piłsudski nie brał w nim bezpośrednio udziału, ale został brutalnie pobity przez żołnierzy. Stracił wówczas dwa przednie zęby. Za rzekomy udział w buncie został skazany na dodatkowe pół roku więzienia.
Do Kireńska Piłsudski dotarł 23 grudnia 1887, a przebywał w nim do lipca 1890. Spotkał tam innych zesłańców Polaków, byłych powstańców styczniowych. Zatrzymał się w domu socjalisty Stanisława Landego, gdzie poznał Leonardę Lewandowską (siostrę żony Landego), swoją pierwszą miłość. W początkach sierpnia 1890 Piłsudskiego przeniesiono do niewielkiej wsi Tunka. W osadzie tej warunki bytowe były znośniejsze niż w Irkucku.
