A família Silva Xavier, que pertenceu Tiradentes, sempre gozou de boa situação social em Minas, ao que mostram extensos registros genealógicos que devemos a Artur de Rezende e ao Cônego Trindade. Joaquim José era tetraneto do capitão Martinho de Oliveira, "homem nobre e dos principais da Vila de Santos", segundo Silva Leme. Seu avô materno Domingos Xavier Fernandes fôra provedor dos quintos reais da Vila de São João del Rei, hoje Tiradentes. Seu pai exerceu em São João del Rei o mandato de vereador. Se não era abastado, dispunha, contudo, de certos recursos e estima social. Dois de seus irmãos ordenaram-se sacerdotes, nesse tempo em que, no dizer de Caio Prado Júnior, os Seminários eram a única oportunidade que as famílias dominantes tinham para a instrução de seus filhos mais dotados de inteligência. À posição social da família Tiradentes parece Ter acrescido ainda uma linhagem mental nada desprezível. Basta lembrar que um de seus primos e coetâneos, filho de sua tia materna Rita, foi o insigne naturalista que na vida monástica se chamou Frei José Mariano da Conceição Veloso. Outro primo e coetâneo seu teve fama de um dos maiores latinistas de seu tempo: foi o padre Antônio Rodrigues Dantas, reitor do Seminário de Mariana, professor em Lisboa, autor de várias obras sobre a arte poética e a língua latina. Seu irmão mais novo, José da Silva Santos, teve patente de capitão de milícias, casando-se com uma Goes e Lara, da nobiliarquia paulistana. O atual deputado federal por Minas, figura de evidência política no Estado e no país desde 1930, sr. Gabriel de Rezende Passos, é tetraneto desse irmão de Tiradentes. Uma irmã do Proto Mártir de nossa independência, casada com um Ferreira de Souza, de Queluz, deu origem a uma vasta descendência que se ligou aos Rodrigues Chaves, de Lagoa Dourada, aos Rezende, de Prados, aos Magalhães, os quais até hoje controlam a chefia política ou a disputam em vários municípios mineiros. Um dos descendentes dessa irmã de Tiradentes, Major José Rodrigues Chaves, foi o fundador de Formosa, no Goiás, onde teve fábrica de ferro. Outro, Camilo Rodrigues Chaves, tornou-se um dos principais habitantes e beneméritos de Campina Verde, no Triângulo Mineiro. Seu filho aparece na crônica provincial como uma das maiores influências políticas da região. O filho deste, Camilo Chaves Júnior, é presidente do PSD em Ituiutaba, onde mantém intensa luta política. Outro sobrinho bisneto de Tiradentes, cel. Lucas Tobias de Magalhães, foi deputado durante toda a República Velha, constituinte de 34 e líder da bancada mineira. Falecendo sem descendentes, a chefia política do município passou aos seus antigos aliados, os Paulino Costa, importantes fazendeiros de café, que se vêm sucedendo na direção local.