Je jedním z mála secesních kostelů v Čechách a na Moravě a jedním z nejmladších kostelů v okrese Děčín. Kostel se nachází uprostřed obce obklopen skupinou vzrostlých kaštanů. Byl vybudován v letech 1911-12 varnsdorfských stavitelem Antonem Möllerem, na pozemku darovaném spolku sv. Bonifáce závětí vdovy Terezie Elstnerové. Na nákladech stavby se podílela i obec Rybniště, tehdejší Teichstatt.
Kostel byl vysvěcen na slavnost sv. Petra a Pavla dne 29. června 1912 tehdejším litoměřických biskupem Josefem Grossem. Bohoslužby se v něm konají od té doby nepřetržitě, ale stav kostela se díky zanedbané péči po roce 1945 značně zhoršil. V roce 1989 započala generální rekonstrukce exteriéru i interiéru kostela organizovaná páterem Stanislavem Havlasem z Jiřetína a Marcelem Hrubým. Kostel byl po rekonstrukci slavnostně znovu vysvěcen ve výroční den rybnišťského posvícení 30. června 1990 litoměřickým biskupem ThDr. Josefem Kouklem.
Interiér kostela je vkusně vybaven dobovým mobiliářem z doby kolem přelomu století. Na hlavním oltáři se nacházejí kromě sochy patrona kostela sv. Josefa sochy sv. Petra a Pavla. Zajímavostí je, že stavba kostela má svého identického dvojníka (i když se zrcadlově obrácenou věží) v kostele v obci Mokřiny u Aše.
Vedle kostela se nachází park s moc pěkným dětským hřištěm.
