Johannes Rose se narodil v Görlitzu v romské rodině. Jeho rodiči byli Wilhelm Rose a Sophie Pohl. Měl ještě jednoho bratra, Fritze, který byl o pět let starší. Bratři měli německé občanství a byli katolíci. Po ukončení školní docházky se Hans, jak se Johannesovi také říkalo, vyučil obchodníkem s dobytkem a koňmi. V roce 1926 žil ve Vratislavi, kde navázal první kontakty s Biblickými badateli (od roku 1931 Svědky Jehovovými), k nimž se později připojil.

Na konci roku 1931 se Johannes Rose přestěhoval do Chemnitzu. „Jelikož v těch letech byl obchod s koňmi beznadějný,“ navštěvoval zde, jak později zdůvodnil svou změnu povolání, až do začátku roku 1933 Saskou vyšší odbornou školu pro textilní průmysl. Po úspěšném absolvování získal živnostenský list pro textilní odvětví, který vykonával přibližně do podzimu 1934. Jeho obchod se nacházel v předměstí Bernsdorf, v nájemním domě na adrese Grenadierstraße 13 (dnes Rosa-Luxemburg-Straße). Dne 8. srpna 1934 se oženil s Theresia Wallusovou. Jeho manželka byla nacisty považována za „Árijku“ a v roce 1942 se s ním rozvedla.

Johannes Rose byl v roce 1934 zbaven německého občanství. Dne 11. června 1938 byl v rámci takzvané akce „Arbeitsscheu Reich“ kvůli své romské příslušnosti zatčen gestapem. Do 17. listopadu 1938 byl v policejní vazbě v Chemnitzu, poté byl spolu se svým bratrem Fritzem deportován do koncentračního tábora Sachsenhausen.

Již v Chemnitzu udržoval intenzivní kontakt se Svědky Jehovovými, kteří byli nacisty zakázáni a pronásledováni, a podílel se na jejich akcích odporu. V Sachsenhausenu se nyní definitivně připojil k Svědkům Jehovovým a v koncentračním táboře byl tajně pokřtěn. Kromě Sachsenhausenu pobýval také v pobočných táborech Fallersleben a Lichterfelde. V Lichterfelde byl blokovým starším a jeden ze spoluvězňů ho popsal jako „vzdělaného, ctižádostivého člověka“, „čestného a otevřeného, muže s postojem a charakterem“.

Na jaře roku 1945 se Johannes Rose v rámci pochodu smrti dostal v skupině 230 svědků Jehovových ze Sachsenhausenu do Schwerinu. Tam se 28. července 1945 oženil s Trude Schwonbeckovou. Manželé se přestěhovali do Chemnitzu a našli si byt v ulici Dittesstraße 14. Johannes Rose se opět věnoval samostatné živnosti jako obchodník s dobytkem. Jeho žádost o uznání jako „oběti fašismu“, podaná 26. dubna 1946, byla úřady zamítnuta. Na žádosti byla tužkou napsána poznámka: „V roce 1946 byl potrestán pokutou za spekulativní obchody.“ To vedlo k tomu, že manželé opět přesunuli své bydliště do Schwerinu, kde Johannes Rose založil prosperující
dopravní firmu.

Dne 11. února 1948 zde obdržel průkaz „oběti fašismu“. Po zákazu Svědků Jehovových v NDR uprchl se svou rodinou 14. září 1950 do Západního Berlína a jen těsně tak unikl zatčení. O pouhých několik dní později mu však zemský výbor VdN v Meklenbursku odebral status „oběti fašismu“. Důvodem byla jeho náboženská příslušnost, kvůli níž byl také 27. dubna 1951 v nepřítomnosti odsouzen Velkou trestní komorou Krajského soudu ve Schwerinu k čtyřem letům vězení „za podněcování k bojkotu demokratických institucí, trestný čin podle článku 6 Ústavy a směrnice Kontrolní rady č. 38, oddíl II, článek III A III“ odsouzen Velkou trestní komorou Krajského soudu ve Schwerinu ke čtyřem letům vězení. Johannes Rose patřil k 24 přeživším z početné rodiny čítající 180 osob. 156 jeho příbuzných bylo nacisty
– většina z nich v Osvětimi, stejně jako jeho nevlastní matka a jeho čtyři nevlastní sourozenci. Wilhelm Rose, jeho otec, žil delší dobu pod falešným jménem nepoznán v Berlíně
. Neopatrný dopis však prozradil jeho pravou totožnost, což mělo za následek, že byl na ulici zbit nacistickými přisluhovači. Krátce nato, 8. září 1942, zemřel v nemocnici.

Boj o „odškodnění“ v Západním Berlíně přinesl Johannesovi Roseovi, jeho manželce a čtyřem dětem další starosti. Řízení o žádosti bylo zdlouhavé a náležité finanční odškodné bylo vypláceno jen velmi pomalu. Zhoršil se také jeho zdravotní stav, takže v roce 1954 musel zavřít svůj textilní obchod v berlínské čtvrti Kreuzberg, který založil o tři roky dříve, a rodina upadla do chudoby.

V roce 1962 zemřel Johannes Rose ve věku 53 let na infarkt.