După ocuparea Siciliei de către saracini, tânărul Iosif a ajuns la Tesalonic unde a intrat ca monah în Mănăstirea Latomus, ducând o viață de mare asprime. A avut fericirea de a viețui, în această mănăstire, împreună cu Sfântul Grigorie Decapolitul, care l-a primit ca ucenic al sau. 

În urma morții Sfântului Grigore, Sfântul Cuvios Iosif s-a retras în unul din schiturile zidite de el unde a scris cântări bisericești și pesne de canoane. 

Ultima persecuție a iconodulilor (cinstitori de icoane) din timpul împăratului iconoclast Teofil (829-842) i-a provocat Sfântului Iosif grele suferințe. Pentru îndrăzneala mărturisirii în cinstea Sfintelor icoane, a fost surghiunit în Cherson, de unde nu a putut să se întoarcă, decât după moartea împăratului (842), la chemarea Sfintei Împărătese Teodora, care, încetând prigoana, a reașezat credința ortodoxă în toate drepturile ei.