Obok fary w 1738 r. została wzniesiona kaplica ku czci św. Jana Kantego, jednego z patronów olkuskiej parafii. Ten wykładowca Collegium Maius Akademii Krakowskiej otrzymał w 1439 r. probostwo w Olkuszu. Obowiązki uczelniane ponoć zmusiły go niebawem do rezygnacji z tej funkcji. Kaplica przypomina jednak o jego obecności i zamieszkiwaniu w parafii. Zwłaszcza, że od południa obiekt graniczy ze sklepioną izbą o masywnych ścianach, stanowiącą element miejskich murów obronnych z czasów średniowiecza. Tutaj, według miejscowej tradycji, miało być mieszkanie św. Jana Kantego.