Kostel sv. Jakuba Většího je nejstarší stavbou města postavenou v prvé čtvrtině XIII. století. Nalézá se na pravém břehu řeky Bystřice, kde se s největší pravděpodobností nacházelo i původní sídliště, v jehož blízkosti byl postaven. Také však mohl být zbudován jako součást panského dvorce Hrabišiců, předního šlechtického rodu časů Přemyslovců.

Kamenný kostel byl zbudován jako jednoduchá jednolodní stavba s čtverhranným presbytářem, který se nacházel v přízemí patrové věže. Existenci věže nepřímo podporuje i zazděný vchod ve východním štítě chrámové lodi. V průběhu času však byla věž snesena a zůstalo jen přízemní patro presbytáře.

Prostý kostel zbudovaný z lomového kamene zdobí pouze západní portál. Přestože ústupkový portál postrádá tympanon, lze soudit, že má blízko k chebské kamenické huti. Přestože je jeho jediným zdobným prvkem ústupkový portál, bývá řazen do tzv. vinecké skupiny pozdně románských kostelů zbudovaných na panství významných velmožů (např. kostel sv. Jakuba ve Vroutku nedaleko Podbořan), jejichž venkovní zdi pokrývají různé kamenosochařské články (zubořezy, terče, sloupky, polosloupky…).

V průběhu let byl kolem kostela zřízen hřbitov, který funguje dodnes. Patrně právě díky nové funkci byl kostel v průběhu staletí udržován a také upravován, o čem také svědčí zachované fresky v presbyteriu.