ฮาร์ท ย้ายจาก ท็อตแน่ม ฮ็อทสเปอร์ มาอยู่กับ เซลติก เมื่อปี 2021 ประสบความสำเร็จในสองฤดูกาลแรกร่วมกับผู้จัดการทีม แอนจ์ พอสเตโคกลู คว้าแชมป์สกอตติชพรีเมียร์ชิพ 2 ฤดูกาล, สกอตติชคัพ 1 ฤดูกาล และสกอตติชลีกคัพ 2 ฤดูกาล
เบรนแดน ร็อดเจอร์ส ผู้จัดการทีม เซลติก พูดถึงการอำลาของ ฮาร์ท ว่า “โจ สนุกกับช่วงอาชีพที่ยอดเยี่ยม และผมรู้ว่าจะเป็นการสูญเสียครั้งใหญ่ เมื่อเขาอำลาจากเกมฟุตบอลในช่วงซัมเมอร์นี้”
“สำหรับทุกสิ่งทุกอย่างที่เขาทำในวงการฟุตบอล โจ สมควรได้รับคำชื่นชมและแสดงความยินดีอย่างมาก แน่นอนว่าเขาเป็นทรัพย์สินอันมีค่าของ เซลติก ที่ผ่านเกมระดับสูงสุด ทั้งในประเทศและนานาชาติ”
ทั้งนี้ ฮาร์ท ครองมือหนึ่งของทีมชาติอังกฤษมาอย่างยาวนาน ลงเฝ้าเสาไปทั้งสิ้น 75 เกม ระหว่างปี 2008-2017 ส่วนผลงานกับสโมสร สร้างชื่อกับ แมนเชสเตอร์ ซิตี้ คว้าแชมป์พรีเมียร์ลีกซีซั่น 2011-12 และ 2013-14 ในบทบาทผู้รักษาประตูมือหนึ่ง