ทีมเชลซีประกาศเปิดตัวจอห์น เทอร์รี่ครั้งแรกเมื่อ 28 ตุลาคม ปี 1998 หลังจากที่เขาได้ออกจากทีมเล็กของสโมสร ซึ่งในขณะนั้นเป็นช่วงศตวรรษที่ 20 ที่จอห์น เทอร์รี่ เล่นให้กับสโมสรทีมฟุตบอลเชลซีเป็นครั้งแรก
อาจจะมีน้อยคนนักที่รู้ว่าการเปิดตัวในครั้งนี้เป็นจุดเริ่มต้นของการเล่นให้กับเชลซีในปีที่ 20 ต่อมาเทอร์รี่ก็ถูกซื้อตัวโดยทีม Nottingham Forest แต่เส้นทางการเป็นนักฟุตบอลทีมเชลซีของเขาได้เริ่มต้นที่นี่ เพราะขณะที่เขาเป็นนักฟุตบอลเยาวชนเมื่ออายุ 17 ปี เขาเคยเป็นตัวสำรองและพาทีมชนะ Aston Villa มาแล้วด้วยคะแนน 4 – 1 ประตูใน League Cup
ตอนนั้น Gianluca Vialli เป็นผู้จัดการทีมเชลซี แล้วก็มีทีมดูแลอีกทีม ประกอบไปด้วย Tore Andre Flo, Mikael Forssell, Graeme Le Saux และ Dennis Wise โดย Dennis Wise เป็นกัปตันทีมในตอนนั้น แล้วก็เป็นผู้นำทีมที่ดีที่สุดในประวัติศาสตร์ของเชลซีในตอนนั้น ก่อนที่จอห์น เทอร์รี่จะก้าวขึ้นมาเป็นกัปตันทีมในเวลาต่อมา
เทอร์รี่เล่นครั้งแรกในการแข่งขันรอบที่สามฤดูกาลเดียวกันของ FA Cup แล้วก็เอาชนะทีม Oldham Athletic หลังจากนั้นเทอร์รี่ก็เล่นให้กับทีม Nottingham Forest ในปี 2000 เพื่อสะสมประสบการณ์ในการเล่นทีมครั้งแรก
ไม่ช้า เทอร์รี่ก็กลายเป็นที่สนใจของ David Platt ผู้จัดการทีม Forest และ Steve Bruce ผู้จัดการทีม Huddersfield Town แล้วเทอร์รี่ก็ได้พัฒนาฝีมือการเล่นของเขาขณะที่เตะให้กับทีมเชลซีครั้งแรกในฤดูกาล 2000 – 2001
ในฤดูกาลนั้น จอห์น เทอร์รี่ได้ทำแต้มให้กับทีมเชลซี 23 ครั้งด้วยกัน ทั้งยังได้รับโหวตให้เป็นนักเตะแห่งปี (Player of the Year) ของสโมสรอีกด้วย ต่อมาเขาก็ได้เตะให้กับทีมอีกครั้งในฤดูกาลปี 2001 – 2002 แล้วก็กลายเป็นกองหลังพร้อมกับ Marcel Desailly กัปตันทีมในขณะนั้น
เมื่อวันที่ 5 ธันวาคม ปี 2001 เทอร์รี่ได้เป็นกัปตันทีมเชลซีเป็นครั้งแรกและทีมก็คว้าชัยชนะจากทีม Charlton Athletic ในการแข่งขันประจำลีกมาครองได้สำเร็จ ถึงแม้ว่าจะไม่มีกัปตันทีมคนเดิมอย่าง Marcel Desailly เทอร์รี่ก็เล่นกองหลังกับ William Gallas ได้อย่างยอดเยี่ยม
หลังจากที่ Desailly เกษียณไม่นาน Jose Mourinho ผู้จัดการคนใหม่ของทีมเชลซี ก็ได้แต่งตั้งเทอร์รี่ให้เป็นกัปตันคนใหม่ของทีม เรียกว่าเป็นการตัดสินใจที่เฉียบขาดเป็นอย่างมากเพราะเทอร์รี่พาทีมเข้าสู่รอบพรีเมียร์ลีกได้สำเร็จในฤดูกาล 2004 – 2005 นอกจากนี้เทอร์รี่ยังทำลายสถิติในประวัติศาสตร์ลีกฟุตบอลด้วยคะแนนสูงสุดและราบรื่นที่สุด เทอร์รี่จึงได้รับโหวตให้เป็นผู้เล่นแห่งปีในฤดูกาลนั้น