Theo như được biết, tù nhân đầu tiên bị giam ở Tháp là vào năm 1100. Nhưng Tháp không như những nhà giam khác, vì nơi đây chỉ giam giữ những người thuộc giai cấp quý tộc và quan trọng. Trong số này có vua bại trận của xứ Scotland và Pháp, giới quý tộc và hàng tu sĩ bị thất sủng hoặc phản bội. Có trường hợp tù nhân bị hành hình, thậm chí bị ám sát ở trong Tháp như vua Henry VI, vua Edward V, 12 tuổi và em trai.
-Vua Henry VI
- Vua Edward V
Tù nhân bị giam ở bất cứ căn phòng nào trống, một số bị giám sát chặt chẽ, số khác thì được tự do đi lại trong khu vục của Tháp. Án tù có thể ngắn hoặc dài. Ông William Penn, sau này là người sáng lập khu kiều dân Mỹ ở Pennsylvania, bị giam 8 tháng vì lý do tính ngưỡng.
-William Penn
Sau khi bại trận, cháu của vua nước Pháp là công tước Charles xứ Orleans bị giam nhiều lần trong khoảng thời gian 25 năm, cho đến khi được chuộc bằng một số tiền khổng lồ.
Sir Walter Raleigh, một tiều thần, một nhà thám hiểm và cũng là nhà văn. Ông này đã trãi qua 13 năm đen tối trong ngục Tháp. Ông đã viết cuốn History of the World cố là để giết thì giờ, sau đó ông được tạm tha - nhưng cuối cùng thì bị hành hình.