Sở Rẫy nằm trên đảo lớn Côn Sơn, có độ cao 260m so với mực nước biển. Từ Trung tâm Vườn du khách đi theo con đường ven núi đến Vùng 3, sau đó tiếp tục leo núi theo đường mòn nhỏ để đến Sở Rẫy. Sở Rẫy là khu vực bằng phẳng, có diện tích khoảng 20 ha được hình thành từ thời Thực Dân Pháp để đày ải tù nhân khai hoang, trồng trọt hoa màu vào những năm đầu thế kỷ 20.
Năm 2002, BQL Vườn quốc gia Côn Đảo thực hiện chương trình trồng phục hồi lại hiện trạng rừng bị thiệt hại sau cơn bão Linda năm 1997 nhằm bảo tồn nguồn gen quý, hiếm và trồng thêm nhiều loài cây có quả bản địa làm giàu nguồn thức ăn tự nhiên, dẫn dụ động vật rừng phục vụ công tác nghiên cứu khoa học, tuyên truyền giáo dục và tham quan du lịch sinh thái.
Đến Sở Rẫy du khách đi bách bộ tham quan, khám phá rừng mưa nhiệt đới hải đảo, quan sát các loài động vật hoang dã như Chim, Sóc đen Côn Đảo, Khỉ đuôi dài Côn Đảo, Thạch sùng Côn Đảo…, các khu nhà đá cổ do tù nhân xây dựng từ thời Pháp thuộc và lên chòi quan sát ngắm toàn cảnh thị trấn Côn Đảo, các hồ nước ngọt tự nhiên lớn nhất của đảo, vịnh Côn Sơn và các hòn đảo xung quanh. Sau đó du khách tiếp tục đi bộ xuống núi về phía Tây đến tham quan Bãi Ông Đụng, bơi lội xem san hô, ăn trưa và buổi chiều trở về lại trung tâm Vườn quốc gia Côn Đảo.