Ban đầu, công trình được thiết kế đơn giản gồm một bể nước hình tròn, ở giữa có đài phun nước bằng đá giống như một cái đĩa đặt trên bệ hình trụ tròn. Trẻ con khu phố cổ thời đó thường ra vầy nước. Long Vân là cái tên mà người Hà Nội xưa đặt cho đài phun nước này, lý do là có hiệu kem Long Vân nằm ngay cạnh.

Không hiểu sao những năm 1960-1970, đài phun nước Long Vân bị lấp đất trồng cây và xây lại bệ bằng bê-tông, đặt lên đó một cột đồng hồ. Cho tới cuối những năm 1980, đài phun nước được khôi phục chức năng vốn có của mình là phun nước.

Vào thập niên 1990, chính quyền thành phố cho dựng rào chắn sắt cố định chung quanh đài phun nước. Vào năm 2014, chính quyền thành phố lại một lần nữa cho tu bổ đài phun nước, rào chắn được dỡ bỏ nhằm chào đón sự kiện 60 năm giải phóng thủ đô. Năm 2009 đường đi vòng tròn chung quanh đài phun nước được lát đá vuông kích thước 10x10cm.

Có giả thuyết cho rằng đài phun nước này có vai trò như một "cột mốc Km 0" của Thủ đô Hà Nội, có ý nghĩa là công trình nằm ở vị trí “trung tâm nhất” của thành phố.

Hà Hồng