Trước những năm 1930, lúc bấy giờ ở Việt Nam chỉ có nhà máy xi măng Hải Phòng do người Pháp xây dựng năm 1899, đến năm 1955 thì giao cho Nhà nước Việt Nam quản lý và vận hành, phục vụ cho công cuộc xây dựng chủ nghĩa xã hội ở miền Bắc.
Cho đến sau khi đất nước thống nhất năm 1975, không còn nhà máy xi măng Hà Tiên (Kiên Giang). Từ năm 1980 đến năm 1993, cả nước có thêm nhà máy xi măng Bỉm Sơn tại Thanh Hóa do Liên Xô đầu tư xây dựng và Hoàng Thạch tại Hải Dương do Đan Mạch cung cấp toàn bộ thiết bị thiết kế.

Từ năm 2006 đến nay, doanh nghiệp tư nhân đầu tư xây dựng thêm nhiều nhà máy xi măng. Năm 1994, Tổng công ty Xi măng Việt Nam sản xuất được 1,4 triệu tấn sản lượng xi măng. Đến tháng 7/1996, để đáp ứng nhu cầu xi măng ngày càng tăng, công ty đã đưa dây chuyền 2 của nhà máy Xi măng Hoàng Thạch vào sản xuất với công suất 1,2 triệu tấn/năm nâng tổng công suất xi măng Hoàng Thạch lên 2,3 triệu tấn/năm.
Năm 1998, áp dụng thiết bị công nghệ của Pháp với công suất 1,4 triệu tấn Nhà máy Xi măng Bút Sơn - Hà Nam chính thức đi vào hoạt động. Ngày 29/8/2006, Tổng Công ty Xi măng Việt Nam được đổi sang hoạt động theo mô hình công ty mẹ - công ty con. Tổng công ty Xi măng Việt Nam là công ty mẹ dựa trên cơ sở tổ chức lại quản lý, điều hành của Tổng công ty Xi măng Việt Nam và Công ty Xi măng Hoàng Thạch.
Ngày 06/12/2007, đổi tên Tổng công ty Xi măng Việt Nam thành Tổng công ty Công nghiệp Xi măng Việt Nam. Tên giao dịch quốc tế Vietnam Cement Industry Corporation - Vicem.
Tháng 6/2012, ông Lương Quang Khải được Thủ tướng Chính phủ bổ nhiệm giữ chức Chủ tịch Hội đồng quản trị Tổng Công ty Công nghiệp Xi măng Việt Nam.

Ông Lương Quang Khải sinh ngày 17 tháng 2 năm 1959, ông sinh ra ở Thái Nguyên nhưng nguyên quán ở Thái Bình, hiện ông sống ở Hà Nội. Ông Khải là kỹ sư cơ khí, còn là thạc sĩ kinh doanh, cao cấp lý luận chính trị.
Từ tháng 1 năm 1981 đến năm 1989, ông là giảng viên trường Đại học Công nghiệp Thái Nguyên. Từ năm 1983 đến tháng 7 năm 1993, ông là tổ trưởng bộ môn Kinh tế tổ chức sản xuất - Khoa cơ khí - trường Đại học Công nghiệp Thái Nguyên.
Từ tháng 8/1993 đến tháng 3/2002, ông là cán bộ, trưởng phòng xây dựng, trưởng phòng kinh tế, trưởng đoàn chuyên gia, trưởng nhóm tại Công ty tư vấn đầu tư và phát triển xi măng - CCID. Từ tháng 4 năm 2002 đến tháng 11 năm 2009, ông là Phó giám đốc công ty Xi măng Tam Điệp.
Từ tháng 12/2009 đến tháng 11/2011, Ông được bổ nhiệm làm Tổng giám đốc Công ty cổ phần XM Vicem Bút Sơn. Từ tháng 12/2011 đến tháng 6/2012, ông được bầu làm Phó Tổng Giám đốc Tổng công ty CNXM Việt Nam. Từ tháng 6/2012, ông được Thủ tướng Chính phủ bổ nhiệm giữ chức Chủ tịch Hội đồng thành viên Tổng công ty CNXM Việt Nam.
Ngày 1/3/2019, ông Lương Quang Khải thôi giữ chức Chủ tịch HĐTV, ông Bùi Hồng Minh - Tổng giám đốc Vicem được bổ nhiệm làm Chủ tịch HĐTV. Ngày 1/6/2021, Bí thư Đảng ủy, Chủ tịch Hội đồng thành viên Vicem Bùi Hồng Minh được Đảng, Chính phủ điều động giữ chức Thứ trưởng Bộ Xây dựng, từ đó chức vụ Chủ tịch Hội đồng thành viên Vicem bị bỏ trống hơn một năm. Đến ngày 26/10/2022, ông Bùi Xuân Dũng được bổ nhiệm làm tân Chủ tịch HĐQT Vicem.
Thủ tướng Chính phủ đã nhận được đơn kiến nghị của Bộ Xây dựng về vấn đề hoàn thành tòa tháp nghìn tỷ là Trung tâm điều hành và giao dịch Vicem của Tổng công ty Xi măng Việt Nam (Vicem) để đưa vào khai thác, vận hành sau hơn 8 năm ngừng thi công.

Từ năm 2010, công ty này đã đầu tư vào tòa tháp Trung tâm điều hành và giao dịch Vicem được, quy mô công trình gồm: 31 tầng nổi và 4 tầng hầm, với tổng mức đầu tư xây dựng sau điều chỉnh khoảng 2.743 tỷ đồng. Dự án khởi công từ tháng 5/2011, đến tháng 8/2015 hoàn thành phần thô công trình.
Điều đáng nói, sau 5 năm thi công và hoàn thiện phần thô của tòa tháp, từ tháng 8/2015 cho đến nay, Vicem bỗng nhiên bỏ trống tòa tháp này. Bộ Xây dựng cho biết Vicem đề nghị Bộ trình Thủ tướng cho phép đơn vị xây dựng phương án và tìm đối tác chuyển nhượng dự án từ Trung tâm điều hành và giao dịch Vicem để hoàn vốn đầu tư trên cơ sở dự án trên, căn cứ các quy định hiện hành và kế hoạch phát triển giai đoạn 2016 - 2021.

Bộ Xây dựng đã có văn bản báo cáo và được Thủ tướng Chính phủ đồng ý cho Vicem chuyển nhượng dự án. Bộ cũng đã có nhiều văn bản chỉ đạo, hướng dẫn Vicem thực hiện. Sau khi được Thủ tướng Chính phủ phê duyệt, Vicem sẽ rà soát lại dự án cho phù hợp, đảm bảo tiết kiệm, hiệu quả và đúng quy định pháp luật.
Theo báo cáo kết quả kinh doanh Vicem công bố, tổng doanh thu năm 2022 của công ty tăng 16% so với năm 2021, đạt 39.453 tỷ đồng, và theo kế hoạch đề ra đạt được 95,5%.