Bỏ lỡ bản cập nhật bảo mật gây gián đoạn hệ thống y tế Singapore, khiến 4.000 lịch hẹn phải đổi

Sự cố có thể ngăn chặn ảnh hưởng đến ba cụm y tế

Nhà thầu không hoàn tất bản cập nhật bảo mật bắt buộc đã gây ra sự cố gián đoạn các hệ thống y tế công cộng của Singapore ngày 13/10, buộc khoảng 4.000 lịch hẹn khám ngoại trú phải đổi và khiến một số bệnh nhân phải chờ đến hai giờ. Sự cố kéo dài khoảng chín tiếng rưỡi, ảnh hưởng đến NHG Health, Hệ thống Y tế Đại học Quốc gia và SingHealth.

Quốc vụ khanh cấp cao Bộ Y tế Tan Kiat How cho biết bản cập nhật liên quan đến dịch vụ Hệ thống tên miền (DNS) dùng chung. Cơ quan công nghệ y tế quốc gia Synapxe đã thuê một nhà cung cấp dịch vụ thực hiện công việc này, nhưng việc cập nhật chưa hoàn tất trước thời điểm có thay đổi toàn cầu theo lịch trình. Ông Tan mô tả thiếu sót này là có thể ngăn chặn và xin lỗi về sự cố mà ông nói lẽ ra không nên xảy ra.

Cuộc điều tra cũng lý giải vì sao hạ tầng dự phòng không thể khắc phục sự cố. Các hệ thống y tế công cộng của Singapore có hai trung tâm dữ liệu, nhưng cả hai đều phụ thuộc vào cùng một dịch vụ DNS và cấu hình bảo mật. Chuyển hoạt động từ trung tâm này sang trung tâm kia vẫn không giải quyết được nguyên nhân gốc rễ.

Không có sự cố an toàn bệnh nhân nào được xác định là do gián đoạn này. Các nhà điều tra không phát hiện tấn công mạng, truy cập trái phép, xâm nhập hay mất dữ liệu bệnh nhân. Hậu quả trực tiếp là dịch vụ bị gián đoạn, thời gian chờ lâu hơn và các lịch hẹn phải sắp xếp lại.

Trải nghiệm của bệnh nhân và nhân viên

Đặt lịch khám, đăng ký khách thăm, cấp phát thuốc và thanh toán là những dịch vụ bị ảnh hưởng. Mức độ trục trặc kết nối khác nhau giữa ba cụm y tế, nên sự cố không diễn ra giống hệt nhau tại mọi cơ sở.

Đối với bệnh nhân, ảnh hưởng không chỉ là màn hình máy tính không tải được. Một số người phải chờ lâu hơn để được phục vụ, trong khi những người khác phải chuyển lịch khám ngoại trú sang thời điểm khác. Khoảng 4.000 lịch hẹn đã được sắp xếp lại, dù con số này tính số lịch hẹn chứ không phải tổng số người gặp bất tiện trong thời gian hệ thống gián đoạn.

Các cơ sở y tế kích hoạt quy trình vận hành khi hệ thống ngừng hoạt động, tức những phương án được áp dụng khi các hệ thống máy tính thông thường không khả dụng. Họ bố trí thêm nhân viên và tiếp tục cung cấp dịch vụ chăm sóc thiết yếu bằng quy trình thủ công cùng một số hồ sơ bệnh nhân được lưu ở dạng chỉ đọc riêng biệt.

Hồ sơ chỉ đọc cho phép nhân viên tra cứu thông tin mà không thể chỉnh sửa thông qua hệ thống đó. Nhờ vậy, bác sĩ có thể truy cập một số thông tin bệnh nhân trong khi các dịch vụ thông thường bị gián đoạn. Nhân viên cũng phải xử lý khối lượng công việc phát sinh từ các quy trình vốn thường được thực hiện bằng phương thức điện tử.

Diễn biến sự cố

Theo tường thuật của Synapxe, sự cố bắt đầu vào khoảng 7 giờ 10 phút sáng ngày 13/10. Các dịch vụ bắt đầu được khôi phục dần vào khoảng 3 giờ chiều, và toàn bộ dịch vụ bị ảnh hưởng đã hoạt động trở lại lúc 4 giờ 37 phút chiều. Khoảng thời gian từ lúc được báo cáo bắt đầu đến khi khôi phục hoàn toàn là chín tiếng 27 phút, phù hợp với mô tả làm tròn là sự cố kéo dài chín tiếng rưỡi.

• Ngày 13/10, khoảng 7 giờ 10 phút sáng: Sự cố kỹ thuật ảnh hưởng đến kết nối mạng bắt đầu làm gián đoạn dịch vụ tại ba cụm y tế công cộng.
• Ngày 13/10, khoảng 3 giờ chiều: Các dịch vụ bị ảnh hưởng bắt đầu được khôi phục dần.
• Ngày 13/10, 4 giờ 37 phút chiều: Theo Synapxe, toàn bộ dịch vụ bị ảnh hưởng đã được khôi phục.
• Ngày 13/10, khoảng 5 giờ 40 phút chiều: Synapxe ra thông báo tiếp theo xác nhận dịch vụ đã hoạt động trở lại.
• Ngày 3/11: Các nghị sĩ dự kiến chất vấn chính phủ về sự cố, ảnh hưởng đối với bệnh nhân và độ tin cậy của phương án dự phòng.

Ban đầu, Synapxe mô tả đây là sự cố kỹ thuật ảnh hưởng đến kết nối mạng và cho biết chưa có dấu hiệu xảy ra sự cố an ninh mạng trong khi cuộc điều tra vẫn tiếp diễn. Kết quả điều tra sau đó xác định nguyên nhân là bản cập nhật bảo mật bị bỏ sót, đồng thời xác nhận dữ liệu bệnh nhân không bị xâm phạm hay thất thoát.

Vì sao một dịch vụ DNS lại có ảnh hưởng lớn

Dịch vụ DNS giúp các hệ thống máy tính tìm và kết nối với ứng dụng. Nó hoạt động như một danh bạ: hệ thống hỏi một dịch vụ nằm ở đâu, và DNS cung cấp thông tin cần thiết để kết nối. Khi danh bạ dùng chung này hoạt động không đúng cách, nhiều ứng dụng vốn độc lập với nhau có thể trở nên khó hoặc không thể truy cập.

Bản cập nhật bảo mật bắt buộc áp dụng cho DNS dùng chung. Do nhà thầu không hoàn tất cập nhật trước thời điểm thay đổi toàn cầu theo lịch trình, một thành phần phụ thuộc kỹ thuật được sử dụng trên toàn hệ thống y tế công cộng đã trở thành điểm gây sự cố.

Ông Tan cho biết thay đổi này đã được thông báo trước. Vì vậy, sai sót vận hành cốt lõi là không hoàn tất công tác chuẩn bị bắt buộc cho một thay đổi đã được dự kiến. Theo dõi chỉ thị mới là một phần của quy trình; việc xác nhận công việc thực sự đã hoàn tất cũng rất cần thiết.

Các biện pháp khắc phục của chính phủ bao gồm tăng cường theo dõi và xác minh những thay đổi kỹ thuật quan trọng. Trên thực tế, tổ chức chịu trách nhiệm về hệ thống cần có cách đáng tin cậy để xác nhận bản cập nhật bắt buộc đã được áp dụng trước khi thay đổi mà bản cập nhật nhằm chuẩn bị diễn ra.

Vì sao hai trung tâm dữ liệu vẫn chưa đủ

Các hệ thống y tế công cộng có hạ tầng dự phòng, trong đó có hai trung tâm dữ liệu. Những phương án này cho phép chuyển dịch vụ sang nơi khác khi một cơ sở cụ thể hoặc một phần hạ tầng của cơ sở đó không khả dụng. Tuy nhiên, trong sự cố này, cả hai trung tâm đều dựa vào cùng một dịch vụ DNS và cấu hình bảo mật.

Vì vậy, chuyển sang cơ sở khác vẫn khiến hệ thống gặp lại vấn đề chưa được giải quyết. Địa điểm thứ hai cung cấp một nơi khác để vận hành dịch vụ, nhưng thành phần phụ thuộc dùng chung khiến nơi này không thể trở thành phương án khôi phục hiệu quả cho sự cố cụ thể này.

Chính phủ đang xử lý các thành phần phụ thuộc dùng chung và cải thiện phương án khôi phục trong khuôn khổ các biện pháp ứng phó. Vấn đề thực tế là liệu hệ thống dự phòng có thể hoạt động khi một dịch vụ được cả hệ thống chính lẫn hệ thống dự phòng sử dụng gặp sự cố hay không.

Nghị sĩ được chỉ định Haresh Singaraju đề nghị làm rõ liệu các hệ thống có bản sao dự phòng độc lập hay không, dịch vụ được kỳ vọng khôi phục trong bao lâu và mục tiêu đó có đạt được hay không. Nghị sĩ Joan Pereira cũng hỏi vì sao hạ tầng dự phòng không ngăn được sự cố và đề nghị cung cấp số liệu về những bệnh nhân bị ảnh hưởng.

Synapxe vẫn chịu trách nhiệm

Synapxe đang rà soát các nghĩa vụ theo hợp đồng của nhà cung cấp dịch vụ và sẽ có biện pháp phù hợp nếu xác định có vi phạm. Ông Tan cho biết cơ quan này vẫn chịu trách nhiệm về khả năng chống chịu của các hệ thống trọng yếu, bất kể việc thuê ngoài được tổ chức ra sao.

Trách nhiệm thực hiện cập nhật của nhà thầu và trách nhiệm duy trì độ tin cậy của các hệ thống y tế của Synapxe đều là những phần trong quá trình ứng phó. Việc thuê một tổ chức khác thực hiện công việc kỹ thuật không làm thay đổi trách nhiệm giám sát các hệ thống mà bệnh viện, phòng khám và bệnh nhân phụ thuộc vào.

Danh tính nhà cung cấp, mức phạt hợp đồng (nếu có) và thời hạn hoàn thành các biện pháp khắc phục chưa được nêu. Nghị sĩ Cassandra Lee đề nghị cập nhật kết quả điều tra và các biện pháp giảm nguy cơ xảy ra gián đoạn tương tự.

Synapxe đã thành lập một hội đồng chuyên gia gồm các thành viên đến từ những tổ chức có đặc điểm kỹ thuật tương tự. Hội đồng có nhiệm vụ rà soát kết quả điều tra và các biện pháp khắc phục được đề xuất, đồng thời xác định những cải tiến bổ sung. Bộ Y tế sẽ giám sát các biện pháp khắc phục và xác minh hiệu quả của chúng.

Chẩn đoán nhanh hơn là một phần của kế hoạch khôi phục

Hệ thống giám sát phát hiện hoạt động bất thường trong sự cố, nhưng việc tìm ra nguyên nhân gốc rễ và khôi phục dịch vụ an toàn cần thời gian. Phát hiện có vấn đề và xác định chính xác cần sửa chữa điều gì là hai giai đoạn khác nhau trong quá trình ứng phó.

Synapxe đang tăng cường giám sát và chẩn đoán lỗi để đẩy nhanh quá trình khôi phục. Với một hệ thống phục vụ nhiều cụm y tế, thách thức còn nằm ở việc truy dấu vấn đề qua các dịch vụ dùng chung thay vì chỉ kiểm tra riêng từng ứng dụng bị ảnh hưởng.

Trong thông báo sau khi các dịch vụ được khôi phục, Synapxe đề cập đến trải nghiệm của bệnh nhân và khách thăm cũng như công việc phối hợp với các cơ sở y tế:

Trong thời gian gián đoạn, bệnh nhân và khách thăm tại một số cơ sở y tế công cộng phải chờ lâu hơn để sử dụng một số dịch vụ.

"Các nhóm của chúng tôi đã phối hợp chặt chẽ với các cụm y tế công cộng để khôi phục các dịch vụ bị ảnh hưởng trong thời gian sớm nhất có thể.

Thời điểm khôi phục cho thấy quá trình phục hồi diễn ra theo từng giai đoạn. Một số dịch vụ bắt đầu hoạt động trở lại vào khoảng 3 giờ chiều, hơn một tiếng rưỡi trước khi toàn bộ dịch vụ bị ảnh hưởng được khôi phục. Vì vậy, nhân viên phải xử lý giai đoạn hoạt động bình thường trở lại không đồng đều.

Duy trì hoạt động chăm sóc khi hệ thống gặp sự cố

Các cơ sở y tế duy trì dịch vụ chăm sóc thiết yếu bằng cách bố trí thêm nhân viên, sử dụng một số hồ sơ chỉ đọc và thực hiện quy trình thủ công. Ông Tan cho biết không có sự cố an toàn bệnh nhân nào được xác định là do sự cố, dù bệnh nhân phải chờ lâu và hàng nghìn lịch hẹn phải đổi.

Chính phủ dự định củng cố hệ thống vận hành khi ngừng hoạt động, mức độ sẵn sàng của nhân viên và các cuộc diễn tập thường xuyên, trong đó có thực hành ứng phó với sự cố gián đoạn một phần. Sự cố một phần có thể khiến một số ứng dụng vẫn hoạt động trong khi những ứng dụng khác không truy cập được, buộc nhân viên phải xác định quy trình nào có thể tiếp tục như thường lệ và quy trình nào cần phương án thay thế.

Các biện pháp ứng phó hiện hướng đến ba mục tiêu gắn kết với nhau: ngăn sự cố tái diễn bằng cách kiểm soát tốt hơn các thay đổi kỹ thuật, hạn chế phạm vi ảnh hưởng bằng cách xử lý các thành phần phụ thuộc dùng chung và duy trì hoạt động chăm sóc thông qua công tác chuẩn bị vận hành vững chắc hơn.

Đối với bệnh nhân, thành công sẽ đồng nghĩa với việc giảm số lịch hẹn bị hủy hoặc trì hoãn khi xảy ra sự cố kỹ thuật. Đối với nhân viên y tế, đó là khả năng truy cập ổn định vào thông tin thiết yếu và có quy trình khả thi để làm việc trong thời gian gián đoạn. Ông Tan cho biết công nghệ y tế cần trở nên đáng tin cậy hơn, đồng thời bảo đảm nhân viên có thể tiếp tục chăm sóc bệnh nhân an toàn khi hệ thống gặp sự cố.

Điểm chính

• Bản cập nhật bảo mật bị bỏ sót đã gây ra sự cố ngày 13/10, ảnh hưởng đến ba cụm y tế công cộng của Singapore.
• Khoảng 4.000 lịch hẹn khám ngoại trú phải đổi, và một số bệnh nhân phải chờ đến hai giờ.
• Dịch vụ bị gián đoạn từ khoảng 7 giờ 10 phút sáng và được khôi phục hoàn toàn lúc 4 giờ 37 phút chiều.
• Cả hai trung tâm dữ liệu đều phụ thuộc vào cùng một dịch vụ DNS và cấu hình bảo mật, khiến việc chuyển sang hạ tầng dự phòng không thể khắc phục hiệu quả sự cố.
• Không có sự cố an toàn bệnh nhân nào được xác định là do sự cố; các nhà điều tra cũng không phát hiện tấn công mạng hay mất dữ liệu bệnh nhân.
• Synapxe đang rà soát nghĩa vụ của nhà thầu, còn Bộ Y tế sẽ giám sát các biện pháp khắc phục và xác minh hiệu quả.