CSV cho hệ thống SCADA: audit trail và alarm

CSV for Pharmaceutical SCADA validates the evidence-generation mechanism behind HMI, alarms, setpoints and historian records.

• SCADA CSV should test user roles, alarm lifecycle, setpoint changes, audit trail, backup/restore and data transfer to historians or MES.
• Validation boundaries must follow critical control and monitoring data, not just the vendor application name.
• The article provides a practical audit defense for Level 2 systems that influence batch quality or deviation decisions.

CSV cho hệ thống SCADA không phải kiểm vài màn hình HMI rồi kết luận hệ thống đạt. Trong GMP, SCADA là nguồn raw data cho nhiệt độ, áp suất, độ ẩm, lưu lượng, alarm và trạng thái thiết bị. Nếu dữ liệu này thiếu context, sai timestamp hoặc mất đoạn, QA sẽ rất khó bảo vệ deviation và batch release.

SCADA validation phải test historian, alarm management theo ISA-18.2, audit trail, NTP time sync, access control, store-and-forward và data continuity khi mất kết nối — không chỉ kiểm HMI display. Annex 11 hiện hành yêu cầu data được transfer “directly, accurately and completely,” và historian compression hoặc deadband cần có rationale nếu tag là GxP-critical.

Bài này phân tích scope validation thực dụng cho từng lớp SCADA, phân biệt Annex 11 hiện hành với Draft 2025 consultation, và cách duy trì validated state khi OT network và patch thay đổi qua vòng đời hệ thống.

Quy định và tiêu chuẩn tham chiếu nào chi phối hệ thống dữ liệu OT?

Phần này tóm tắt chuẩn tham chiếu để QA biết khung kiểm tra chi phối nội dung phía dưới.

Regulatory baseline: Các nhận định GMP trong bài được đối chiếu trực tiếp theo 21 CFR 211.192.

SCADA là computerized system khi dữ liệu dùng cho GMP

EU GMP Annex 11 revision January 2011 là baseline hiện hành cho computerized systems trong EU GMP. Nếu SCADA tạo hoặc lưu dữ liệu dùng để chứng minh điều kiện sản xuất, bảo quản, cleaning, utility hoặc batch investigation, SCADA phải được quản lý như hệ thống GxP TYPE 1. )

Annex 11 Draft 2025 là consultation expectation, không phải luật hiện hành. Draft hữu ích vì nhấn mạnh cybersecurity, supplier responsibility và data integrity. Nhưng với CSV cho hệ thống SCADA, baseline pháp lý hiện tại vẫn phải map về Annex 11 2011, Part 11 nếu áp dụng, và SOP nội bộ.

Part 11 và Data Integrity đi vào historian, audit trail và e-signature

21 CFR Part 11 áp dụng khi electronic records hoặc electronic signatures được dùng thay giấy trong phạm vi FDA record requirements TYPE 1. §11.1(d) cho phép electronic records dùng thay paper records nếu đáp ứng Part 11. §11.10(e) yêu cầu audit trail secure, computer-generated và time-stamped. §11.70 là signature/record linking; §11.100 và §11.200 là yêu cầu electronic signature. )

FDA Data Integrity Guidance 2018 nhấn mạnh dữ liệu CGMP phải attributable, legible, contemporaneous, original và accurate TYPE 1. Với SCADA, điều này dịch thành timestamp đúng, raw data nguyên bản, audit trail có thể review, và historian không tạo data gap không giải thích được. )

CSV cho hệ thống SCADA là gì, và không phải là gì?

Phần này nối yêu cầu validation với evidence cần giữ trong hồ sơ thẩm định.

Định nghĩa theo bằng chứng vận hành

Chương trình thẩm định này chứng minh SCADA fit for intended use trong môi trường GMP. Intended use không phải “giám sát thiết bị”. Intended use phải nói rõ dữ liệu nào là GxP, alarm nào critical, historian nào là record chính, ai được đổi setpoint, và khi mất kết nối thì dữ liệu được bảo vệ thế nào.

Nếu SCADA chỉ dùng để quan sát không GxP, scope có thể nhẹ. Nếu SCADA ghi nhiệt độ kho lạnh, áp suất phòng sạch, thông số water system hoặc CPP trong batch, scope CSV phải sâu hơn nhiều.

SCADA khác MES ở tốc độ, timestamp và data continuity

MES kiểm soát workflow sản xuất. SCADA kiểm soát hoặc giám sát dữ liệu thời gian thực. Rủi ro SCADA thường nằm ở timestamp lệch, historian mất điểm dữ liệu, alarm bị suppress, user đổi setpoint không có lý do, hoặc interface gửi dữ liệu sai sang MES.

Một batch record có thể nhìn đầy đủ trong MES nhưng vẫn yếu nếu raw data từ SCADA có gap. Vì vậy quy trình thẩm định phải xem hệ thống này như nguồn bằng chứng, không chỉ là lớp đồ họa.

CSV cho Hệ thống MES trong GMP: Validate đúng chỗ để eBR thành Bằng chứng, không phải Gánh nặng

Làm thế nào để xác định phạm vi kiểm tra dựa trên rủi ro dữ liệu?

Phần này nối yêu cầu validation với evidence cần giữ trong hồ sơ thẩm định.

Ma trận rủi ro, test và bằng chứng

Ví dụ test store-and-forward có ý nghĩa

Test nên mô phỏng mất kết nối historian trong thời gian đã định nghĩa. Ví dụ: disconnect network 2 phút khi hệ thống đang ghi nhiệt độ critical. Sau khi reconnect, historian phải có đủ data points với timestamp đúng. Nếu dữ liệu được backfill, audit trail hoặc system log phải giải thích được quá trình phục hồi.

Không nên đặt tiêu chí “không mất dữ liệu” nếu hệ thống thực tế chỉ ghi mỗi 10 giây. Hãy định nghĩa sampling rate, gap threshold, buffer limit và reconciliation method ngay trong URS.

Bốn lỗ hổng nào thường dẫn đến Data Gap trong hệ thống thu thập dữ liệu?

Timestamp không đồng bộ

SCADA gồm PLC, HMI, historian, engineering workstation, domain controller và thiết bị đo. Nếu đồng hồ lệch nhau, audit trail sẽ sai trình tự. Khi investigation xảy ra, QA không thể biết alarm đến trước hay setpoint change đến trước.

IQ nên verify time source, NTP configuration, timezone, daylight saving policy nếu có, và clock drift. OQ nên test event sequence: thay đổi setpoint, alarm kích hoạt, acknowledge, return-to-normal và audit trail.

Alarm management không được validate

Alarm critical phải có priority, limit, delay, acknowledge rule, escalation và response time. Nếu alarm flood xảy ra, operator có thể bỏ sót alarm quan trọng. Kế hoạch test nên bao gồm các kịch bản cho alarm priority và alarm suppression.

Không phải mọi alarm đều GxP-critical. Nhưng alarm ảnh hưởng điều kiện bảo quản, CPP, contamination control, water system hoặc environmental monitoring cần rationale rõ.

Historian compression không được che biến động GxP

Historian compression hoặc deadband có thể làm trend gọn hơn, nhưng không được xóa biến động có ý nghĩa GMP. Nếu nhiệt độ, áp suất, độ ẩm hoặc CPP nằm gần giới hạn, test phải chứng minh thuật toán nén vẫn giữ excursion, spike và return-to-normal cần điều tra.

Kế hoạch kiểm tra nên định nghĩa tag nào được compression, tag nào phải lưu raw/high-resolution, và ai approve thay đổi deadband. Thay đổi compression cho tag GxP-critical cần đi qua change control.

Audit trail chỉ bật nhưng không review được

Audit trail phải ghi ai, làm gì, lúc nào, giá trị trước/sau và lý do thay đổi nếu relevant. Nhưng bật audit trail chưa đủ. QA cần filter, report, SOP review và criteria mở deviation. Nếu audit trail chỉ có trong database kỹ thuật mà QA không review được, control này yếu.

Part 11 §11.10(e) nói về audit trail time-stamped và không che khuất dữ liệu cũ. Vì vậy OQ nên test edit setpoint, disable alarm, thay đổi user role và export audit trail.

Automated task tạo data gap

SCADA/historian có thể bị ảnh hưởng bởi backup job, antivirus scan, OS patch, database maintenance hoặc server restart. Những task này thường được IT xem là bình thường. Trong GMP, chúng có thể tạo data gap.

CSV cần xác định maintenance window, production impact, backup/restore evidence, job schedule và alert khi historian ngừng ghi. Nếu data gap xảy ra, phải có procedure điều tra và impact assessment.

Trình tự IQ, OQ, PQ cho CSV cho hệ thống SCADA được thực hiện thế nào?

Phần này nối yêu cầu validation với evidence cần giữ trong hồ sơ thẩm định.

IQ: khóa baseline hạ tầng OT

IQ cần ghi nhận server, workstation, PLC/RTU, historian, OS version, application version, network segment, firewall rule, user directory, service account, backup location, time source và installed patches. Với SCADA, IQ còn phải ghi rõ tag list baseline và alarm list baseline.

Đừng chỉ verify cài đặt phần mềm. Hãy verify luôn thiết kế OT network: cổng nào mở, ai được remote access, engineering workstation đặt ở đâu, và log bảo mật lưu ở đâu.

OQ: thử alarm, audit trail, historian và security

OQ nên test normal case, boundary case và negative case. Ví dụ: vượt high limit, vượt low limit, alarm delay, alarm acknowledge, alarm suppression, setpoint change without reason, user không đủ quyền, historian disconnect và data export.

Trong giai đoạn OQ, không nên bỏ qua tính năng raw data export. QA hoặc system owner phải chứng minh có thể truy xuất dữ liệu theo batch, theo thời gian hoặc theo equipment khi investigation cần.

PQ: chứng minh vận hành trong ca thật

PQ nên chạy các scenario vận hành đại diện: ca sản xuất bình thường, alarm critical có kiểm soát, historian export cho một khoảng thời gian, và audit trail review theo SOP. Nếu SCADA cấp dữ liệu cho MES hoặc EMS, PQ nên include điểm reconciliation.

Acceptance criteria nên rõ: alarm được ghi đúng, acknowledge đúng user, timestamp đúng sequence, historian không gap vượt threshold, audit trail review hoàn tất, và exception được xử lý theo SOP.

IQ OQ PQ Trong Dược Phẩm: Hướng Dẫn Thẩm Định Thiết Bị & Hệ Thống GxP Từ A-Z

An ninh mạng và phân quyền tài khoản (Access Control) được kiểm soát ra sao?

Phần này nối yêu cầu validation với evidence cần giữ trong hồ sơ thẩm định.

Cybersecurity là một phần validated state

SCADA nằm trong OT nên thường có tuổi đời dài, patch khó và remote access nhạy cảm. Cybersecurity không còn là việc riêng của IT. Nếu user không được kiểm soát, engineering workstation mở remote tùy tiện, hoặc firewall rule không có change control, validated state bị ảnh hưởng.

GAMP 5 Second Edition đưa cybersecurity và supplier/service provider vào tư duy lifecycle. Với SCADA, điều này nên đi vào URS, risk assessment, IQ và periodic review. )

Access review phải theo vai trò vận hành

Role SCADA nên tách operator, supervisor, engineer, QA reviewer và administrator. Operator có thể acknowledge alarm nhưng không sửa alarm limit. Engineer có thể chỉnh configuration trong change window, nhưng không tự approve GMP impact. QA reviewer cần quyền xem audit trail và export record.

Shared account là rủi ro lớn. Nếu hệ thống cũ buộc dùng account chung tại HMI, cần compensating controls: physical access, logbook, camera nếu phù hợp, supervisor review và upgrade roadmap.

Audit Trail trong GMP: Cấu hình đúng 21 CFR Part 11 và EU GMP Annex 11 để không bao giờ nhận FDA Warning Letter

Duy trì validated state sau go-live SCADA

Change control cho OT phải thực tế

SCADA change thường đến từ engineering: thêm tag, sửa alarm limit, đổi PLC logic, patch historian, thay network switch hoặc đổi firewall rule. Mỗi change cần impact assessment GxP. Không phải change nào cũng cần full revalidation, nhưng change critical phải có test evidence.

Một rule đơn giản: nếu change ảnh hưởng raw data, alarm, access, timestamp, historian, interface hoặc report dùng cho GMP decision, hãy yêu cầu QA review trước khi triển khai.

Periodic review phải nhìn vào evidence

Periodic review nên xem alarm disable list, alarm flood event, historian gap, user access, failed login, backup/restore, patch status, open deviation, interface error và audit trail exception. Review chỉ đọc SOP rồi ký là không đủ.

Với SCADA cũ, periodic review cũng nên ghi technical debt: OS hết support, vendor không còn patch, historian khó export, hoặc account model không đáp ứng data integrity. Technical debt cần CAPA hoặc roadmap.

CSV dược phẩm: validation lifecycle theo GAMP 5, IQ OQ PQ và risk assessment

Decision Moment

Trước khi ký duyệt hồ sơ thẩm định hệ thống, hãy mở một trend hoặc historian export của dữ liệu critical và hỏi ba câu:

1. Nếu auditor yêu cầu raw data 8 giờ, hệ thống có xuất được đầy đủ, đúng timestamp và có context không?

2. Nếu alarm bị suppress hoặc setpoint bị đổi, QA có thấy ai làm, lúc nào, vì sao và impact là gì không?

3. Nếu historian mất kết nối, hệ thống có bảo vệ dữ liệu hoặc tạo exception đủ để điều tra không?

Nếu một trong ba câu còn mờ, hãy sửa URS, OQ và periodic review trước khi mở rộng SCADA. Khi cần rà soát data continuity, alarm management hoặc audit trail cho OT/GMP, anh/chị có thể đặt lịch trao đổi tại nampham.net.

Ranh giới thẩm định SCADA và PLC nằm ở đâu?

PLC firmware thuộc GAMP 5 2nd Edition (2022) Category 3 — qua commissioning, không cần CSV. SCADA configurable software thuộc Category 4 — cần CSV vì alarm limit, historian tag, user role ảnh hưởng GMP. Ranh giới: PLC logic cố định trong firmware; SCADA cho phép người dùng cấu hình hành vi thu thập và giám sát dữ liệu OT.

ISPE GAMP 5 Guide 2nd Edition (2022) phân loại hệ thống máy tính trong sản xuất dược phẩm thành 5 Category dựa trên độ phức tạp và rủi ro. PLC chạy firmware nhúng (embedded firmware) xếp Category 3 — phần mềm không configurable, chỉ cần commissioning verification: kiểm tra I/O mapping, logic ladder, CPU firmware version, memory backup. Không yêu cầu validation script kiểu CSV, nhưng vẫn cần ghi nhận baseline trong IQ. Trong khi đó, SCADA là configurable software chạy trên nền tảng phần cứng riêng, xếp Category 4 — người dùng tự cấu hình alarm limit, historian tag, HMI graphic, user role, setpoint range, data retention policy. Mỗi thay đổi cấu hình ảnh hưởng đến dữ liệu GMP nên cần CSV: URS, risk assessment, IQ OQ PQ, test script, trace matrix.

Ranh giới thực tế không phải lúc nào cũng rạch ròi. Một số PLC hiện đại có configurable function block (ví dụ PID auto-tune, recipe handler) — phần block này có thể chạm Category 4 nếu ảnh hưởng đến CPP/CQA. Ngược lại, SCADA historian đôi khi chạy trên cùng server nhưng module lưu trữ không có config nào — module đó có thể vận hành qua commissioning. Quy tắc thực dụng: nếu cấu hình thay đổi hành vi ghi dữ liệu GMP hoặc quyền truy cập, xếp Category 4 và validate; nếu là firmware cố định không người dùng can thiệp, dùng commissioning. GAMP 5 cung cấp decision tree cho từng loại.

Test case CSV cho SCADA gồm những gì?

SCADA CSV gồm ba nhóm test case OQ: alarm management (priority, limit, acknowledge, suppression), trend integrity (độ đúng trị số và timestamp tại điểm thu thập), quyền HMI (operator không đổi alarm limit, engineer không approve tự do). Mỗi nhóm gắn acceptance criteria với URS và risk assessment.

Bảng trên là OQ template tối thiểu. Với mỗi dự án, độ sâu test tùy thuộc GxP impact trong risk assessment. Tham khảo thêm CSV cho hệ thống MES để so sánh khác biệt test case giữa MES (production workflow) và SCADA (OT data acquisition).

Time sync PLC–SCADA–historian ảnh hưởng audit trail thế nào?

Audit trail dựa trên timestamp để tái tạo trình tự sự kiện. Nếu đồng hồ PLC và historian lệch nhau 5 giây, audit trail mất giá trị pháp lý. PIC/S PI 041-1 (2021) yêu cầu timestamp attributable, accurate và synchronised. Sai lệch 5 giây đảo lộn thứ tự alarm và setpoint change — investigation không xác định root cause.

Kiến trúc thời gian điển hình: PLC lấy NTP từ domain controller hoặc SCADA server; historian lấy NTP từ nguồn riêng hoặc chung. Nếu hai dây chuyền NTP khác biệt (ví dụ PLC dùng NTP từ server A, historian dùng server B với stratum khác nhau), clock drift tích lũy. Vi sai 5–10 giây là phổ biến trong OT network không được kiểm tra định kỳ. IQ cần verify: NTP server source, stratum level, fallback source khi mất NTP, timezone, daylight saving policy (thường tắt trong GMP), và offset cho phép. OQ cần test scenario: tạo alarm trên PLC, verify trên historian alarm log timestamp có nhất quán với thời gian thực.

Về data integrity, PIC/S PI 041-1 (Good Practices for Data Management and Integrity, 2021) yêu cầu timestamp đồng bộ để đảm bảo dữ liệu GMP là reliable và traceable. Nếu audit trail ghi setpoint change lúc 09:00:03 trong khi alarm log ghi trigger lúc 08:59:57, sequence này có thể bị đảo ngược do clock drift. Trong investigation, auditor sẽ không biết alarm xảy ra trước hay sau khi setpoint bị đổi. Biện pháp phòng ngừa: NTP configuration log trong IQ, clock drift measurement hàng tháng, periodic review so sánh timestamp giữa các hệ thống. Với SCADA dược phẩm, time sync không chỉ là kỹ thuật — nó quyết định audit trail có defense được trước thanh tra hay không.

FAQ

Phần này gom các câu hỏi giúp QA tự kiểm tra nhanh trước khi audit.

Ghi Chú Minh Bạch

Phần này làm rõ nguồn tham chiếu và ranh giới áp dụng của bài viết.