SCADA dược phẩm: Level 2 và audit trail GMP

Pharmaceutical SCADA for Level 2 Monitoring, Audit Trail and GMP Interfaces defines what SCADA should and should not do in a validated plant.

• SCADA controls and monitors equipment, while MES, EMS and historians must retain the right operational and quality context.
• Audit trail, alarm management, user access and backup/restore are central to defending validated state.
• The article gives practical boundaries for QA, Automation and IT when SCADA data supports batch or deviation decisions.

SCADA dược phẩm là lớp giám sát và điều khiển Level 2 giữa PLC/DCS và các hệ thống Level 3 như MES, EMS hoặc Historian. Nếu SCADA không có boundary rõ, audit trail yếu hoặc alarm bị chỉnh ngoài change control, dữ liệu GMP sẽ đứt ngay tại tầng vận hành.

Trong kiến trúc ISA-95, SCADA không chỉ thu thập dữ liệu — nó phải đảm bảo Historian ghi đủ context, alarm được route đúng cho người có trách nhiệm, và mọi thao tác có dấu vết trong audit trail. Khi inspector yêu cầu raw data nhiệt độ hay áp suất của một batch, SCADA phải cung cấp được dữ liệu đầy đủ, timestamp chính xác và không có gap.

Boundary giữa SCADA và MES hoặc EMS cũng phải được validate để interface không làm mất context GMP khi dữ liệu chuyển tầng. Security theo IEC 62443 khóa attack surface của tầng này để thay đổi cấu hình không xảy ra ngoài change control.

Khung regulatory baseline cho hệ thống giám sát SCADA

Phần này tóm tắt chuẩn tham chiếu để QA biết khung kiểm tra chi phối nội dung phía dưới.

Regulatory baseline: Các nhận định GMP trong bài được đối chiếu trực tiếp theo 21 CFR 211.192.

SCADA là computerized system khi dùng cho GxP

EU GMP Annex 11 hiện hành là revision January 2011. Nếu SCADA dược phẩm được dùng trong hoạt động GMP, hệ thống cần validation, access control, audit trail và lifecycle control theo intended use. )

Annex 11 Draft 2025 là consultation đã đóng. Không nên viết Draft 2025 như yêu cầu enforce hiện hành. )

Nếu SCADA lưu electronic records thay giấy hoặc tạo evidence GxP, Part 11 cần được đánh giá. §11.10(e) là audit trail secure, computer-generated, time-stamped. )

Standards hỗ trợ thiết kế SCADA

ISA-95 giúp đặt SCADA ở Level 2 và định nghĩa interface lên Level 3. ISA/IEC 62443 giúp bảo vệ SCADA trong Plant Network. ANSI/ISA-18.2-2016 là standard alarm management cho process industries. Các standard này không phải GMP law. ; IEC 62443 – https://www.isa.org/standards-and-publications/isa-standards/isa-iec-62443-series-of-standards; ANSI/ISA-18.2-2016 – https://www.isa.org/products/ansi-isa-18-2-2016-management-of-alarm-systems-for

SCADA dược phẩm đóng vai trò gì trong kim tự tháp ISA-95?

Phần này tóm tắt chuẩn tham chiếu để QA biết khung kiểm tra chi phối nội dung phía dưới.

SCADA dược phẩm thu thập dữ liệu từ PLC, hiển thị HMI, quản lý alarm, ghi trend và cho phép operator giám sát hoặc can thiệp trong phạm vi được phép.

SCADA không phải MES

SCADA biết thiết bị đang chạy thế nào. MES biết batch đang được sản xuất theo recipe nào. Nếu dùng SCADA làm batch record, nhà máy sẽ thiếu material context, operator workflow và batch review logic.

SCADA nên gửi actual value và alarm event lên MES. MES mới là nơi gắn dữ liệu vào batch context.

SCADA không phải EMS độc lập

SCADA có thể đo nhiệt độ hoặc áp suất trong control loop. Nhưng EMS là hệ thống ghi nhận độc lập cho dữ liệu môi trường GMP. Không nên dùng dữ liệu SCADA control loop thay cho EMS nếu cần bằng chứng môi trường độc lập — ranh giới và điểm tích hợp giữa hai hệ thống được phân tích cụ thể trong EMS vs BMS trong GMP.

Làm thế nào để bảo vệ dữ liệu SCADA khi bị thanh tra?

Phần này làm rõ control dữ liệu và dấu vết cần chứng minh khi bị audit.

Audit trail SCADA phải bắt thay đổi critical

Audit trail cần ghi thay đổi setpoint, alarm limit, recipe parameter, user role, bypass, manual override và configuration. Nếu SCADA chỉ ghi login/logout, evidence chưa đủ.

Theo kinh nghiệm triển khai của tôi, các thiết bị phân tán và standalone (như máy đo pH, cân phân tích hoặc các trạm đo lường cục bộ chưa tích hợp sâu vào SCADA trung tâm) thường là điểm mù về Data Integrity. Nếu không được time-sync liên tục với máy chủ NTP hoặc không có cơ chế khóa thay đổi giờ hệ thống cục bộ, dữ liệu sinh ra sẽ dễ bị nghi ngờ. Do đó, quy trình cần map một checklist kiểm tra đồng bộ thời gian thủ công hoặc tự động vào SOP vận hành hàng ngày.

Audit Trail trong GMP: Cấu hình đúng 21 CFR Part 11 và EU GMP Annex 11 để không bao giờ nhận FDA Warning Letter

Alarm management phải có rationale

Alarm quá nhiều làm operator mệt và bỏ qua alarm thật. Alarm quá ít làm mất cảnh báo critical. ISA-18.2 cung cấp lifecycle alarm management cho definition, design, operation và maintenance; dùng như standard chuyên môn, không phải luật GMP.

Trong SCADA dược phẩm, alarm GMP-critical cần owner, limit, priority, required response và escalation.

Thiết kế interface tích hợp dữ liệu an toàn với hệ thống cấp trên

Phần này làm rõ control dữ liệu và dấu vết cần chứng minh khi bị audit.

SCADA thường là nơi dữ liệu process đi lên MES hoặc Historian. Interface sai làm eBR sai.

OPC UA và quality flag

OPC UA có lợi vì có thể truyền metadata, timestamp và quality. Tuy nhiên, project vẫn phải validate mapping, certificate và error handling.

Nếu SCADA gửi value mà không gửi quality flag, MES có thể nhận dữ liệu trong lúc sensor fault. Đây là rủi ro data integrity.

Store-and-Forward

Khi SCADA mất kết nối với server hoặc MES, dữ liệu critical không nên biến mất. Store-and-Forward cần giữ timestamp gốc và chống duplicate khi replay.

Tích hợp MES–SCADA–EMS–ERP: Kiến trúc Pharma 4.0 Diamond Grade cho nhà máy dược

Tại sao bảo mật OT lại quan trọng với tính toàn vẹn dữ liệu?

SCADA nằm gần thiết bị sản xuất nên availability rất quan trọng. Nhưng availability không được dùng để bỏ qua security.

Plant Network phải tách khỏi Corporate Network

Theo logic IEC 62443, Plant Network chứa PLC, HMI và SCADA. Corporate Network chứa email, ERP và laptop văn phòng. Industrial DMZ là vùng trao đổi dữ liệu có kiểm soát.

Không nên mở remote desktop trực tiếp từ mạng văn phòng vào SCADA server. Vendor remote access cần MFA, time window, approval và session log.

Patch cần risk-based

SCADA không thể patch tùy tiện trong giờ sản xuất. Nhưng không patch mãi cũng là rủi ro. Patch management cần risk assessment, backup, rollback plan và test môi trường phù hợp.

CSV cho SCADA dược phẩm: Trọng tâm kiểm thử nằm ở đâu?

SCADA dược phẩm thường là configured product. GAMP 5 giúp xác định test theo intended use và risk. )

Test case nên ưu tiên

Test gồm user role, audit trail, alarm limit, historian trend, NTP sync, interface mapping, data loss recovery, store-and-forward và report export.

Với SCADA có impact trực tiếp đến batch, test phải bao gồm failure mode: PLC disconnect, sensor fault, wrong unit, alarm flood và lost interface.

Theo kinh nghiệm audit của tôi, việc lấy các template OQ/PQ mẫu ốp nguyên vào cấu hình SCADA mà không tùy biến theo bối cảnh nhà máy là nguyên nhân gốc rễ của nhiều sai sót. Để CSV có giá trị bảo vệ chất lượng thực sự, mọi test case và kịch bản rủi ro cần được map chặt chẽ về SOP thực tế, đảm bảo người vận hành hiểu rõ các giới hạn báo động và hành động phản hồi tương ứng.

CSV cho Hệ thống SCADA trong GMP: Validate Cơ chế Tạo Bằng chứng, không phải Màn hình HMI

Decision Moment

Trước khi đưa SCADA vào batch evidence, hãy khóa ba câu hỏi.

1. SCADA record nào là GxP-critical?
2. Audit trail có bắt được thay đổi setpoint, alarm và role không?
3. Interface lên MES/eBR có giữ timestamp gốc và quality flag không?

Nếu chưa rõ, SCADA đang vận hành tốt nhưng chưa chắc tạo bằng chứng GMP tốt. Xem thêm tại nampham.net.

Case study thực tế: Triển khai và thẩm định SCADA Level 2 tại nhà máy dược Việt Nam

Phần này phân tích một case study thực tế về quy trình thiết kế, tích hợp và đánh giá thẩm định hệ thống SCADA Level 2 cho dây chuyền sản xuất thuốc tiêm vô trùng quy mô trung bình tại Việt Nam.

Hệ thống SCADA trong dự án này được thiết kế để giám sát các thông số GxP-critical bao gồm nhiệt độ, độ ẩm và chênh áp (differential pressure) của các phòng sạch phân cấp Grade B và Grade C. Ngoài ra, SCADA còn đóng vai trò làm giao tiếp trung gian (BMS interface) để liên kết dữ liệu với hệ thống quản lý tòa nhà (BMS), giúp điều khiển tối ưu hóa hệ thống HVAC nhưng vẫn giữ được ranh giới độc lập của dữ liệu giám sát chất lượng.

Theo tài liệu hướng dẫn quốc tế ISPE GAMP 5 Guide: A Risk-Based Approach to Compliant GxP Computerized Systems (Second Edition), phần mềm SCADA của dự án được phân loại vào GAMP 5 Category 4 (Configured Software). Quy trình validation vòng đời (lifecycle validation) được thực hiện chặt chẽ qua các bước:

• Thiết lập URS (User Requirements Specification): Định nghĩa rõ ràng các yêu cầu kỹ thuật và GMP (ví dụ: tần suất ghi nhận dữ liệu historian chênh áp tối thiểu mỗi 60 giây, yêu cầu về độ chính xác của cảm biến, và cơ chế bắt buộc người vận hành phải nhập lý do khi thay đổi setpoint).
• Đánh giá rủi ro (Risk Assessment – RA): Áp dụng công cụ FMEA (Failure Mode and Effects Analysis) để nhận diện các nguy cơ như mất kết nối truyền thông giữa SCADA và PLC, lỗi hỏng đầu dò cảm biến nhiệt độ, hoặc việc thay đổi thời gian hệ thống ngoài tầm kiểm soát.
• Cấu hình hệ thống (Configuration Phase): Lập trình các tag đo lường, cấu hình phân quyền người dùng (Role-Based Access Control) và kích hoạt tính năng audit trail tự động của hệ thống.
• Kiểm thử IQ (Installation Qualification): Kiểm tra cấu hình phần cứng máy chủ SCADA, phiên bản hệ điều hành được cập nhật bản vá bảo mật, và kiểm tra tính toàn vẹn của hệ thống cáp mạng OT.
• Kiểm thử OQ (Operational Qualification): Kiểm thử các chức năng mô phỏng lỗi (failure modes) như ngắt nguồn PLC đột ngột, thử nghiệm thay đổi setpoint cảnh báo xem hệ thống có ghi nhận đầy đủ vào audit trail hay không, và kiểm tra tính năng khóa tài khoản sau 3 lần đăng nhập sai.
• Kiểm thử PQ (Performance Qualification): Xác nhận khả năng hoạt động liên tục không xảy ra lỗi của SCADA trong vòng 72 giờ sản xuất thực tế, kiểm tra chu kỳ tự động sao lưu dữ liệu (auto-backup) và kiểm tra khả năng đồng bộ hóa thời gian tự động với máy chủ NTP.

Trong quá trình thanh tra thẩm định thực tế, một số lỗi thường gặp (audit findings) liên quan đến SCADA đã được ghi nhận bao gồm:

• Audit trail chưa cấu hình đủ độ sâu: Hệ thống chỉ ghi nhận thời gian đăng nhập/đăng xuất của user mà không ghi lại sự thay đổi của các tham số công nghệ (ví dụ: giá trị chênh áp cài đặt trước và sau khi đổi). Điều này vi phạm nghiêm trọng EU GMP Annex 11 Clause 9 và 21 CFR Part 11 Section 11.10(e).
• Phân tầng quyền truy cập chưa triệt để: Nhân viên vận hành trực tiếp (operators) sử dụng tài khoản chung “operator_01” hoặc được cấp quyền thay đổi giới hạn cảnh báo chênh áp vốn chỉ thuộc về bộ phận Kỹ thuật hoặc QA. Lỗi này không tuân thủ EU GMP Annex 11 Clause 12 và 21 CFR Part 11 Section 11.10(g).
• Mất đồng bộ thời gian (Time sync drift): Giờ hiển thị trên SCADA Level 2 bị lệch 5-10 phút so với giờ của các máy sản xuất standalone và hệ thống quản lý chất lượng MES. Điều này gây khó khăn khi đối chiếu dữ liệu (data reconciliation) trong quá trình điều tra sai lệch (deviation investigation), vi phạm yêu cầu timestamp chính xác của audit trail theo 21 CFR Part 11 §11.10(e) và nguyên tắc Contemporaneous (ALCOA+) trong PIC/S PI 041.

Checklist audit hệ thống SCADA Level 2 theo hướng dẫn GMP

Phần này cung cấp một checklist thực tiễn gồm 10 hạng mục kiểm tra cốt lõi giúp đội ngũ tự động hóa và QA tự đánh giá mức độ tuân thủ của hệ thống SCADA trước các đợt thanh tra GMP chính thức.

So sánh các nền tảng SCADA phổ biến trong bối cảnh nhà máy dược Việt Nam

Phần này thực hiện so sánh trung lập các nền tảng SCADA phổ biến tại thị trường Việt Nam dựa trên các tiêu chí kỹ thuật và yêu cầu tuân thủ GxP nghiêm ngặt.

Việc chọn lựa phần mềm SCADA trong nhà máy dược phẩm đòi hỏi chủ đầu tư không chỉ cân nhắc về mặt chi phí bản quyền, mà quan trọng hơn là khả năng hỗ trợ đắc lực cho công tác thẩm định hệ thống máy tính (CSV). Dưới đây là phân tích các tiêu chí cốt lõi và so sánh các giải pháp phổ biến gồm Wonderware/AVEVA, Inductive Automation Ignition và Siemens WinCC:

Các tiêu chí lựa chọn hàng đầu

• Thư viện GMP template sẵn có: Giúp giảm thiểu thời gian cấu hình hệ thống bằng cách sử dụng các block đồ họa, phân quyền người dùng và audit trail đã được tối ưu sẵn theo chuẩn GMP.
• Hỗ trợ tài liệu Validation (Validation Documentation Support): Hãng cung cấp sẵn các cẩm nang hướng dẫn cấu hình (compliance guidelines) và kịch bản test IQ/OQ mẫu giúp giảm chi phí soạn thảo hồ sơ CSV.
• Mô hình tính phí License và Điểm đo (License & Tag Cost): Đánh giá chi phí đầu tư ban đầu dựa trên số lượng tag truyền thông vật lý hoặc số lượng trạm con (clients) truy cập đồng thời.
• Hệ sinh thái tích hợp tại Việt Nam (VN System Integration Ecosystem): Năng lực của các nhà tích hợp hệ thống (SI) tại địa phương và tốc độ hỗ trợ kỹ thuật của hãng khi xảy ra sự cố dừng dây chuyền sản xuất.

So sánh trung lập các nền tảng phổ biến

Wonderware / AVEVA (AVEVA System Platform & InTouch)

• Thư viện GMP template: Cực kỳ mạnh mẽ. Nhờ kiến trúc hướng đối tượng (Object-Oriented) trong AVEVA System Platform, các kỹ sư có thể dễ dàng đóng gói các đối tượng HMI có tích hợp sẵn thuộc tính audit trail và phân quyền theo chuẩn FDA.
• Hỗ trợ Validation: Nhà sản xuất cung cấp đầy đủ các tài liệu hướng dẫn kỹ thuật chi tiết nhằm hỗ trợ quá trình chứng minh tuân thủ 21 CFR Part 11.
• Chi phí License: Thuộc phân khúc cao. Chi phí bản quyền được tính dựa trên số lượng tag đo lường và số trạm vận hành HMI thực tế.
• Hệ sinh thái tại Việt Nam: Rất phát triển. Có nhiều đơn vị SI lớn tại Việt Nam có kinh nghiệm lâu năm trong việc triển khai và validate hệ thống này cho các nhà máy dược lớn đạt tiêu chuẩn EU-GMP.

Inductive Automation Ignition

• Thư viện GMP template: Nền tảng này mang tính tùy biến rất cao, đòi hỏi đội ngũ kỹ sư phải tự thiết kế hoặc sử dụng các add-on module chuyên dụng (như module quản lý từ Sepasoft) để đáp ứng trọn vẹn các yêu cầu về audit trail.
• Hỗ trợ Validation: Hãng cung cấp tài liệu whitepaper chi tiết hướng dẫn cách cấu hình hệ thống đạt 21 CFR Part 11 và EU GMP Annex 11, nhưng lượng tài liệu kiểm thử (test scripts) mẫu sẵn có còn hạn chế so với các hệ thống truyền thống.
• Chi phí License: Rất tối ưu cho các dự án lớn. Ignition áp dụng mô hình license không giới hạn số lượng tag đo lường và số lượng trạm con (unlimited tags/clients), giúp nhà máy dễ dàng mở rộng quy mô mà không phát sinh thêm chi phí phần mềm.
• Hệ sinh thái tại Việt Nam: Đang trên đà tăng trưởng nhanh chóng. Tuy nhiên, số lượng đơn vị SI sở hữu chứng chỉ chuyên sâu và có kinh nghiệm thực tế thực hiện CSV cho hệ thống Ignition tại thị trường dược phẩm Việt Nam còn ít hơn so với Siemens hay AVEVA.

Siemens WinCC (WinCC V7/V8 hoặc WinCC Unified)

• Thư viện GMP template: Rất xuất sắc. Siemens cung cấp gói sản phẩm chuyên dụng WinCC/Audit giúp hệ thống SCADA tự động ghi nhận toàn bộ hoạt động vận hành và thay đổi cấu hình vào một database bảo mật chống can thiệp mà không cần lập trình phức tạp.
• Hỗ trợ Validation: Rất đầy đủ. Siemens cung cấp các gói tài liệu hướng dẫn validation chi tiết bậc nhất thị trường cho các dòng WinCC.
• Chi phí License: Ở mức trung bình đến cao. Chi phí bản quyền phụ thuộc vào số lượng tag truyền thông và các gói module cài đặt thêm (add-ons).
• Hệ sinh thái tại Việt Nam: Là nền tảng phổ biến hàng đầu. Nhờ sự bao phủ rộng lớn của thiết bị tự động hóa Siemens tại Việt Nam, chủ đầu tư có thể dễ dàng tìm kiếm SI có kinh nghiệm triển khai và nhận được sự hỗ trợ kỹ thuật trực tiếp từ văn phòng đại diện của Siemens Việt Nam.

FAQ

Phần này gom các câu hỏi giúp QA tự kiểm tra nhanh trước khi audit.

Ghi Chú Minh Bạch

Phần này làm rõ nguồn tham chiếu và ranh giới áp dụng của bài viết.

Ví dụ TYPE 3: SCADA phòng sạch Grade B phát sinh alarm chênh áp nhưng operator acknowledge sau 45 phút. Inspector hỏi: “Ai đánh giá impact lên batch đang chạy?” Gap phát hiện: alarm log không link với deviation hoặc batch record. Evidence đã đóng gap: alarm review ALM-SCADA-022, deviation DEV-HVAC-031, batch impact assessment QA ký, lưu 5 năm.

Ví dụ TYPE 3: Tài khoản kỹ thuật viên đổi setpoint nhiệt độ trong SCADA bằng user chung “operator”. Inspector hỏi: “Làm sao truy xuất cá nhân thực hiện thay đổi?” Gap phát hiện: shared account không đáp ứng attributable record. Evidence đã đóng gap: RBAC matrix SCADA-RBAC-02, audit trail before/after, training record cá nhân, QA phê duyệt.

Ví dụ TYPE 3: Kết nối SCADA-Historian mất 12 phút khi switch mạng reboot. Inspector hỏi: “Dữ liệu trong khoảng mất kết nối được phục hồi bằng timestamp gốc hay nhập tay?” Gap phát hiện: chưa test store-and-forward trong OQ. Evidence đã đóng gap: OQ-SCADA-SF-05, historian gap report, NTP sync record, CSV Lead ký duyệt.