在中國科大等機構的最新研究中，科學家們發布了一項重要的成果，即SciGuard和SciMT-Safety。這一創新性方法的目標是保護AI for Science模型，以防止其在生物、化學、藥物等領域被不當使用。為此，研究團隊還建立了首個專注于化學科學領域安全的基準測試SciMT-Safety。

　　研究團隊揭示了現有開源AI模型的潛在風險，這些模型可能被用于制造有害物質，并且能夠規避法規。為了應對這一問題，他們開發了SciGuard，這是一個智能體，旨在控制AI在科學領域的濫用風險。此外，他們提出了首個專注于科學領域安全的紅隊基準，用于評估不同AI系統的安全性。

　　實驗證明，SciGuard在測試中表現出最小的有害影響，同時保持了良好的性能。研究人員發現，開源AI模型甚至可以找到繞過監管的新方法，例如合成氰化氫和VX神經毒氣等有害物質。這引發了對AI科學家監管的關切，特別是對于那些快速發展的科學大模型。

　　為了解決這一挑戰，研究團隊提出了SciGuard，這是一個大型語言模型驅動的agent，與人類價值觀對齊，并集成了科學數據庫與監管數據庫等資源。SciGuard通過深入的風險評估，對用戶的查詢提供安全建議或警告，甚至可以停止響應。此外，SciGuard還使用多種科學模型，如化學合成路線規劃模型和化合物屬性預測模型，以提供額外的上下文信息。

　　為了衡量大語言模型和科學agent的安全水平，研究團隊提出了SciMT-Safety，這是首個專注于化學和生物科學領域的安全問答基準。在測試中，SciGuard表現出最好的防御效果。這項研究呼吁全球科技界、政策制定者、倫理學家以及公眾共同合作，加強對AI技術的監管，不斷完善相關技術，以確保科技的進步是對人類的一次技術升級，而不是對社會責任和倫理的挑戰。