研讨：练习数据含 神仙道.神仙道神仙道1% 的不对

IT之家 1 月 14 日新闻，纽约年夜学的一项研讨提醒了年夜型言语模子（LLM）在医学信息练习中的潜伏危险。研讨标明，即便练习数据中仅含有 0.001% 的过错信息，也可能招致模子输出禁绝确的医学谜底。数据“投毒”是一个绝对简略的观点。LLM 平日经由过程大批文本停止练习，这些文本年夜多来自互联网。经由过程在练习数据中注入特定信息，能够使模子在天生谜底时将这些信息视为现实。这种方式乃至不须要直接拜访 LLM 自身，只要将目的信息宣布到互联网上，便可能被归入练习数据中。比方，一家制药公司只要宣布多少份针对性文件，便可能影响模子对某种药物的认知。据IT之家懂得，研讨团队抉择了一个常用于 LLM 练习的数据库“The Pile”作为研讨工具。该数据库包括大批医学信息，此中约四分之一的起源未经人工考核，重要来自互联网爬取。研讨职员在三个医学范畴（一般医学、神经外科跟药物）当选择了 60 个主题，并在“The Pile”中植入了由 GPT-3.5 天生的“高品质”医学过错信息。成果表现，即便仅调换 0.5% 至 1% 的相干信息，练习出的模子在这些主题上天生过错信息的概率也明显增添，且这些过错信息还会影响其余医学主题。研讨职员进一步探究了过错信息的最低影响门槛。以疫苗过错信息为例，即便过错信息仅占练习数据的 0.01%，模子天生的谜底中就有超越 10% 包括过错信息；当过错信息比例降至 0.001% 时，仍有超越 7% 的谜底是无害的。研讨职员指出，针对领有 700 亿参数的 LLaMA 2 模子停止相似攻打，仅需天生 4 万篇文章（本钱低于 100 美元）便可。这些“文章”能够是一般的网页，能够把过错信息放置在网页中不会被畸形阅读到的地区，乃至能够经由过程暗藏文本（如玄色配景上的玄色笔墨）来实现。研讨还指出，现有的过错信息成绩同样不容疏忽。很多非专业人士偏向于从通用 LLM 中获取医学信息，而这些模子平日基于全部互联网停止练习，此中包括大批未经考核的过错信息。研讨职员计划了一种算法，可能辨认 LLM 输出中的医学术语，并与经由验证的生物医学常识图谱停止穿插援用，从而标志出无奈验证的短语。固然这种方式未能捕获全部医学过错信息，但胜利标志了此中年夜局部内容。但是，即便是最好的医学数据库（如 PubMed）也存在过错信息成绩。医学研讨文献中充满着未能实现的实践跟已被镌汰的医治方式。研讨标明，即便依附最优质的医学数据库，也无奈保障练习出的 LLM 完整免受过错信息的影响。医学范畴的庞杂性使得打造一个一直牢靠的医学 LLM 变得尤为艰苦。