机器学习驱动的文本数据去重与冗余过滤技术

东宇 李(南开大学，中国)

摘要

本文提出一种基于机器学习的综合框架，通过融合多模态特征与动态优化策略，实现文本数据去重与冗余过滤的高效协同。该框架的创新性体现在三个方面：其一，结合词嵌入与句法结构特征，构建兼顾语义与语法的文本表示模型；其二，引入注意力机制与对比学习，增强对长文本及复杂语义关系的捕捉能力；其三，设计动态优化模块，通过在线学习与增量更新机制适应数据流的实时变化。实验表明，该框架在准确率、召回率等指标上均显著优于传统方法，且在多源异构数据场景下展现出良好的鲁棒性。

关键词

机器学习；文本数据去重；冗余过滤

参考

王少凡.深度学习技术在自然语言处理中的应用[J].集成电路应用,2025,42(01):196-197.

申峻宇,李东闻,钟震宇,等.一种基于局部敏感哈希的文本数据去重算法及其实现[J].南开大学学报(自然科学版),2023,56(06):29-35.

陈少斌.基于预训练数据冗余信息过滤的句子表征学习研究[D].华东师范大学,2023.

DOI: http://dx.doi.org/10.12345/bdai.v6i2.24590