如何在Python中对文本数据进行自动化清洗_基于Regex与NLTK库

re和NLTK组合使用需规避缩写误删、词性未标注致lemmatize失效、正则范围过宽丢中文/URL/emoji等坑；应分步保护关键模式、精准清洗、配合pos_tag做词形还原，并定制停用词。

re 和 NLTK 是 Python 文本清洗中最常被组合使用的底层工具，但直接套用示例函数容易在真实数据上翻车——比如把缩写（don't）清成空字符串，或让 WordNetLemmatizer 对未分词的句子报错。

别急着写 clean_text() 函数，先确认你的文本到底“脏”在哪

常见错误现象：

清洗后整列变 NaN 或空字符串
英文缩写、带连字符的词（state-of-the-art）被一刀切掉
中英文混排时，正则只匹配 [A-Za-z] 导致中文全丢
lemmatize() 输入没小写、没分词，直接抛 AttributeError: 'str' object has no attribute 'pos'

使用场景决定清洗粒度：

NLP 建模（如 TF-IDF、BERT 微调）：需保留标点结构（句末句号）、缩写展开、停用词可留可去
分类/聚类任务：更倾向去除标点+小写+词形还原，停用词建议保留（某些业务词如“退款”“逾期”本身是关键特征）
日志/客服对话清洗：必须保留时间戳、用户 ID、URL 模式，不能无差别删数字和符号

用 re.sub() 做精准剔除，不是越狠越好

re.sub(r'[^A-Za-z\s]', '', text) 这种写法只适合纯英文单词表场景。实际文本里，这些内容不该被粗暴抹掉：

URL 中的 https://、.com、/
邮箱里的 @、.
金额中的 $、¥、.（如 $19.99）
中文、日文、emoji（?、?‍?）

推荐分步处理，用多个 re.sub() 替换而非单条正则：

先保护关键模式：text = re.sub(r'(https?://\S+|[\w.-]+@[\w.-]+.\w+)', r' ', text)
再清理噪音：text = re.sub(r'[^\w\s\u4e00-\u9fff]', ' ', text)（加 \u4e00-\u9fff 支持中文）
最后压空格：text = re.sub(r'\s+', ' ', text).strip()

NLTK 的 WordNetLemmatizer 必须配合 pos_tag 才有效

lemmatizer.lemmatize(word) 默认按名词处理，"running" → "running"（不是 "run"），因为没告诉它这是动词。

Python 3.14.3

微软官方的 Python 扩展，是 VS Code 安装量最高的扩展（209M+）。集成 IntelliSense（通过 Pylance）、调试（通过 Python Debugger）、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。

正确做法：

先用 nltk.pos_tag() 获取词性标签
把 Penn Treebank 标签映射为 WordNet 兼容格式（'VBN' → 'v'，'JJR' → 'a'）
再传给 lemmatize(word, pos=...)

示例片段：

from nltk.corpus import wordnet
def get_wordnet_pos(treebank_tag):
    if treebank_tag.startswith('J'): return wordnet.ADJ
    elif treebank_tag.startswith('V'): return wordnet.VERB
    elif treebank_tag.startswith('N'): return wordnet.NOUN
    elif treebank_tag.startswith('R'): return wordnet.ADV
    else: return wordnet.NOUN
tokens = word_tokenize(text.lower())
pos_tags = nltk.pos_tag(tokens)
lemmatized = [lemmatizer.lemmatize(word, get_wordnet_pos(pos)) for word, pos in pos_tags]

注意：如果没调用 nltk.download('averaged_perceptron_tagger') 和 nltk.download('wordnet')，pos_tag() 会直接报错，不是静默失败。

停用词列表不能无脑用 stopwords.words('english')

这个列表含 179 个词，但：