自然语言处理

自然语言处理 自然语言处理 自然语言处理（Natural Language Processing，NLP）是研究人与计算机之间，使用自然语言进行有效通信。就是希望机器能像人一样，具备正常人的语言理解能力。 有别于计算机语言，“自然语言”是人类发展过程中形成的一种信息交流方式，包括汉语、英语、法语等世界上所有的语种语言。“处理”包含理解、转化、生成等过程。“自然语言处理”就是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。实现人机间的信息交流， 用途 如文字校对、信息检索、机器翻译、问答系统、聊天机器人、文章摘要、舆情监测、情绪分析等都涉及到NLP相关技术。 技术原理 按照内容构成的层次，NLP的基本技术原理可以分成5个层次： 1. 词法分析。找到词汇的各个词素，从中获得语言学信息； 2. 句法分析。对句子和短语的结构进行分析，目的是要找出词、短语等的相互关系以及各自在句中的作用； 3. 语义分析。找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念； 4. 篇章分析。分析篇章结构，识别不同部分之间的语义联系，结合内外部信息，在整体上理解篇章； 5. 内容生成 参考资料 《数学之美》, 吴军 《自然语言处理综论》, Daniel Jurafsky 《统计自然语言处理》, 宗成庆 自然语言处理综述 飞桨 CS224n: Natural Language Processing with Deep Learning，Stanford Winter 2019 NLP Progress 网站收录了几乎所有的 NLP 研究分支，并且跟踪 NLP 在这些任务上的进展 自然语言处理综述 飞桨 CS224n: Natural Language Processing with Deep Learning，Stanford Winter 2019 NLP Progress 自然语言处理（Natural Language Processing，NLP）是研究人与计算机之间，使用自然语言进行有效通信。就是希望机器能像人一样，具备正常人的语言理解能力。 有别于计算机语言，“自然语言”是人类发展过程中形成的一种信息交流方式，包括汉语、英语、法语等世界上所有的语种语言。“处理”包含理解、转化、生成等过程。“自然语言处理”就是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。实现人机间的信息交流， 用途 如文字校对、信息检索、机器翻译、问答系统、聊天机器人、文章摘要、舆情监测、情绪分析等都涉及到NLP相关技术。 技术原理 按照内容构成的层次，NLP的基本技术原理可以分成5个层次： 1. 词法分析。找到词汇的各个词素，从中获得语言学信息； 2. 句法分析。对句子和短语的结构进行分析，目的是要找出词、短语等的相互关系以及各自在句中的作用； 3. 语义分析。找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念； 4. 篇章分析。分析篇章结构，识别不同部分之间的语义联系，结合内外部信息，在整体上理解篇章； 5. 内容生成 参考资料 《数学之美》, 吴军 《自然语言处理综论》, Daniel Jurafsky 《统计自然语言处理》, 宗成庆 自然语言处理综述 飞桨 自然语言处理综述 飞桨 CS224n: Natural Language Processing with Deep Learning，Stanford Winter 2019 CS224n: Natural Language Processing with Deep Learning，Stanford Winter 2019 NLP Progress 网站收录了几乎所有的 NLP 研究分支，并且跟踪 NLP 在这些任务上的进展 NLP Progress