文本预处理-文本特征处理

文本特征处理的作用

• 文本特征处理包括为语料添加具有普适性的文本特征，如n-gram特征，以及对加入特征之后的文本语料进行必要的处理，如：长度规范。这些特征处理工作能够有效的将重要的文本特征加入模型训练中，增强模型评估指标

文本预处理-文本数据分析

文本数据分析的作用

• 文本数据分析能够有效帮助我们理解数据语料，快速检查出语料可能存在的问题，并指导之后模型训练过程中一些超参数的选择

文本预处理-文本张量表示方法

什么是文本张量表示

• 将一段文本使用张量表示，其中一般将词汇表示成向量，称作词向量，再由各个词向量按顺序组成矩阵形成文本表示

文本预处理-文本处理的基本方法

认识文本预处理

• 文本预处理的及其作用

  文本语料在输送给模型前一般需要一系列的预处理工作，才能符合模型的输入的要求，如：将文本转化成模型需要的张量，规范张量的尺寸等，而且科学的文本预处理环节还将有效指导模型超参数的选择，提升模型的评估指标

• 文本预处理中包含的主要环节

  • 文本处理的基本方法
    • 分词
    • 词性标注
    • 命名实体识别
  • 文本张量的表示方法
    • one-hot编码
    • Word2vec
    • Word Embedding
  • 文本语料的数据分析
    • 标签数量分布
    • 句子长度分布
    • 词频统计与关键词词云
  • 文本特征处理
    • 添加n-gram特征
    • 文本长度规范
  • 数据增强方法
    • 回译数据增强法

自然语言处理入门

什么是自然语言处理

• 自然语言处理(Natural Language Processing，简称NLP)是计算机科学与语言学中关注于计算机与人类语言间转换的领域

Pytorch初步应用

使用Pytorch构建一个神经网络

关于torch.nn

Pytorch中的autograd

• 在整个Pytorch框架中，所有的神经网络本质上都是一个autograd packge(自动求导工具包)
• autograd package 提供了一个对Tensors上所有的操作进行自动微分的功能

关于torch.Tensor

Pytorch-基本语法

导入

1
2
3

# 加上后，即使是python2也能使用print()而不是 print xxx
from __future__ import print_function 
import torch

TX2 踩坑

1. 使用Ubuntu20.04 无法刷机，提示没有对应的版本

解决：修改/etc/os/release文件

Scoop 使用教程

前言

用过Mac或Linux类系统的朋友们再用Windows系统通常都会很不习惯，其中一个原因就是安装软件、配置环境什么的太麻烦了，而实际上，Windows也是有包管理工具的，比如微软的官方的winget(相对新，但很多软件没有)、还有Chocolate(无法修改软件安装路径)、还有就是本次推荐的scoop