oldhu's

oldhu's

20 Mar 2023

Deep Learning (5) - BERT vs GPT

BERT和GPT都是基于transformer的预训练模型，但是它们的预训练任务不同。BERT的预训练任务主要是掩码语言模型(在一个句子中随机盖住一些词，让模型预测)和下一句预测，而GPT的预训练任务主要是语言模型(根据前面的词预测下一个词...
20 Mar 2023

Deep Learning (4) - Word Embedding

介绍 Word Embedding是NLP处理的第一步，要将一段文字送入模型，必须先将其转换成数字。Word Embedding将每个词转换成为一个向量。 Word2vec Word2vec是Word Embedding的方法之一。他是20...
16 Mar 2023

Deep Learning(3) - 从Encoder-Decoder到Transformer

seq2seq问题 seq2seq用于将一个序列(sequence)转换成另一个序列，典型的场景是机器翻译，语音识别，给图片生成描述，问答，语音合成，代码生成等。 Encoder-Decoder Encoder-Decoder架构是一种适用...
14 Mar 2023

Deep Learning(2) - RNN循环神经网络

RNN用于处理序列类型的数据，比如语音，文字。这类数据的最大特点，是后面的信息，与之前的信息有关。比如一句话，每一个字如果是之前信息的函数，那不可能只是前一个字的函数，而是之前很多个字的函数。 RNN神经元结构 之前将神经元简化为输入的函数...
13 Mar 2023

Deep Learning(1) - CNN卷积神经网络

CNN是对图像类数据进行处理的最常用方法，主要的思路是通过卷积核对图像的特征进行提取，通过pooling对数据进行降维，然后再通过全链接网络输出。 卷积 卷积在数学上的概念相对复杂，而在图像处理的CNN中，卷积可以简单地理解为：用一个矩阵与...
03 Mar 2023

Deep Learning(0) - 介绍

神经元结构 以下是一个大脑中的神经元的结构： 简化来看，大脑的神经元由三部分组成： 树突（输入机制）—— 通过突触接受输入的树状结构。输入可能是来自感觉神经细胞的感觉输入，也可能是来自其他神经细胞的“计算”输入。单个细胞可以有多达10万输入...