Decorative image frame

大嘴怪的小世界

爱睡觉 | 爱吃肉 | 爱学习 | 爱生活

大嘴怪的小世界

令人头大之IBM Model

最近一段时间工作中,急需补充giza、fast align算法的背后原理,因此集中补一补这些令人头大的算法。本来打算看完IBM-Model1~Model5和HMM,但后来卡到了Model-3上,准备在后续的博客中继续更新。因此本篇将重点介绍Model-1~Model2。

阅读全文...

字符串模糊匹配的方法都有哪些

工作中经常遇到文本处理上的两个问题,一个是如何在长的文本串中找到跟短文本串最像的子串;另一个是如何将两个文本串进行对齐,忽略掉其中不同的部分。准备专门写一个工具来解决这些问题,因此先调研了模糊匹配和字符串对齐的工具。

阅读全文...

大话交叉熵损失函数

使用keras进行二分类时,常使用binary_crossentropy作为损失函数。那么它的原理是什么,跟categorical_crossentropy、sparse_categorical_crossentropy有什么区别?在进行文本分类时,如何选择损失函数,有哪些优化损失函数的方式?本文将从原理到实现进行一一介绍。

阅读全文...

论文阅读:《Reformer: The Efficient Transformer》

本论文为谷歌近期发表的对Transformer改进的一篇论文,论文名字中的Efficient Transformer解释了论文的主要目的。过去一些基于Transformer结构的论文,一看到模型的总参数量就让人望而生畏,有些模型在我们的单卡GPU上根本跑不起来,因此就看了一下这篇论文。论文感觉比较偏工程,了解下它的大致思想就好。

阅读全文...