oldhu's
10
May 2023
LoRA Intro
LoRA是Low-Rank Adaptation的缩写,出自论文Low-Rank Adaptation of Large Language Models LoRA是一种用于大语言模型的低秩(Rank)fine tune方法,它可以在不增加模...
28
Apr 2023
HackerNews上值得关注的新闻(3)
Datomic is Free Datomic是Rich Hickey对Database As a Value的终极理解,使用 Datalog作为查询语言。DataScript是Datomic用JavaScript 的开源实现,是Roam,...
27
Apr 2023
Transformers from Scratch
翻译自: https://e2eml.school/transformers.html 对论文Attention Is All You Need的解读。 one-hot encoding 中文叫独热编码或者一位有效编码,是指用一个N维向量表...
24
Apr 2023
HackerNews上值得关注的新闻(2)
Scaling Transformer to 1M tokens and beyond with RMT 此论文提出了一种方法,让BERT可以支持1M个token nl在评论中,提到另一篇论文Why Can GPT Learn In-Con...
20
Apr 2023
HackerNews上值得关注的新闻(1)
Stability AI发布了StableLM Stability AI公司本身是Stable Diffusion模型背后的公司,与MidJourney的竞争差异就是开放与封闭。StableLM也是开放的大语言模型,本次发布 了3b与7b的...
← Prev page
Next page →