狗窝🐕

啥事没干今天还是看了大模型偏见与公平性的综述，继续评估标准，又看了预处理的一些东西 综述看的太无聊太累了 然后就是看了OpenBMB那个大模型知识普及的视频，从注意力到huggingface的小demo大致流程也跟我之前写的huggingface一致 然后是突发奇想，想要fine-tune一个大模型专门给我写小说看。 这篇综述还是要看完的，但是我决定交给txyz来读了，到时候复制一下就行。 kaggle上用了下gemma，没搞懂，有个prompt格式，我不太理解是为什么我认为下一步有需要了解训练数据或者微调数据进入大模型之后是如何训练的 大模型语言排行榜找到一个huggingface上对开源大模型的排行榜排行榜 关于vercel的一点点刚刚搞了一下图床的东西跟随的教程是博客我的这个博客也是跟着他做的，可以说是相当厉害了 这个图床是怎么做的呢首先要在github创建一个仓库，然后本地git你想要的图片上去再用vercel导入刚刚的仓库在项目domain中新增解析地址，使用已经有的域名进行替换比如我买了一个域名xxxxxx.com什么的，我就在前面新加一个二级域名比如picpool.xxx ...

神经网络设计实验开始写课程作业了，努努力看看能不能一天写完，现在是早上10点45，一会吃饭去下午回来开始写，早上又在开小差什么的，下午一定认真写。 课程实验是用本地连接服务器的方式完成的，用的vscode ssh链接，用一下发现挺简单的，等我这个实验做完了我就去搞一个4090的电脑跑一下大模型玩玩看。😏 要注意的是，链接进ssh后，需要在文件位置选择/opt/目录下的实验 而且，我计划是从实验平台上将文件下载下来在本地编写后再在实验平台上评测，这样100H的机时应该可以用很久。 由于提交分数是取最后一次而不是最高分，所以记得要用git记录下版本，在最后提交最高分的那个版本即可。 下午记得看看那个代码存储在哪，不太明白这个额外创建的卷是怎么用的 全连接手写数字识别新学会一个技能，vscode要打开一个新窗口而不占用本窗口可以 1Ctrl+Shift+N 这个实验相当简单 也不一定我们的任务是构建一个全连接网络，一共有三种层需要我们手动实现，全连接层、ReLU层、Softmax层。每层都要实现forward和backward， 我们先看全连接层 12345678 ...

公平性与偏见首先就是大模型的背景，大模型在大语料库的训练下具有很强的零或少样本的学习能力，能在很多下游任务上取得很好的效果，但正因如此，大语料库隐含的偏见有可能被大模型捕捉而学习，从而影响下游任务产生偏见。 这篇文章主要从三个方面介绍 评估矩阵 评估数据集 去偏算法 文章的贡献有 NLP 的社会偏见和公平定义的巩固、形式化和扩展 偏差评估指标的调查和分类 用于偏差评估的数据集的调查和分类，以及公开数据集的汇编 公开数据集 减轻偏见技术的调查和分类 公式化大模型偏见与公平性 对大模型的定义 文章将大模型定义为：由 θ 参数化的大型语言模型 (LLM) M 是一种基于 Transformer 的模型，具有自回归、自动编码或编码器-解码器架构，已在包含数亿到数万亿个标记的大型语料库上进行了训练。 对大模型偏见的定义 社会偏见与公平性 这里有讲到当一个标签被贴到一个群体上使得群体的边界合法化，此时就强调了这个群体与其它群体之间的差异，而这个差异则会导致强化社会等级制度和权力失衡，通常会带来非常真实和物质的后果，可能导致隔离、边缘化和压迫。 社会群体的定义 具有相同身 ...

本地部署llama2根据B站视频攻略做的部署，无需GPU，本地部署Llama2-13B模型 首先就是要在windows环境下安装wsl，这个是模拟linux环境的查看有哪些linux系统可以进行安装1wsl --list --online 复制你想安装的系统名称进行安装1wsl --install -d sys_name 再根据要求创建用户名密码就行 更换存储区域，默认下载的wsl是下载在C盘，需要更换一下 ~~我的C盘不多了。1234wsl -l -v # 显示已经安装了的系统wsl --export sys_name target_dir # sys_name=你的系统命， target_dir就是目标路径，我的是D：\Ubuntu-22.04.tarwsl --unregister sys_name # 将原来的删除wsl --import sys_name source_dir target_dir --version 2 # source_dir就是你希望它存储的位置 启动！1wsl --distribution sys_name --user user_name # us ...

my first blog在学习过程中突然有了记笔记的想法，这样可以时时记录学习过程，免得导师问这周干了什么的时候只能擦汗，于是就想到了搭建个人博客，用日记记录日常学习的过程。因为文档生成有一个固定的模板，方便博客框架对文档信息进行渲染显示，因此为了避免每次都需要复制粘贴这个模板，我就用自动化脚本的方式来完成这一过程。 保存时运行脚本vscode中下载run on save插件，并在setting.json中文件进行设置 12345678"emeraldwalk.runonsave": { "commands": [ { "match": "\\.md$", "cmd": "python ${workspaceFolder}/your_script_path.py ${file}" } ]} 这样就能 ...