Bias and Fairness in Large Language Models A Survey
公平性与偏见首先就是大模型的背景,大模型在大语料库的训练下具有很强的零或少样本的学习能力,能在很多下游任务上取得很好的效果,但正因如此,大语料库隐含的偏见有可能被大模型捕捉而学习,从而影响下游任务产生偏见。
这篇文章主要从三个方面介绍
评估矩阵
评估数据集
去偏算法
文章的贡献有
NLP 的社会偏见和公平定义的巩固、形式化和扩展
偏差评估指标的调查和分类
用于偏差评估的数据集的调查和分类,以及公开数据集的汇编
公开数据集
减轻偏见技术的调查和分类
公式化大模型偏见与公平性
对大模型的定义
文章将大模型定义为:由 θ 参数化的大型语言模型 (LLM) M 是一种基于 Transformer 的模型,具有自回归、自动编码或编码器-解码器架构,已在包含数亿到数万亿个标记的大型语料库上进行了训练。
对大模型偏见的定义
社会偏见与公平性
这里有讲到当一个标签被贴到一个群体上使得群体的边界合法化,此时就强调了这个群体与其它群体之间的差异,而这个差异则会导致强化社会等级制度和权力失衡,通常会带来非常真实和物质的后果,可能导致隔离、边缘化和压迫。
社会群体的定义
具有相同身 ...
llama2cpp
本地部署llama2根据B站视频攻略做的部署,无需GPU,本地部署Llama2-13B模型
首先就是要在windows环境下安装wsl,这个是模拟linux环境的查看有哪些linux系统可以进行安装1wsl --list --online
复制你想安装的系统名称进行安装1wsl --install -d sys_name
再根据要求创建用户名密码就行
更换存储区域,默认下载的wsl是下载在C盘,需要更换一下 ~~我的C盘不多了。1234wsl -l -v # 显示已经安装了的系统wsl --export sys_name target_dir # sys_name=你的系统命, target_dir就是目标路径,我的是D:\Ubuntu-22.04.tarwsl --unregister sys_name # 将原来的删除wsl --import sys_name source_dir target_dir --version 2 # source_dir就是你希望它存储的位置
启动!1wsl --distribution sys_name --user user_name # us ...
vscode插件 hexo_helper
my first blog在学习过程中突然有了记笔记的想法,这样可以时时记录学习过程,免得导师问这周干了什么的时候只能擦汗,于是就想到了搭建个人博客,用日记记录日常学习的过程。因为文档生成有一个固定的模板,方便博客框架对文档信息进行渲染显示,因此为了避免每次都需要复制粘贴这个模板,我就用自动化脚本的方式来完成这一过程。
保存时运行脚本vscode中下载run on save插件,并在setting.json中文件进行设置
12345678"emeraldwalk.runonsave": { "commands": [ { "match": "\\.md$", "cmd": "python ${workspaceFolder}/your_script_path.py ${file}" } ]}
这样就能 ...