笔者前些日子在做VLM sft微调和RLHF的时候, 因为有需求对一下RL与SFT 在模型效果上的区别,就在想这两者从训练形式上在本质会有什么区别。 是否SFT一定会导致风格固化与灾难性遗忘,以及RL是否一定会依赖于极强的reward判断才能保证非目标,特定场景下的效果不会减弱,等等。当然,我们舍弃掉这些偏技术的部分。
脑子就逐渐蹦到了预训练的部分, 忽然就想到从某种程度上来说,LLM也是一个把原本语料拆碎然后重新用概率拼装,预测的部分。譬如说,可能收集的一大堆互联网上的语料,有10000篇微博日志都在写‘所以我才喜欢这个人’,于是模型也学到了这个倾向,于是这种来自于许多年前的爱,在预训练前的清洗中潜藏下来,又从巨量数据运算的涨落中,在某些注意力头的参数中偶然的保留下来,最后在用户不经意间的prompt中浮现出来。
会不会有来自于许久之前的故事和话语,和深空中宇宙的背景辐射一样尚未被人听见,时隔多年后却在概率的操弄下再度回到对方手中?
这样一种类似漂流瓶的形式让我觉得很浪漫,也算是新瓶装旧酒的故事形式,结合一直都渗进生活的LLM 与 甚至未来可能的 助手 等等,稍微有了那么一点点新意。
用Gemini canva 搓的一个小demo: https://gemini.google.com/share/30fd9894e857
备注:需要能打开Gemini的工具。
玩家将会扮演一个负责审查某家科技公司即将迭代的LLM与用户的对话记录的数据标注员,ta将会负责评价与标注模型回答的质量。这个大模型可能漏洞百出,质量堪忧,你能想到的各种常见的啼笑皆非的错误都能在其中看见,譬如写程序编造python库,解签误会用户意图,没有正确回绝用户结合今日宜忌要买彩票/炒股等行为。
当然不止于此:你也能窥见许多用户与LLM对话时的真实内心,就和偷看日记一样,有些人可能是嘴上严苛的教师,但在几年后后悔回绝了学生高考前的调座需求;有些人可能只是在和llm发疯,随口说各种不着边际的话;有些人可能向LLM寻求情感支持;也有可能你会在巧合之中看见销售员与供货商相互拜年时厌恶对方但又不得不维持关系的两难处境。
最重要的是:想要写一个从LLM中偶然间寻回失落友人信息的浪漫主义故事。
游戏形式:unity/html 文字游戏,预估体量 2h之内。
我需要事先声明的是,这只能是一个志愿开发的项目,因此并没有薪资,制作完成后因为体量缘故估计也只能免费分享/发行,预计盈利极少。因此,衷心感谢,而且欢迎各位志愿参加的人员,我希望我们能合作愉快。
预估人员:
笔者:有一些故事/剧本 基础,但多少有点薄弱。估计在程序上需要依赖vibe coding 来写unity脚本,但至少有一定unity基础:做过fps靶场。
程序1名:最好熟悉unity开发pipeline,有视觉小说开发经验更佳。
剧本1名:最好同样为llm行业相关从业人员,熟悉/了解一些llm常见问题,方便我们寻找有趣/有深度的case,有视觉小说经验更佳。
有意者可以站内私信我,也可通过邮箱联系:1511943886@qq.com
评论区
共 条评论热门最新