感谢一楼大佬提供思路。
利用周末和晚上时间,先开始从基础内容搞起。虽然大学是计算机专业,但是工作几年基本没有写代码的机会,代码能力都还给老师了(话说上学的时候我的代码能力就没有那么强。。。),可以说是真正的0基础了。果然瑟瑟是学习的原动力
自家的pc是19年配的,显卡是2060s(8G显存),内存是16G(8X2)。cpu i7 9700,因为显存不够,只能凑活用了。刚让京东送了两个16G的内存。这段时间先把cuda、py环境什么的先搞了一下。看了一些LLM微调、SD炼丹这些的教程,学习了一下text-generation-webui,SDwebUI的基础操作这些。现在本地跑推理基本ok了。目前的摸索思路是几条线,一个是文字,一个是图片,一个是应用结合。 同时需要恶补一下各种知识。
文字方面,模型使用的是causallm_14b-dpo-alpha.Q5_K_M.gguf,查了一圈,说是中文nsfw比较好。但是好像只支持512token,我做了一点小说生成的测试。输入内容如下:
### Instruction:这是一个动漫《刀剑神域》的同人色情小说的设定,其中亚丝娜是女主角,桐人是男主角,亚丝娜和桐人是情侣,克莱因是亚丝娜的炮友,故事主要描述亚丝娜和克莱因在性爱,桐人在偷窥的场景。亚丝娜和克莱因可能会使用正常位、站立位、传教士这三种做爱姿势。桐人可能会躲在窗外、床下、衣柜里。### Input:请用中文针对动漫《刀剑神域》的主角亚丝娜,写一个包含NTR和性爱场景的小说,故事主要描述亚丝娜和克莱因做爱,桐人在窗外偷窥的场景。### Response:当然可以
输出的结果基本上还行,但是会出现生成乱码的情况,感觉是超出token数限制就会这样,也很正常。
图片方面,使用了秋叶大佬的整合包。因为之前也简单的玩过一下SDwebUI的一些内容,清楚了基本的逻辑。
下一阶段,将会围绕以下几个内容进行探索。1、恶补知识,首先需要搞清楚实现这些内容都需要哪些东西。计划先围绕longchain框架学习。同时了解agent实现原理,包括如何设计提示词让模型角色扮演等内容。2、设计流程,基于上面的知识,设计交互流程,明确各个部分的输入输出。