先下一个anaconda
emmmpipenv install requirements.txt好像不太好用,还不如pycharm中的自动安装
先读论文啦~
一、CS KE综述
(一)NER systems
1、判别式模型&生成式模型
判别式模型:学习P(Y|X),找boundary,直接判断是A,B or C
生成式模型:学习P(A,X),P(B,X),P(C,X),生成多个模型,学具体特征,哪个可能性最大就选哪个
在生成shi模型中,对于每个种类,先通过观察数据,得到其先验概率P(Y),然后计算P(X|Y)和P(X),通过贝叶斯公式得到P(Y|X)
其实前几天写过,X(特征)就相当于evidence,就是那个车的警报响了,Y是车被砸了。
P(X|A),就是如果是类别A,那么具有某特征的概率。
读综述就是会有点无聊
2、NER中的监督学习
(1)统计模型
多用CRF
(2)、深度学习
常见的就是把LSTM\CNN\BERT\ATTENTION融合在一起,再加上CRF,也有人用Attention,但是具体如何做的,还不清楚。去看个比赛应该会清楚不少。
3、NER中的半监督学习
效果一般
4、发展总结
就是特征工程、词嵌入、预训练啦
N、几个需要查的名词
(1)CRF
(2)Boostrapping
(3)Prompt
(4)大致了解一下这些dl methods——multi-task, active, transfer,reinforcement
(二)总结
总的来说,感觉这篇文章读起来还挺平平无奇的,不像是2区的文章。总结一下收获叭~
1、明确NER任务内容:确定边界+分类
2、明确网安领域NER任务的挑战:词汇复杂+更新快+无标准数据集
3、了解通用NER方法:基于规则、字典、机器学习。其中机器学习分为统计(监督【SVM】\半监督【bootstrapping】\无监督(clustering))和深度。
4、了解了一些做出来的系统,今年还是深度学习模型居多
5、了解了一些资源(corpus,ontology[2016],criteria)
二、AttacKG复现
三、KG Book
第一节课看了会kg的书
第三章主要讲构建工具,看了一个叫做po…的本体构建工具嘿嘿
四、CTF
emmm
typora居然打不开了
又能打开了
恐怖,先做题。
(一)53
1、用’'绕过对单词过滤
2、用${IFS}代替空格
(二)54
1、这一坨是什么呢?
(三)55
这个upload(post请求)的模板,直接上网搜一个就行了嘛?
看不懂啦
感觉差不多看懂了一点点
要熄灯啦 饼干好好吃~
https://www.freesion.com/article/72011292273/
(N)ctf什么时候需要查看源代码
N、杂
(一)conda基本操作
https://aitechtogether.com/ai-question/9770.html
(二)pycharm中设置conda
主要设置两个地方:
1、环境
2、加载包的路径
https://blog.csdn.net/zfcjhdq/article/details/104919067
(三)conda镜像源设置
清华yuan好像不好用
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
## (四)emm直接conda都装不上,乱七八糟
1、先把priority那个改成flexible
2、把ssl关掉
3、使用
FOR /F "delims=~" %f in (requirements.txt) DO conda install --yes "%f" || pip install "%f"
https://www.cnblogs.com/mirage-mc/p/16072075.html
(四)pycharm 命令行激活conda环境无效
打开pycharm界面的file->settings->Tools->Terminal,发现Shell path是powershell.exe
改为cmd.exe
还是会有一些报错
(五)emm它可能是单纯地很慢,但是很搞心态
emm后来看,可能是我的镜像没写完整。
(六)开心!同学帮忙安装好啦!
在conda环境下可以用pip 安装。
而且最好按照readme的命令安装,不然可能会出现一些奇奇怪怪的问题!!!