Self-supervised Learning 自监督学习Supervised 监督 训练数据集是需要标注的，即已知结果的学习过程，通过确定的结果让机器知道学习方向 Self-Supervised 自监督 将数据集 x 分为两部分，一部分 x’ 作为输入，另一部分 x” 用于校验输出效果，我们希望模型的输出结果 y 与 x” 越接近越好 BERT接下来以 BERT 为例，来解释自监督学习 BER

Convolutional Neural Network（CNN）CNN 通常用于图片识别上 图片对计算机来说是什么？ 对于计算机而言，图片是一个3维度的张量（tensor），分别是：长、宽、通道数值。

当学习结果不够好的时候，通常是按照如下步骤进行 的： 首先检查训练数据上的 LOSS，如果 LOSS 已经很大，那么基本上是两种情况：一种是模型偏差，一种是最优解没有找到 模型偏差 Model Bias模型过于简单，无论何种参数都无法获得较好的 LOSS，这是通常要改变模型设计，通过增加 Feature 、增加更多 Layer 等方法使模型更加复杂多变。 最优解问题 Optimization I

台大李宏毅老师机器学习课程学习笔记，重新整理： Machine Learning ≈ Looking for Function简单来说，机器学习的实质是寻找一个难以用人力创造的函数 如下图： 很多复杂问题都能概括为寻求一个函数，给定输入，以期望得到某个正确的输出。 语音识别：给定音频信号，输出对应语言的文字 图像识别：给定图片数据，输出对应事物的名称 围棋AI：给定棋盘数据，得到胜率最高达的下

前段时间忙家里各种杂事，只看了师兄给的一篇表示学习综述，大概了解了一下知识图谱和表示学习相关的技术，接下来计划将一些重要模型进一步学习，自己尝试实现一下，这里就以 TransE 作为开头，开个新坑。 TransE 原理TransE 模型来源于 Translating embeddings for modeling multi-relational data 这篇论文，从标题上不难看出，TransE

知识表示学习研究进展论文笔记1.知识库现实世界中，知识是蕴藏在无（半）结构的信息中的，比如： 人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 这句话中蕴含着人工智能这一学科的基本定义，但这些知识是非结构化的，其中一条可以提取为： 从现实世界中的无（半）结构的信息中提取结构

PyTorch 环境配置：毕设需要用到 PyTorch，网上的教程比较老了，版本都很旧，PyTorch 已经不支持 10.2 的 cuda 了，这里重新记录一下配置过程。 1. Anaconda 安装：在 Anaconda 官网 下载 Anaconda 安装包，按引导安装（选择All Users，不配置环境变量） 环境变量配置如下： cmd 中输入 conda –version，出现如下结果表