- Big data features: 5V--volume, velocity, variety, value, veracity.
- Big data challenges：高维、multi-modal、complexity、privacy
1. Federated Learning 联邦学习
- Federated Learning：Server将model分散到各个用户user，clients利用本地数据训练后，将model上传回server，server综合各个model(e.g. 平均参数)后--> comprehensive model，不断迭代->用户->server，升级model。(保护用户数据隐私)
2. Active Learning 主动学习
- Active learning：不断预估unlabeled data的label，然后用全部数据training，再预估下一批unlabeled data的label，如此不断迭代，直到最后。(提升数据value，改善数据价值密度低的问题)
3. Transfer Learning 迁移学习
- Transfer learning: 主要利用source domain的数据训练模型，然后将model迁移到target domain数据上。根据target source数据是否有标签，transfer learning分为：
Model Adaptation指的是第一类fine-tuning transfer learning，given a small number of labeled samples in target domain, and abundant labeled samples in multiple source domain.
Reference: How transferable are features in deep neural networks? 2014, citation: 7925
4. 元学习 meta-learning
- 元学习(meta-learning, learning to learn)
Problem: 元学习可以有效的缓解大量调参和任务切换模型重新训练带来的计算成本问题
Solution: 元学习，meta-learning
在机器学习中，训练单位是一条数据，通过数据来对模型进行优化；数据可以分为训练集、测试集和验证集。在元学习中，训练单位分层级了，第一层训练单位是任务，也就是说，元学习中要准备许多任务来进行学习，第二层训练单位才是每个任务对应的数据。
训练任务中的每个任务的数据分为 训练集（Support set） 和测试集（ Query set）；Test Task 中数据分为训练集和测试集
e.g. 对于人类而言，一个小朋友成长过程中会见过许多物体的照片，某一天，当Ta（第一次）仅仅看了几张狗的照片，就可以很好地对狗和其他物体进行区分。
