一些文档上传网站实现原理的分析

news2024/11/26 14:54:35

背景说明

很多网站都有文档上传功能,如百度文库,原创力,当然也有宇宙闻名的CSDN小猴子网站。如果我们要批量大规模上传文档,手工方式比较低效。自动上传的话,又缺乏网站的API,那只能自己分析上传流程,然后程序模拟了。

Book118原创力

原创力网站采用的是直接HTTP上传multipart/form-data数据方式。
该网站登录无验证码,容易模拟登录,然后获取相应的token,即可实现自动化上传了。

CSDN

采用阿里云的OSS JS SDK(aliyun-sdk-js)上传,需要相应的api key。

主要的请求流程

  1. https://bizapi.csdn.net/download-console-api/v1/user/sources/getAuthorized
    需要两个参数fileMd5和fileSize
  2. oss上传:https://csdn-dl-data.oss-cn-beijing.aliyuncs.com
  3. 提交文档其它信息:https://upload.csdn.net/v1/user/sources/saveSource

通过Devtool里观察请求,可以看到oss js client上传的地址为https://csdn-dl-data.oss-cn-beijing.aliyuncs.com/down11/20230918/e92fda210d61b278e7165bfb8e17b025.pdf?uploads=,采用XHR断点,观察调用栈,结合OSS JS SDK的说明,可以推断出它采用的是分片上传,调用的是multipartUpload()方法,于是设置断点:

在这里插入图片描述
即可看到三个主要参数keyId, keySecret和token,这些是临时的会话秘钥信息。

这个三个参数什么时候传递到客户端的?可以采用拦截器搜索一下:

在这里插入图片描述
我们采用Hetty作为代理,然后搜accessKeyId的值,即可发现getAuthorized请求时会传回这两个值。

相关链接

  • 阿里云OSS SDK

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1020055.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

vue中slot,slot-scope,v-slot的用法和区别

slot用于设置标签的属性值(slot“title”)slot-scopev-slot slot <el-menu-item v-if"!navMenu.children" :key"navMenu.id" :index"navMenu.id " click"itemClick(navMenu)" ><span slot"title">{{ navMenu.…

2023-09-18 monetdb-GDK和BAT-分析与思考

摘要: GDK作为moentdb的最核心的内核, 可以看作是物理计划的执行, 以及与磁盘IO直接进行交互. 而物理列的数据结构, 就是BAT. 所以GDK也可以看作是对BAT的操作的模块, BAT是GDK操作的对象, 是GDK的一部分. GDK和BAT的名字其实无关紧要, 重要的是这些模块所承载的功能. GDK: …

【LeetCode-简单题】剑指 Offer 58 - II. 左旋转字符串

文章目录 题目方法一&#xff1a;连续双指针翻转 题目 方法一&#xff1a;连续双指针翻转 class Solution {public String reverseLeftWords(String s, int n) {StringBuffer sb new StringBuffer(s);reverseWord(sb,0,n-1);reverseWord(sb,n,sb.length()-1);return sb.revers…

Linux kernel之中断

Linux内核中断顶半部和中断底半部 设备的中断会打断内核进程中的正常调度和运行&#xff0c;系统对更高吞吐率的追求势必要求中断服务程序尽量短小精悍。但是&#xff0c;这个良好的愿望往往与现实并不吻合。在大多数真实的系统中&#xff0c;当中断到来时&#xff0c;要完成的…

markdown工具Atom预览与插件安装

​atom是以命令行作为插件选项的入口 打开命令输入框 Windows: ctrl shift p Mac: command shift p 输入命令安装 输入 markdown preview toggle &#xff0c;可以偷懒只输入mdpt(模糊匹配) 按enter键即可看到预览&#xff0c;如图&#xff0c;左边编辑&#xff0c;右…

手把手教你搭建农产品商城小程序:详细步骤解析

随着移动互联网的普及&#xff0c;越来越多的人开始关注如何在手机上进行购物&#xff0c;尤其是对于农产品这类日常生活所需品。本文将手把手教你搭建一个农产品商城小程序&#xff0c;让你轻松实现在手机上购买农产品的愿望。 一、登录乔拓云网后台 首先&#xff0c;我们需要…

【C++STL基础入门】list的运算符重载和关于list的算法

文章目录 前言一、list运算符1.1 逻辑运算符1.2 赋值运算符 二、list相关算法2.1 查找函数总结 前言 C标准模板库&#xff08;STL&#xff09;是一组强大而灵活的工具&#xff0c;用于处理数据结构和算法。其中&#xff0c;std::list是STL中的一个重要容器&#xff0c;它实现了…

Hyper-V 虚拟机CentOS配置网络(三)

总目录 https://preparedata.blog.csdn.net/article/details/132877836 文章目录 总目录一、创建交换机二、共享网络给交换机三、虚拟机配置交换机四、配置CentOS网络 一、创建交换机 二、共享网络给交换机 打开物理宿主机的控制面板的网络链接中心&#xff0c;此时已经多了一…

嵌入式Linux驱动开发(I2C专题)(七)

使用GPIO操作I2C设备_IMX6ULL 参考资料&#xff1a; Linux文档 Linux-5.4\Documentation\devicetree\bindings\i2c\i2c-gpio.yamlLinux-4.9.88\Documentation\devicetree\bindings\i2c\i2c-gpio.txt Linux驱动源码 Linux-5.4\drivers\i2c\busses\i2c-gpio.cLinux-4.9.88\driv…

成集云 | 金蝶K3与旺店通ERP集成(旺店通主管库存)| 解决方案

源系统成集云目标系统 方案介绍 金蝶K3是一款ERP软件&#xff0c;它集成了供应链管理、财务管理、人力资源管理、客户关系管理、办公自动化、商业分析、移动商务、集成接口及行业插件等业务管理组件。以成本管理为目标&#xff0c;计划与流程控制为主线&#xff0c;…

掌动智能:高效实用的Web自动化测试工具

在当今的软件开发领域&#xff0c;快速且高质量的Web应用程序开发和测试至关重要。为了满足这一需求&#xff0c;掌动智能推出了一款高效实用的Web自动化测试工具&#xff0c;帮助测试人员提高测试效率、提升产品质量&#xff0c;并加速交付速度。 掌动智能&#xff1a;引领自动…

代码随想录算法训练营第55天 | ● 392.判断子序列 ● 115.不同的子序列

文章目录 前言一、392.判断子序列二、115.不同的子序列总结 前言 动态规划&#xff1b; 一、392.判断子序列 这道题应该算是编辑距离的入门题目&#xff0c;因为从题意中我们也可以发现&#xff0c;只需要计算删除的情况&#xff0c;不用考虑增加和替换的情况。 所以掌握本题的…

73、SpringBoot 直接整合 JDBC

★ Spring Boot可直接整合JDBC来操作数据库 ——很少这么干&#xff0c;这么干就意味着使用最原始的方式来操作数据库。对于对于极小的项目&#xff0c;直接整合JDBC无需添加JPA、Hibernate等ORM框架。★ JdbcTemplate 为项目添加spring-boot-starter-jdbc.jar依赖&#xff0…

R语言绘图-3-Circular-barplot图

0. 参考&#xff1a; https://r-graph-gallery.com/web-circular-barplot-with-R-and-ggplot2.html 1. 说明&#xff1a; 利用 ggplot 绘制 环状的条形图 (circular barplot)&#xff0c;并且每个条带按照数值大小进行排列。 2 绘图代码: 注意&#xff1a;绘图代码中的字体…

redis 哨兵(sentinel)机制

1. 前言 sentinel&#xff08;哨兵&#xff09;是Redis 的高可用性解决方案之一。通过哨兵可以创建一个当主服务器出现故障时自动将从服务器升级为主服务器的分布式系统&#xff0c;解决了主从复制出现故障时需要人为干预的问题。 redis 的主从复制的作用有数据预热、负载均衡…

UML基础与应用之对象图

什么是对象图&#xff1f; 对象图表示一组对象及它们之间的关系&#xff0c;是某一时刻系统详细信息的快照&#xff0c;描述系统交互的静态图形&#xff0c;它由协作的对象组成&#xff0c;但不包含在对象之间传递的任何消息。因为对象是类的实例化&#xff0c;所以说某一时刻…

步步为营,如何将GOlang引用库的安全漏洞修干净

文章目录 引场景构建第一步、直接引用的第三方库升级修复策略1.确认是否为直接引用的第三方库2.找到需要升级的版本是否为release版本 第二步、间接引用的第三方库升级修复策略那么问题来了&#xff0c;我们这么间接引用库的对应的直接引用库是哪个呢&#xff1f; &#xff08;…

uni-app实现web-view图片长按下载

<template><view><web-view :webview-styles"webviewStyles" :src"webUrl"></web-view></view> </template> uniapp的web-view中图片无法长按保存&#xff0c;IOS下是正常的&#xff0c;但是Android下长按无反应 解…

在测试过程中引入可观测性平台提升业务质量

作者 观测云 产品技术专家 成都办公室 - 刘跃兰 前言 随着微服务技术的发展&#xff0c;微服务概念已深入人心&#xff0c;越来越多的企业开始使用微服务架构来开发业务应用。业务应用系统的整体架构变得更加复杂&#xff0c;并存在各种各样的不确定性因素&#xff0c;从而对…

nginx+keepalived集群搭建

1. nginx部署 单机部署可参考&#xff1a;https://blog.csdn.net/ym5209999/article/details/119897237 2. keepalived安装 [rootnginx1 ~]# yum -y install keepalived3. keepalived配置 3.1 安装完成后&#xff0c;默认配置文件位于&#xff1a;/etc/keepalived&#xff…