【开源项目-爬虫】Firecrawl

news2025/3/14 6:27:00

看到其他项目引用了这个项目 Firecrawl

用免费额度试了一下，这个项目和之前的 https://r.jina.ai/ 很像（类似的还有 https://www.scrapingbee.com/？），将爬取到的网页转换为 markdown 格式，这样大语言模型用起来就很方便

商业模式就是卖 api，看了一下如果长期大量跑价格不便宜

不过好在还可以本地部署，本地部署的话，不知道代理什么的怎么配置，没有细看

分别用小红书的浏览器首页（小红书 - 你的生活指南）和详情页试了一下

firecrawljina
可以从首页拿到详情页链接可以可以
可以拿到详情页标题 + 图片可以拿不到

通过简单的测试看起来比 jina 强一点点，不过 jina 实际可以白嫖，但 firecrawl 没有深入研究能不能白嫖

官网地址（可以免费尝试）：Firecrawl

github 地址（fork 2.6k，star 30k+）：GitHub - mendableai/firecrawl: 🔥 Turn entire websites into LLM-ready markdown or structured data. Scrape, crawl and extract with a single API.

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2314698.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【已解决】电脑空间告急？我的 Ollama、Docker Desktop软件卸载清理全记录

【已解决】电脑空间告急？我的 Ollama、Docker Desktop软件卸载清理全记录

一、卸载 Ollama、Windows SDK 和 Docker Desktop的原因 最近电脑总提示空间不足，前段时间想本地部署大模型而安装的 Ollama、多个 Windows SDK 以及暂时用不到的 Docker Desktop 占用了不少空间。果断动手卸载，现在把过程整理成博客，分享给同…
阅读更多...
便利店商品推荐数字大屏：基于python和streamlit

便利店商品推荐数字大屏：基于python和streamlit

基于python和streamlit实现的便利店商品推荐大屏，针对选择困难症消费者。 import streamlit as st import pandas as pd import numpy as np import altair as alt from datetime import datetime, timedelta import time# 模拟数据生成 def generate_data():np.ra…
阅读更多...
OpenAI智能体初探：使用 OpenAI Responses API 在 PDF 中实现检索增强生成（RAG）

OpenAI智能体初探：使用 OpenAI Responses API 在 PDF 中实现检索增强生成（RAG）

大家好，我是大 F，深耕AI算法十余年，互联网大厂技术岗。 知行合一，不写水文，喜欢可关注，分享AI算法干货、技术心得。 欢迎关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！ 引子 在信息爆炸的时代，从大量 PDF 文档中快速准确地检索信息…
阅读更多...
【实战-解决方案】Webpack 打包后很多js方法报错：not defined

【实战-解决方案】Webpack 打包后很多js方法报错：not defined

问题分析 在不打包的情况下，方法（如 checkLoginStatus、filterSites、initProgressBar 等）可以正常运行，而经过 Webpack 打包后报 is not defined 错误，通常有以下几个可能的原因： 全局变量丢失 在 Webpac…
阅读更多...
【大模型基础_毛玉仁】2.3 基于 Encoder-only 架构的大语言模型

【大模型基础_毛玉仁】2.3 基于 Encoder-only 架构的大语言模型

更多内容：XiaoJ的知识星球 目录 2.3 基于Encoder-only 架构的大语言模型2.3.1 Encoder-only 架构2.3.2 BERT 语言模型1）BERT 模型结构2）BERT 预训练方式3）BERT 下游任务 2.3.3 BERT 衍生语言模型1）RoBERTa 语言模型2&a…
阅读更多...
链表所有节点值的和

链表所有节点值的和

class Node:# 节点类，每个节点包含数据(data)和指向下一个节点的引用(next)def __init__(self, data):self.data data # 存储节点的数据self.next None # 指向下一个节点，默认值为None，表示没有下一个节点class LinkedList:# 链表类&…
阅读更多...
STM32 F407ZGT6开发板

STM32 F407ZGT6开发板

#ifndef _tftlcd_H #define _tftlcd_H #include "system.h" //定义LCD彩屏的驱动类型 可根据自己手上的彩屏背面型号来选择打开哪种驱动 //#def…
阅读更多...
c# txt文档的实时显示，用来查看发送接收指令

c# txt文档的实时显示，用来查看发送接收指令

通讯历史按钮 private void uiButton1_Click(object sender, EventArgs e){try{logf new logF();logf.Show();}catch (Exception){throw;} }主页面关闭函数（点击保存就为true true就不删除） private void page1_FormClosed(object sender, FormClos…
阅读更多...
Excel 数据转换为SQL语句

Excel 数据转换为SQL语句

文章目录 一、制作公式二、示例图 一、制作公式 1、找一列空白的，选中一个单元格，输入""，在双引号中写入INSERT语句脚本，然后回车。 // 数字代表行数 “INSERT INTO PayList (product, rmb) VALUES (”&A10&“…
阅读更多...
SpringMVC （一）基础

SpringMVC （一）基础

目录 SpringMVC 一 简单使用 1 新建模块选择指定参数 2 创建实现类 3 将项目启动 4 运行结果：在浏览器当中响应执行 二 RequestMapping 三 请求限定 SpringMVC SpringMVC是Spring的web模块，用来开发Web应用，SpringMVC应用最终作为B/…
阅读更多...
windows第十二章 MFC控件常用消息

windows第十二章 MFC控件常用消息

文章目录 控件反射消息机制文本框控件EN_CHANGE消息EN_UPDATE消息EN_SETFOCUS消息EN_KILLFOCUS消息EN_MAXTEXT消息EN_ERRSPACE消息EN_HSCROLL消息 按钮控件BN_CLICKED消息BN_DOUBLECLICKED消息BN_SETFOCUS消息BN_KILLFOCUS消息 单选按钮BN_CLICKED 消息 复选框BN_CLICKEDBN_DOU…
阅读更多...
基于C语言的简单HTTP Web服务器实现

基于C语言的简单HTTP Web服务器实现

1. 概述 本案例使用C语言实现了一个简单的HTTP服务器，能够处理客户端的GET请求，并返回静态文件（如HTML、图片等）。在此案例中案例，我们主要使用的知识点有： Socket编程：基于TCP协议的Socket通信…
阅读更多...
ZYNQ初识13（zynq_7020）hdmi和串口板载功能的验证

ZYNQ初识13（zynq_7020）hdmi和串口板载功能的验证

（1）另：首先需要确认供电模块，电压转换模块没有问题，测量后上电防止出现短路。通过vivado下载bit流文件检测JTAG下载口是否正常，如可正常检测，才可进行下一步验证。 （2）以…
阅读更多...
ollama下载的DeepSeek的模型(Model)文件在哪里？(C盘下)

ollama下载的DeepSeek的模型(Model)文件在哪里？(C盘下)

目录 一、下载大模型（DeepSeek） 2. 安装 Ollama 3. 检查安装是否成功 二、拉取大模型（DeepSeek） 1. 打开命令行 2. 下载模型 3. 测试下载 4. 等待下载完成 三.模型存放路径 这个位置！！ 在人工智能…
阅读更多...
docker的anythingllm和open-webui压缩包分享（国内镜像拉取，百度云压缩包分享）

docker的anythingllm和open-webui压缩包分享（国内镜像拉取，百度云压缩包分享）

文章目录 前言第一部分：镜像获取🚀 方式一：切换国内下载镜像✅1. 下载anythingllm✅ 2. 下载open-webui 🚀方式二：下载我分享的百度云✅ anythingllm压缩包百度云链接❎ open-webui压缩包 第二部分：下载之后…
阅读更多...
父组件中循环生成多个子组件时，有且只有最后一个子组件的watch对象生效问题及解决办法

父组件中循环生成多个子组件时，有且只有最后一个子组件的watch对象生效问题及解决办法

提示：父组件中循环生成多个子组件时，有且只有最后一个子组件的watch对象生效问题及解决办法 文章目录 [TOC](文章目录) 前言一、问题二、解决方法——使用function函数代替箭头函数()>{}总结 前言 ‌‌‌‌‌问题：子组件用that解决watch无…
阅读更多...
求递增子序列LIS的两种方法

求递增子序列LIS的两种方法

文章目录 前言一、普通动态规划（DP）求解LIS1.DP思路2.DP的状态定义与转移方程3.DP的时间与空间复杂度4.DP代码实现5.DP的图文示例 二、贪心 二分查找求解LIS1.思路分析2.贪心 二分的时间与空间复杂度 三. 模板题讲解1.洛谷B3637 最长上升子序列1.dp写法…
阅读更多...
【Linux篇】进程状态（僵尸进程，孤儿进程），优先级与调度机制

【Linux篇】进程状态（僵尸进程，孤儿进程），优先级与调度机制

📌 个人主页： 孙同学_ 🔧 文章专栏：Liunx 💡 关注我，分享经验，助你少走弯路！ 文章目录 1. 前文铺垫理解内核链表 2. 进程状态2.1 进程状态查看2.2 僵尸进程2.3 僵尸进程危害2.4 孤儿…
阅读更多...
AI应用加速落地丨MaxKB正在被政府、公共事业、教育和医疗行业用户广泛采纳

AI应用加速落地丨MaxKB正在被政府、公共事业、教育和医疗行业用户广泛采纳

2025年2月至3月上旬，伴随着各个行业接入并使用DeepSeek，MaxKB开源知识库问答系统正在被越来越多的行业用户所采纳，是人工智能行业落地的强应用。目前，MaxKB在政府、公共事业、教育和医疗四大行业已经拥有了众多典型案例&#xff0…
阅读更多...
2024年第十五届蓝桥杯软件C/C++大学A组——五子棋对弈

2024年第十五届蓝桥杯软件C/C++大学A组——五子棋对弈

蓝桥杯原题： 题目描述： “在五子棋的对弈中，友谊的小船说翻就翻？ ” 不！对小蓝和小桥来说，五子棋不仅是棋盘上的较量，更是心与心之间的沟通。这两位挚友秉承着 “ 友谊第一，比赛第二…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023