python连接kafka

news2024/11/23 3:48:01

背景:读取TXT文件,加载到kafka中,然后通过logstash消费kafka中的数据加载到es中

第一步:导入相应的依赖包

pip install kafka-python   
pip install loguru
pip install msgpack

第二步:编写连接kafka的代码

# -*- coding: utf-8 -*-
import json
import json
import msgpack
from loguru import logger
from kafka import KafkaProducer
from kafka.errors import KafkaError

def kfk_produce_1():
    """
        发送 json 格式数据
    :return:
    """
    producer = KafkaProducer(
    //连接kafka集群的配置信息
        bootstrap_servers='192.168.85.109:9092',
        value_serializer=lambda v: json.dumps(v).encode('utf-8')
    )
    //这里是你创建topic和打算发送数据的地方
    producer.send('python_test_topic', {'key': 'value'})

kfk_produce_1()

第三步:验证是否在kafka中创建topic

kafka的消费者界面上已经出现了创建的topic,并且数据也接收到了

注意:下面的消费者界面的按钮,要先运行起来,选择好kafka环境和topic,group以后,点击那个绿色的运行按钮,就能实时看到发送过来的消息了,😄

在这里插入图片描述

问题记录:

在这里插入图片描述

然后在使用时,报错提示:ImportError: cannot import name ‘KafkaConsumer’

找了一会儿最后发现自己创建的文件名叫做:kafka.py,突然意识到问题出在哪里了。

原因:

简单说就是因为,创建的文件名是kafka.py,这会导致代码运行时,python解释器查找kafka的模块时,就找到自身kafka.py了,所以就报错。

以后写代码的时候,还是要注意,切记不要用关键字去命名文件,避免不必要的麻烦。

有问题,欢迎大家留言交流沟通

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/535579.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

chatGPT 中科院学术优化 超详细安装教程

1.下载 项目地址:https://github.com/binary-husky/chatgpt_academic 第一种:可以直接下载zip安装包,然后直接解压。 第二种:采用git来下载 git clone https://github.com/binary-husky/chatgpt_academic.git cd chatgpt_acad…

全新推出Bard,谷歌google或许可以靠它打败微软OpenAI ChatGPT

目录 前言Bard优势Bard新功能更直观的Bard互动Bard深度集成google search“Help me write” in Gmail谷歌地图路线的全新沉浸式视图谷歌照片全新Magic Editor体验Bard与其他服务的结合谷歌为Android开发者推出AI编码机器人其他 总结参考资料其它资料下载 前言 截止到目前&…

LSTM-理解 Part-2(RNN的局限性)

之前写过一部分LSTM-理解 Part-1(RNN:循环神经网络) 这是其中的第二部分,阐述RNN的局限性。 The Problem of Long-Term Dependencies 长期依赖问题 长期依赖问题指的是在序列数据中,某些元素之间存在着较长时间的依赖…

项目开发任务单发布规范-Tower

前言 这是针对低权情况下,美术组内使用的敏捷快速任务单,特点是便捷快速。 选择Tower的原因是因为当年他免费(如果用飞书合集工具效果更好) 在游戏开发中,选择一个合理的任务单工具,并规范任务单具体内容&a…

免费的Cloudflared实现外网访问群晖(续)

这两天可能中了甲流,因为做了抗原始终是一条杠 老婆是前天晚上开始发烧的,我则是从昨天中午开始的,昨晚是 37.8℃,今早起来是 38℃,症状就是肌肉酸痛,头有点昏昏沉沉的,公众号后台、博客上都积…

大佬强推:高速PCB Layout设计技巧及经验

高速PCB Layout设计是电子设计的重要环节,它的好坏,将直接影响到电路板的性能和可靠性,而且很多工程师在学习高速PCB Layout时非常容易走歪路,为了少走歪路,本文将根据多位名师的教学内容,归纳总结整理出这…

pycharm pyqt5 gui designer 安装及配置使用

参考文章: https://blog.csdn.net/wshyb0314/article/details/127916084 https://zhuanlan.zhihu.com/p/32259868 一、安装pyqt5、pyqt5-tools(QtDesigner在这个包里) pip install pyqt5 -i https://pypi.douban.com/simple --trusted-host pypi.douban.com pip i…

怎么给图片加水印?

怎么给图片加水印?不管我们是在平时的工作还是生活中,很多小伙伴都喜欢在各种平台上分享自己拍摄的照片。然而,在收到赞美和点赞之时,我们是否也会因为担心别人转发或滥用图片而感到困扰呢?要解决这个问题非常简单&…

FL Studio2023水果音乐制作入门教程

“没有早期音乐教育,干什么事我都会一事无成”。这并非某位音乐家精心熬制的心灵鸡汤,而是出自物理学家爱因斯坦之口,朋友们没有看错,就是那个被称为二十世纪伟大科学家的爱因斯坦,所以,别不信哦&#xff0…

[FMC150]基于VITA57.1 的2 路125MSPS AD 采集、2 路250MSPS DA 回放FMC 子卡模块(AD9268/AD9747)

板卡概述 FMC150_V30 是一款基于VITA57.1 规范的2 路125MSPS 采样率16 位分辨率AD 采集、2 路250MSPS 采样率16 位分辨率DA回放FMC 子卡模块。该模块遵循VITA57.1 规范,可直接与符合VITA57.1 规范的FPGA 载卡配合使用,板卡ADC 器件采用ADI 公司的AD9268…

上传成功但是在app管理中心找不到版本提交的解决方法

转载:Appuploader 常见错误及解决方法 Appuploader常见错误及解决方法 问题解决秘籍 遇到问题,首先请登录苹果开发者官网检查账号是否有权限,是否被停用,是否过期,是否有协议需要同意,并且在右上角切换账…

Golang笔记:使用http包实现基础WebServer功能

文章目录 目的监听请求并响应请求解析进行响应静态文件服务总结 目的 WebServer是一种非常常用的功能,Golang的高并发特性在处理此类工作中也有较大的优势,同时借助标准库中的 net/http 包可以非常快速的编写WebServer应用。这篇文章将简单记录下相关内…

商业智能上阵,城商行突围数字经济时代

作者 | 曾响铃 文 | 响铃说 ChatGPT爆火,究竟带来了什么? 有人说,它以一种面向C端的直观方式,让普罗大众第一次直观感受到“智能化”的能力和价值。 只要大胆“提出要求”,一个智能化的应用就能够“给出回应”&…

《从0开始学架构》课程笔记(一)

架构到底是指什么? 架构设计相关的特性: 架构设计的思维和程序设计的思维差异很大,架构设计的关键思维是判断和取舍,程序设计的关键思维是逻辑和实现。架构设计没有体系化的培训和训练机制。程序员对架构设计的理解存在很多误区。…

公网SSH远程连接Android Termux - 电脑使用安卓Termux【cpolar内网穿透】

文章目录 1.安装ssh2.安装cpolar内网穿透3.远程ssh连接配置4.公网远程连接5.固定远程连接地址 使用安卓机跑东西的时候,屏幕太小,有时候操作不习惯。不过我们可以开启ssh,使用电脑PC端SSH远程连接手机termux。 本次教程主要实现在安卓手机te…

Kali-linux渗透攻击应用

前面依次介绍了Armitage、MSFCONSOLE和MSFCLI接口的概念及使用。本节将介绍使用MSFCONSOLE工具渗透攻击MySQL数据库服务、PostgreSQL数据库服务、Tomcat服务和PDF文件等。 6.4.1 渗透攻击MySQL数据库服务 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发…

【Sa-Token】Demo OAuth2 授权码模式(静默授权)调用流程分析

文章目录 前言参考目录测试 Demo调用流程分析调用流程说明源码分析0、启动项目1、步骤1:点击授权登录1.1、获取变量以及配置(路由分发的实现)1.2、获取客户端对象1.3、尝试授权(未登录)2、步骤2:输入账号密…

深度探索存储与检索

一个数据库在最基础的层次上需要完成两件事情:当你把数据交给数据库时,它应当把数据存储起来;而后当你向数据库要数据时,它应当把数据返回给你。 作为程序员,为什么要关心数据库内部存储与检索的机理?你可…

生物识别技术是否可以成为应对安全挑战的最佳选择?

引言 随着科技的快速发展,人们对于个人信息安全和物质财富保护的需求越来越高。同时,在恐怖主义和犯罪活动日益增多的当下,各国政府也在积极探索新的安全保障手段。生物识别技术应运而生,其能够通过人体生理特征或行为模式进行身份…

Dynamics 365 自动化发布工具Spkl介绍

本篇主要是为了后面讲述CI/CD时用到的工具做一个说明,先奉上spkl的github地址,没听说过的可以去查看下,挺不错的工具。 我们主要用这个工具来部署WebResource, Plugin和Workflow Activities 以及后续的CI 首先从nuget上下载工具包&#xff0c…