Pycharm连接远端Python环境操作Spark

news2024/11/17 3:43:04

文章目录

    • 1. 创建工程,指定远端python解析器
    • 2. 添加远端python解析器
    • 3.配置完成
    • 4.本地文件自动同步远端
    • 5.删除远端python解析器(非必须操作,重新配置时参考该项)
    • 6. 文件模板配置

远程连接方案, 允许程序员连接远端测试环境, 确保环境的统一, 避免各种环境问题的发生,而且由于是连接的远程环境, 所有在Pycharm编写的代码 可自动上传到远端服务器, 本地在执行代码的时候, 相当于直接在远端环境上运行。

1. 创建工程,指定远端python解析器

前提条件:远端Centos系统,安装了Spark环境,安装了Python环境,本文基于anaconda安装的python环境

打开pycharm开发工具,选择File->New Project->Pure Python创建一个Python工程
需要:指定工程本地工作目录,选择先前配置的python解析器,若未配置远端python解析器,则打开对话框根据提示配置
在这里插入图片描述

2. 添加远端python解析器

添加远端python解析器,需要SSH方式(指定服务器地址、登录用户名、登录口令)登录远端服务器
在这里插入图片描述
指定服务器的登录口令
在这里插入图片描述
单机 Next,连接到服务器后,选择python的安装目录
在这里插入图片描述
配置完成,就可以选择已经配置了的服务器python解析器。同时指定工程在服务器上的工作目录
在这里插入图片描述

3.配置完成

配置完成,File->Settings -> 选择对应工程,可以发现:服务器上python环境安装的工具包,及本地工作目录和服务器工作目录的映射。这里主要关注pyspark包的安装
在这里插入图片描述

4.本地文件自动同步远端

本地工程文件实时同步到服务器工作目录,若担心影响开发效率,可以关闭自动同步,开启手工同步
在这里插入图片描述

5.删除远端python解析器(非必须操作,重新配置时参考该项)

配置过程中,若发现服务器python解析器配置错误,或配置重复,可从此处进入,删除有误的配置
在这里插入图片描述

6. 文件模板配置

每个文件都用到的一些代码,例如导包,本地锁定服务器python解析器,可以做成一个模板。工程中每次创建一个新文件,会自动导入模板。
在这里插入图片描述

#!/usr/bin/env python
# @desc : 
__coding__ = "utf-8"
__author__ = "xxx team"

from pyspark import SparkContext, SparkConf
import os

# 锁定远端操作环境, 避免存在多个版本环境的问题
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ["PYSPARK_PYTHON"] = "/root/anaconda3/bin/python"
os.environ["PYSPARK_DRIVER_PYTHON"] = "/root/anaconda3/bin/python"

# 快捷键:  main 回车
if __name__ == '__main__':
    print("XXX案例")

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/695359.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

消息队列中间件(一)

场景 流量削峰 应用解耦 异步处理 分类 ActiveMQ 优:单机吞吐万级,时效性ms级,可用性高(主从架构),可靠性高(丢失率低) 缺:官方维护少,高吞吐场景较少…

QT Creator上位机学习(二)基础控件及信号与槽

c# 系列文章目录 文章目录 布局控件信号与槽程序图标使用技巧 布局控件 美化界面的时候,经常需要进行一些控件的布局,这时需要使用一些容器类。 在快捷栏出,也有一些布局设计的选择 如上图,其中涉及到几种编辑状态&#xff1…

Math简单学习

1.绝对值 就变个符号 public static double abs(double a) {return (a < 0.0D) ? 0.0D - a : a; }public static float abs(float a) {return (a < 0.0F) ? 0.0F - a : a;}public static int abs(int a) {return (a < 0) ? -a : a;}IntrinsicCandidatepublic sta…

Redis【实战篇】---- 优惠卷秒杀

Redis【实战篇】---- 优惠卷秒杀 1. 全局唯一ID2. Redis实现全局唯一ID3. 添加优惠券4. 实现秒杀哦下单5. 库存超卖问题分析6. 乐观锁解决超卖问题7. 优惠券秒杀 ---- 一人一单8. 集群环境下的并发问题 1. 全局唯一ID 每个店铺都可以发布优惠券&#xff1a; 当用户抢购时&…

封装websocket请求-----vue2

参考 (875条消息) 封装websocket请求-----vue项目实战&#xff08;完整版&#xff09;_vue websocket封装_winne雪的博客-CSDN博客https://blog.csdn.net/m0_38134431/article/details/105794108 一、在utils目录下创建websocket.js文件 import {Message} from element-ui /…

Mac 已经在.bash_profie中配置过sdk环境依然报zsh: command not found: adb

提示 前置条件 已经安装好Android studio 然后~/.bash_profile 或.bash_profile也已经配置sdk路径&#xff0c;打开第二个终端输入adb时提示zsh: command not found: adb 解决办法 打开终端输入下面命令 echo export ANDROID_HOME/Users/$USER/Library/Android/sdk >>…

近日,我处理了一个大文件导入 nginx HTTP/1.1“ 413 585的问题

今天&#xff0c;导入一个1万多条数据的excel文件&#xff0c;本地没有用到nginx&#xff0c;导入很顺畅 部署到了线上后&#xff0c;导入文件后后台并没有日志输出&#xff0c;说明没有进入后端 经过摸排&#xff0c;分析&#xff0c;最终发现&#xff0c;是nginx这关没过 …

智能相机的功能介绍

智能视觉检测相机主要是应用在工业检测领域图像分析识别、视觉检测判断。相机具有颜色有无判别、颜色面积计算、轮廓查找定位、物体特征灰度匹配、颜色或灰度浓淡检测、物体计数、尺寸测量、条码二维码识别读取、尺寸测量、机械收引导定位、字符识别等功能。相机带有HDMI高清视…

stm32使用clion移植canfestival(canopen)

官方网站 https://canfestival.org/index.html.en 非官方的下载地址 GitHub - ljessendk/CanFestival 每个版本的源码会有些差异&#xff0c;移植代码的时候最好把源码也一并移植 以下使用硬石h743开发板, 并使用TIM8作为FDCAN1的定时器 STM32CubeMax 设置APB1的频率为20…

vscode设置可以搜索包含node_modules中的文件

步骤3中删除掉node_modules&#xff0c;再搜索的时候&#xff0c;node_modules的匹配到代码也会展示出来了。 如果不想要被搜索文件包含node_modules,再添加上就可以。

数值分析算法 MATLAB 实践 数值优化算法

数值分析算法 MATLAB 实践 数值优化算法 黄金分割法 function [x,y,k_cnt ] Goldensection(fun, a, b, eps) %fun为优化函数&#xff0c;a为区间左侧值&#xff0c;b为区间右侧值&#xff0c;eps为精度 % 黄金分割法 k_cnt0;while(b - a > eps)x1 a 0.382 * (b - a);x2 a…

OpenXML库(office文档读写库)的安装

本体安装 OpenXml库是由微软维护的一个开源的Office文档读写库&#xff0c;其与其他类似用途的库的比较可以看到这篇文章。 在C#中使用OpenXml非常简单&#xff0c;只需要使用NuGet安装其程序包即可&#xff0c;流程如下(NuGet这东西真的是个神器啊&#xff01;)&#xff1a;…

探索嵌入式开发领域:单片机、ARM、Android底层的紧密联系

作为一个曾编写ARM教程和参与Android产品开发的专家&#xff0c;我发现单片机、ARM、嵌入式开发和Android底层开发之间存在紧密的联系。对于那些希望在嵌入式开发领域发展的人来说&#xff0c;了解这些领域的知识至关重要。为了帮助你更好地学习这些内容&#xff0c;我总结了一…

pytorch简单入门

PyTorch是一个基于Python的科学计算库&#xff0c;主要针对两类人群&#xff1a;NumPy使用者和深度学习研究人员。它提供了灵活的高效的GPU加速计算&#xff0c;并且具有广泛的工具箱&#xff0c;可以支持复杂的神经网络架构。 在本篇博客中&#xff0c;我将向您介绍如何入门…

Linux自主学习 - 搭建环境

备注&#xff1a;ubuntu-20.04.3-desktop-amd64.iso 一、下载VSCode 1、进入火狐浏览器&#xff0c;百度搜索code.visualstudio.com 2、下载VSCode安装包 3、下载完成后&#xff0c;选择打开所在文件夹 4、点击鼠标右键&#xff0c;选择在终端打开 5、输入以下命令并回车&am…

个人学习记录:深度网络下采样、上采样、空洞卷积和常规卷积理解

空洞&#xff08;扩张&#xff09;卷积&#xff08;Dilated/Atrous Convolution&#xff09; - 知乎 (zhihu.com) (205条消息) 神经网络下采样、上采样——图文计算_Mr DaYang的博客-CSDN博客 空洞卷积理解 下采样 上采样

tcp、udp调试工具

NetAssist(网络调试助手) 下载地址&#xff1a;http://www.cmsoft.cn/resource/102.html tcp-server代码 # codingutf-8 # 多线程TCP服务器import socket import threadingbind_ip "192.168.137.1" # 监听的IP 地址 bind_port 5100 # 监听的端口# 建立一个socke…

亚马逊云科技中国峰会聚焦生成式AI等前沿科技,探讨当下时代的挑战与机遇

6月27日&#xff0c;“2023亚马逊云科技中国峰会”在上海世博中心盛大启幕&#xff01; 亚马逊全球副总裁、亚马逊云科技大中华区执行董事张文翊全面阐述了在当下这个挑战与机遇并存的时代&#xff0c;面对生成式AI等前沿科技带来的新挑战和新机遇&#xff0c;企业需要“面向未…

基于So-VITS-SVC4.1声音克隆音频异常的解决办法

通常在使用VITS进行声音克隆的时候出现声音沙哑或者大佐味,就是日本腔调,这个一方面是由于模型训练的问题,如果觉得模型训练没有问题的话就是参数,或者其他原因。这里介绍一个通用的解决办法。 文章目录 声音预测参数音频生成声音预测参数 按照以下图片进行设置获取模型。…

多肽修饰:DOTA-cyclo(RGDfK) acetate,909024-55-1,试剂信息说明

DOTA-cyclo(RGDfK) acetate&#xff0c;环[L-精氨酰甘氨酰-L-alpha-天冬氨酰-D-苯丙氨酰-N6-[2-[4,7,10-三(羧甲基)-1,4,7,10-四氮杂环十二烷-1-基]乙酰基]-L-赖氨酰] &#xff08;文章资料汇总来源于&#xff1a;陕西新研博美生物科技有限公司小编MISSwu&#xff09;​ 产品…