在现代软件开发中，跨语言系统的集成已经成为日常工作的一部分。特别是当Python和Java之间进行交互时，编码问题往往会成为导致数据传输错误、乱码以及难以调试的主要原因之一。
你是否曾遇到过这种情境：Python脚本通过标准输出返回了正确的数据，但Java服务读取时却显示乱码？或者，反之，Java中打印的数据在Python中也无法正确显示？
问题的根本原因通常是Python与Java在字符编码处理上的不一致，尤其是UTF-8编码。这篇博客将详细解析如何通过几个简单的步骤，解决Python和Java之间的编码不一致问题，确保数据能够正确、无缝地在两者之间流动。
背景：为什么会出现乱码？
Python与Java在字符编码的处理方式上有所不同。当Python脚本产生输出时，它默认使用系统的编码方式，可能是UTF-8、GBK等，而Java通常期望以UTF-8的方式读取标准输出流。如果Python的编码方式与Java读取时的编码不一致，就会导致乱码问题。
问题产生的场景
假设我们有一个Python脚本，它从某个API获取数据并返回。Java服务通过ProcessBuilder执行Python脚本，并从标准输出流中读取返回结果。然而，若没有明确指定编码，Java可能会因默认使用平台编码方式而导致乱码。
解决方案：确保统一的UTF-8编码
我们可以通过几个步骤确保Python和Java之间的编码一致性，避免乱码问题。
步骤 1：修改Python脚本，显式指定编码
首先，我们需要确保Python脚本在输出响应时，明确设置为使用UTF-8编码。
修改Python脚本：
在Python脚本中，我们可以通过设置response.encoding = 'utf-8'来显式设置响应的编码格式。这个步骤确保Python脚本生成的输出始终使用UTF-8编码。
import sys
import requests
import json
def get_access_token():
# 省略获取token的逻辑
return "your_access_token"
def main():
url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/ernie_speed?access_token=" + get_access_token()
content = sys.argv[1] # 从命令行参数获取输入内容
payload = json.dumps({"messages": [{"role": "user", "content": content}]})
headers = {'Content-Type': 'application/json'}
response = requests.post(url, headers=headers, data=payload)
response.encoding = 'utf-8' # 显式设置编码
print(response.text) # 输出响应内容
通过response.encoding = 'utf-8'，我们明确告诉Python使用UTF-8编码来处理响应，这样即使是包含特殊字符的内容，也能正确编码输出。
步骤 2：在Java中设置Python的编码环境变量
Java使用ProcessBuilder执行Python脚本时，默认的编码可能不是UTF-8。为了强制Python输出使用UTF-8编码，我们需要在ProcessBuilder中设置环境变量PYTHONIOENCODING。
修改Java服务层代码：
在Java中，使用ProcessBuilder执行Python脚本时，我们可以通过processBuilder.environment().put("PYTHONIOENCODING", "utf-8")来确保Python环境使用UTF-8编码。
import java.io.*;
import java.nio.charset.StandardCharsets;
public class PythonExecutorServiceImpl {
private static final String PYTHON_EXECUTABLE = "python";
private static final String PYTHON_SCRIPT_PATH = "/path/to/your/script.py";
public String executeScript(String content) throws IOException {
// 创建ProcessBuilder，执行Python脚本
ProcessBuilder processBuilder = new ProcessBuilder(
PYTHON_EXECUTABLE,
PYTHON_SCRIPT_PATH,
content
);
// 设置环境变量，确保Python输出使用UTF-8
processBuilder.environment().put("PYTHONIOENCODING", "utf-8");
processBuilder.redirectErrorStream(true);
// 启动进程并读取输出流
Process process = processBuilder.start();
InputStreamReader reader = new InputStreamReader(process.getInputStream(), StandardCharsets.UTF_8);
BufferedReader bufferedReader = new BufferedReader(reader);
StringBuilder output = new StringBuilder();
String line;
while ((line = bufferedReader.readLine()) != null) {
output.append(line).append("\n");
}
bufferedReader.close();
return output.toString();
}
}
通过设置环境变量PYTHONIOENCODING，我们确保Python在执行时始终使用UTF-8编码，这样Java就可以正确读取Python的标准输出流。
步骤 3：确保Java读取流时使用UTF-8
在Java中，我们使用InputStreamReader读取进程的输出流时，也需要明确指定编码格式。通过new InputStreamReader(process.getInputStream(), StandardCharsets.UTF_8)，我们确保Java以UTF-8编码读取Python的输出。
完整代码示例
Python脚本（model.py）
import sys
import requests
import json
def get_access_token():
# 模拟获取token
return "your_access_token"
def main():
url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/ernie_speed?access_token=" + get_access_token()
content = sys.argv[1]
payload = json.dumps({"messages": [{"role": "user", "content": content}]})
headers = {'Content-Type': 'application/json'}
response = requests.post(url, headers=headers, data=payload)
response.encoding = 'utf-8' # 显式设置编码
print(response.text)
if __name__ == '__main__':
main()
Java服务层（PythonExecutorServiceImpl.java）
import java.io.*;
import java.nio.charset.StandardCharsets;
public class PythonExecutorServiceImpl {
private static final String PYTHON_EXECUTABLE = "python";
private static final String PYTHON_SCRIPT_PATH = "/path/to/your/script.py";
public String executeScript(String content) throws IOException {
ProcessBuilder processBuilder = new ProcessBuilder(
PYTHON_EXECUTABLE,
PYTHON_SCRIPT_PATH,
content
);
// 设置环境变量确保Python输出UTF-8
processBuilder.environment().put("PYTHONIOENCODING", "utf-8");
processBuilder.redirectErrorStream(true);
Process process = processBuilder.start();
InputStreamReader reader = new InputStreamReader(process.getInputStream(), StandardCharsets.UTF_8);
BufferedReader bufferedReader = new BufferedReader(reader);
StringBuilder output = new StringBuilder();
String line;
while ((line = bufferedReader.readLine()) != null) {
output.append(line).append("\n");
}
bufferedReader.close();
return output.toString();
}
}
总结
通过这几个简单的步骤，我们可以确保Python脚本和Java服务在数据传输时使用相同的UTF-8编码，从而避免乱码问题。这种方法不仅适用于Python与Java的交互，也可以用于其他语言间的数据传输问题。保持统一的字符编码，是跨语言集成时的一个小细节，但却能有效避免许多潜在的问题，让系统更加稳定、可靠。
在开发过程中，细心地处理字符编码问题是避免麻烦的关键，尤其是涉及到不同语言的集成时。希望通过这篇博客，能够帮助你快速解决Python与Java交互中的乱码问题，提升跨语言开发的效率！
