Skip to content

离线环境运行报错 #904

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
4 tasks done
hugefrog opened this issue May 8, 2025 · 5 comments
Open
4 tasks done

离线环境运行报错 #904

hugefrog opened this issue May 8, 2025 · 5 comments
Labels
bug Something isn't working Normal priority
Milestone

Comments

@hugefrog
Copy link

hugefrog commented May 8, 2025

在提问之前...

  • 我已经搜索了现有的 issues
  • 我在提问题之前至少花费了 5 分钟来思考和准备
  • 我已经认真且完整的阅读了 wiki
  • 我已经认真检查了问题和网络环境无关(包括但不限于Google不可用,模型下载失败)

使用的环境

-离线win10环境
-pdf2zh-v1.9.6-with-assets-win64

请选择安装方式

exe

描述你的问题

离线win10环境,用的这个包pdf2zh-v1.9.6-with-assets-win64.zip,安装了包里面的vc_redist.x64.exe并重启。
报错:openaipublic.blob.core.windows.net/encodings/o200k_base.tiktoken无法访问。
在在线电脑上测试了没问题的,直接把在线电脑上的软件目录拷贝到离线电脑上就不能运行。

如何复现

  1. 执行 '...'
  2. 选择 '....'
  3. 出现问题

预期行为

No response

相关 Logs


原始PDF文件

No response

还有别的吗?

No response

@hugefrog hugefrog added the bug Something isn't working label May 8, 2025
@hellofinch
Copy link
Contributor

在在线电脑上测试了没问题的,直接把在线电脑上的软件目录拷贝到离线电脑上就不能运行。

这里具体是怎么操作的可以描述一下吗?

@hugefrog
Copy link
Author

hugefrog commented May 8, 2025

在在线电脑上测试了没问题的,直接把在线电脑上的软件目录拷贝到离线电脑上就不能运行。

这里具体是怎么操作的可以描述一下吗?

1.直接把pdf2zh-v1.9.6-with-assets-win64.zip解压到在线电脑的d:\pdf2zh目录。
2.安装vc_redist.x64.exe,重启。
3.在线电脑运行成功。
4. 把在线电脑的d:\pdf2zh目录打包,复制到离线电脑。
5.在离线电脑xxx目录解开压缩包,安装vc_redist.x64.exe,重启。
6. 运行exe报错。

@awwaawwa awwaawwa added this to the v2.1.0 milestone May 8, 2025
@hellofinch
Copy link
Contributor

复制东西复制少了,在用户路径下还有cache文件没有复制走。

@awwaawwa
Copy link
Collaborator

awwaawwa commented May 8, 2025

请用2.0预览版重试

@galoisgroupcn
Copy link

离线环境解决tiktoken模型文件无法访问问题

  1. 在联网电脑上预下载模型文件:

在一台可以联网的电脑上,运行如下 Python 脚本以下载所需的tiktoken模型文件,并保存到本地文件夹(比如 tiktoken_assets):

import os
import tiktoken

# 以 o200k_base 为例,其他模型类似
enc = tiktoken.get_encoding("o200k_base")
output_dir = "tiktoken_assets"
os.makedirs(output_dir, exist_ok=True)
# tiktoken 会自动缓存到 ~/.cache/tiktoken
# 你可以直接复制 ~/.cache/tiktoken 目录下的所有 .tiktoken 文件到 output_dir

或者直接去 ~/.cache/tiktoken 目录下找到所有 .tiktoken 文件,拷贝出来即可。

  1. 把模型文件复制到离线电脑:

将下载好的 .tiktoken 文件夹(如 tiktoken_assets)拷贝到你的离线电脑。

  1. 设置环境变量指向本地缓存:

在离线电脑上运行你的应用前,设置环境变量(Windows 下,cmd 示例):

set TIKTOKEN_CACHE_DIR=你的\tiktoken_assets\本地路径

或者在启动脚本/批处理文件中加入:

set TIKTOKEN_CACHE_DIR=%~dp0tiktoken_assets

  1. 确保应用启动时读取本地tiktoken模型文件:

这样,tiktoken会优先在你指定的本地目录查找 .tiktoken 文件,而不会尝试联网下载。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working Normal priority
Projects
None yet
Development

No branches or pull requests

4 participants