euler-copilot-rag/download_model.py · openEuler/euler-copilot-rag - AtomGit

e329cdac创建于 2025年6月27日历史提交

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4") 
print(len(enc.encode('hello world')))