CANN/hixl Python接口参考
接口参考（Python）
【免费下载链接】hixlHIXL（Huawei Xfer Library）是一个灵活、高效的昇腾单边通信库，面向集群场景提供简单、可靠、高效的点对点数据传输能力。项目地址: https://gitcode.com/cann/hixl
支持的形态如下：
- Atlas A2 训练系列产品/Atlas A2 推理系列产品：仅支持Atlas 800I A2 推理服务器、A200I A2 Box 异构组件。该场景下Server采用HCCS传输协议时，仅支持D2D。最大注册50GB的Device内存，20GB的Host内存。注册内存越大，占用的OS内存越大。
- Atlas A3 训练系列产品/Atlas A3 推理系列产品：该场景下采用HCCS传输协议时，不支持Host内存作为远端Cache。最大注册50GB的Device内存，20GB的Host内存。注册内存越大，占用的OS内存越大。
- Ascend 950PR/Ascend 950DT：超节点内使用UB协议，超节点间使用RoCE协议。
当前支持Python3.9~12，Python安装方法请参考Python官网。
最大注册50GB的Device内存，20GB的Host内存。注册内存越大，占用的OS内存越多。该约束支持的形态如下：
- Atlas A2 训练系列产品/Atlas A2 推理系列产品：仅支持Atlas 800I A2 推理服务器、A200I A2 Box 异构组件。
- Atlas A3 训练系列产品/Atlas A3 推理系列产品
接口列表如下：
- LLMDataDist
- LLMConfig
- CacheManager
- Cache
- LLMRole
- LLMClusterInfo
- RegisterMemStatus
- Placement
- CacheDesc
- MemType
- MemInfo
- CacheKey
- CacheKeyByIdAndIndex
- BlocksCacheKey
- LayerSynchronizer
- TransferConfig
- TransferWithCacheKeyConfig
- CacheTask
- LLMException
- LLMStatusCode
- DataType
- 待废弃
【免费下载链接】hixlHIXL（Huawei Xfer Library）是一个灵活、高效的昇腾单边通信库，面向集群场景提供简单、可靠、高效的点对点数据传输能力。项目地址: https://gitcode.com/cann/hixl
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考