Job Opportunities API

高级大数据开发工程师 / 大数据开发专家（Web3 + AI方向） 职责描述 (Responsibilities) 负责公司大数据平台的架构设计、开发与优化，支撑链上数据、交易行为、用户画像等海量数据的采集、处理与分析 设计并搭建链上数据（区块链交易、智能合约事件、钱包地址行为等）的实时/离线数据处理管道 负责数据仓库/数据湖建设，制定数据分层规范，保障数据质量、一致性与时效性 结合AI/大模型能力，构建智能化数据应用，如链上异常交易识别、智能风控模型、用户行为预测、自然语言驱动的数据查询（Text2SQL）等 搭建面向AI应用的数据基础设施，如向量数据库、特征平台、Embedding数据管道，支撑RAG检索增强、Agent数据供给等场景 与算法/AI团队协作，负责模型所需训练数据、特征工程的大规模数据处理与Pipeline建设 与产品、风控、增长等团队协作，支持交易分析、反欺诈、用户增长、精细化运营等业务场景的数据需求 优化大数据任务的性能与资源利用率，保障核心链路的稳定性与SLA 跟踪业界大数据、Web3数据基础设施及AI技术的前沿进展，推动技术选型与架构演进 参与国际化团队协作，能够与海外同事/合作伙伴（交易所、公链项目方等）进行英文技术沟通与文档撰写 任职要求 (Requirements) 大数据技术能力 计算机、软件工程或相关专业本科及以上学历，7年以上大数据开发经验 精通 Hadoop、Spark、Flink 等大数据生态组件，具备离线/实时数仓建设经验 熟悉 Hive、Kafka、HBase、ClickHouse、Doris 等存储与计算引擎，有大规模集群调优经验 熟练使用 Java/Scala/Python 进行大数据开发，具备良好的SQL调优能力 了解数据治理、数据质量监控、元数据管理体系者优先 AI能力（必备/加分，可按需调整） 了解大模型（LLM）基本原理与应用范式，具备Prompt工程、RAG（检索增强生成）相关实践经验 有向量数据库（如 Milvus、Pinecone、Weaviate、pgvector）使用或Embedding数据处理经验 熟悉AI Agent、MCP（Model Context Protocol）等新兴AI应用架构者优先 具备将大数据平台与AI/ML模型训练、推理链路打通的经验，如特征平台、实时特征服务 有使用大模型辅助数据研发（如自动化数据质量检测、智能ETL生成、Text2SQL）实践经验者优先 具备基础的机器学习/深度学习知识，能与算法团队高效协作者优先 Web3行业知识 熟悉区块链基本原理（账户模型/UTXO模型、共识机制、Gas机制等） 具备主流公链（如 Ethereum、BSC、Solana、Bitcoin 等）链上数据结构的理解，如区块、交易、Event Log、Token转账（ERC20/ERC721）等 有链上数据采集/解析经验者优先，如自建或对接过 The Graph、Dune、Etherscan API、节点RPC等数据源 了解DeFi、NFT、跨链桥等业务形态及其数据特征者优先 有交易所、钱包、DeFi协议或链上分析公司相关数据开发经验者优先 语言与软技能 英语读写流利，能独立阅读英文技术文档（如以太坊黄皮书、各类RFC/EIP提案、AI论文）、撰写英文技术方案与周报 能够与海外团队、社区或合作方进行英文技术交流，具备良好的跨文化沟通能力 逻辑清晰，具备较强的问题拆解与故障排查能力，对AI新技术有强烈的学习热情 良好的团队协作精神，能够在快节奏、高不确定性的Web3行业环境中保持稳定输出 加分项 (Nice to have) 有智能合约基础知识（Solidity），能读懂合约代码逻辑 有开源大数据/区块链数据/AI基础设施项目贡献经验 持有相关技术认证（AWS/GCP大数据或AI认证等） 有搭建��