MingLi-Bench:中国传统命理评测基准与 Tianfu Agent

MingLi-Bench:中国传统命理评测基准与 Tianfu Agent

来源:GitHub + 用户分享
整理时间:2026-05-07
标签:#MingLi-Bench #命理评测 #AI Agent #八字 #紫微斗数 #TianfuAgent #大模型评测


一、项目概览

项目 信息
名称 MingLi-Bench(中国传统命理评测基准)
英文名 Chinese Fortune Telling Bench
GitHub github.com/DestinyLinker/MingLi-Bench
用途 评测大语言模型在中国传统命理方面的能力
数据来源 全球算命师大赛 2022-2025 年度赛题
题目数量 160 道选择题
License MIT

Tianfu Agent: 该项目开发的 AI 算命 Agent,50% 截尾准确率,接近人类 Top-20 平均水平 53.5%。


二、核心亮点

2.1 全球算命师大赛

数据 说明
参赛人数 3069 个算命师
评判标准 比谁算得准
主办方 hkjfma.org

2.2 Tianfu Agent 性能

指标 数据
截尾准确率 50%
人类 Top-20 平均 53.5%
最强通用大模型 40%
推理步骤 单题最高 61 步

2.3 样例演示

题目: 1951 年女命,问年轻时做什么工作

AI 推理过程:
1. 查月柱年柱看家境
2. 排第二大限看官禄宫和迁移宫
3. 调八字看食神伤官
4. 交叉紫微和八字两套结论
5. 最终答案:家贫,十多岁卖艺为生

全程可追溯,61 个步骤。


三、技术架构

3.1 核心组件

组件 说明
250+ 工具 命理计算工具集
紫微斗数体系 宫位、星曜分析
八字体系 四柱五行分析
奇门遁甲 三套体系交叉验证

3.2 工作流程

输入生辰 → 排盘(八字+紫微)→ 工具调用 → 交叉验证 → 推理结论

3.3 体系对比

体系 关注点 擅长
八字 四柱五行 事业、财运、性格
紫微斗数 宫位星曜 命宫、夫妻、官禄
奇门遁甲 时空方位 运势、时机

四、评测方案

4.1 评测格式

项目 说明
题型 选择题(ABCD)
评分标准 与标准答案完全一致
分类 事业、健康、婚姻、子女、财运等 12 大类

4.2 题目分类

类别 说明
事业 职业、工作、事业运势
健康 身体状况、疾病
婚姻 感情、配偶、婚姻运势
子女 子嗣、后代
财运 财富、收入、理财
学业 考试、学习、教育
官非 诉讼、法律纠纷
家庭 家庭关系、亲属
性格 人格、性格分析
灾劫 意外、灾祸
运势 整体运势、大运
外貌 容貌、体型

五、使用方法

5.1 安装

git clone https://github.com/DestinyLinker/MingLi-Bench.git
cd MingLi-Bench
pip install -r requirements.txt

5.2 配置 API

cp .env.example .env

编辑 .env 文件,填写 API Key:

# OpenRouter(推荐,一个密钥调用大多数模型)
OPENROUTER_API_KEY=sk-or-...

# 或直接调用原生接口
OPENAI_API_KEY=sk-...
ANTHROPIC_API_KEY=sk-ant-...
GOOGLE_API_KEY=...
DEEPSEEK_API_KEY=sk-...

5.3 快速测试

# 查看支持的模型
python -m mingli_bench.cli --list-models

# 查看数据集统计
python -m mingli_bench.cli --stats

5.4 运行评测

# 通过 OpenRouter 调用 GPT-4o
python -m mingli_bench.cli \
    --model openai/gpt-4o \
    --year 2025 --cot --astro \
    --max-workers 8

# 调用 Claude
python -m mingli_bench.cli \
    --model anthropic/claude-sonnet-4-6 \
    --year 2025 --cot --astro

# 调用 Gemini
python -m mingli_bench.cli \
    --model google/gemini-2.5-pro \
    --year 2025 --cot --astro

5.5 关键参数

参数 说明
--cot 开启思维链(CoT)推理
--astro 注入预先排好的命盘
--year 按年份筛选题目
--categories 按类别筛选
--max-workers 并发数(默认 5)

六、提示词示例

6.1 基础提示词

以下是一道关于中国传统命理的题目。

命主信息:
男命:1974年4月28日下午4:40分 出生地点:usa
结合中国传统命理学(包括但不限于四柱八字、紫微斗数等)进行推算,请直接给出答案,用'答案:X'的格式(X为A、B、C或D)。

问题:此命1996年发生何事?

选项:
A. 患上严重抑郁痴
B. 回港认识现任妻子
C. 交通意外,撞车,人平安
D. 得到一笔意外之财

6.2 加入思维链(CoT)

结合中国传统命理学(包括但不限于四柱八字、紫微斗数等),请先分析推理过程,然后给出答案。最后用'答案:X'的格式给出你的选择(X为A、B、C或D)。

6.3 注入命盘信息

八字命盘信息:
八字:甲寅 戊辰 己亥 壬申
时辰:申时
五行局:金四局
生肖:虎

紫微命盘信息:
十二宫位星曜分布:
命宫:天同 火星
兄弟:七杀 天马
夫妻:天梁 左辅 右弼 天钺 地劫
子女:廉贞 天相
财帛:巨门
疾厄:贪狼
迁移:太阴 地空 擎羊
仆役:紫微 天府 文昌 禄存
官禄:天机 天魁 陀罗
田宅:破军 文曲
福德:太阳 铃星
父母:武曲

七、输出结果

7.1 输出文件

文件 说明
<model>_results.json 每题预测结果、打分、统计
<model>_summary.txt 核心指标摘要
<model>_responses/ 模型原始响应(每题一个文件)

7.2 结果示例

{
  "case_id": "ftb_0001",
  "question": "此命1996年发生何事?",
  "predicted": "B",
  "correct": "B",
  "score": 1,
  "reasoning_steps": 61
}

八、与普通算命软件的区别

对比项 普通免费软件 Tianfu Agent
原理 模板填字 61 步可追溯推理
准确性 不痛不痒 接近人类专家
透明度 黑盒 全程可解释
体系 单一 三套体系交叉验证
工具数 有限 250+ 工具

九、应用场景

场景 说明
命理研究 AI 辅助命理分析
评测基准 测试大模型中文理解能力
文化传承 将命理知识工程化
教育学习 命理推理过程学习

十、总结

10.1 一句话评价

MingLi-Bench 将中国传统命理工程化,Tianfu Agent 用 250+ 工具和 61 步推理证明 AI 可以在细分领域接近人类专家水平。

10.2 关键数字

数字 意义
3069 全球算命师大赛参赛人数
160 评测题目数量
250+ 命理工具数量
61 单题最大推理步骤
50% Tianfu Agent 准确率
53.5% 人类 Top-20 平均

10.3 局限性

局限 说明
评测范围 仅限命理选择题
文化背景 需要中文语境理解
玄学性质 命理本身非科学

十一、资源链接

资源 链接
GitHub github.com/DestinyLinker/MingLi-Bench
在线体验 tianfuagent.com
Benchmark github.com/DestinyLinker/MingLi-Bench
全球算命师大赛 hkjfma.org
iztro(排盘库) github.com/SylarLong/iztro

本文由 AI 辅助整理,供技术学习参考。