AI逻辑推理入门

news/2024/9/18 23:37:17 标签: 人工智能, 深度学习, 机器学习

参考数据鲸 (linklearner.com)

1. 跑通baseline

报名

申领大模型API

模型服务灵积-API-KEY管理 (aliyun.com) 

跑通代码

在anaconda新建名为“LLM”的环境,并安装好相应包后,在jupyter notebook上运行baseline01.ipynb

2. 赛题解读

一般情况下,拿到一个赛题之后,我们需要明确:

1)这是一个什么场景下的赛题;

2)这个赛题要解决什么问题


本次学习活动的赛题“复杂推理能力评估”是一个大语言模型处理推理任务的问题

数据集为逻辑推理数据,其中训练集中包含500条训练数据,测试集中包含500条测试数据。每个问题包括若干子问题,每个子问题为单项选择题,选项不定(最多5个)。目标是为每个子问题选择一个正确答案。推理答案基于闭世界假设(closed-world assumption),即未观测事实或者无法推断的事实为假。

具体的,每条训练数据包含 content, questions字段,其中content是题干,questions为具体的子问题。questions是一个子问题列表,每个子问题包括optionsanswer字段,其中options是一个列表,包含具体的选项,按照ABCDE顺序排列,answer是标准答案。

数据集格式如下:

  • round1_train_data.jsonl : 每一行代表一条反应

测试集 round1_test_data.jsonl 不包含answer字段。


赛题背景

该比赛聚焦于通过解决复杂的逻辑推理题,测试大型语言模型的逻辑推理能力

这些逻辑题涵盖了多种关系和推理规则,能够全面评估模型的逻辑推理能力。赛题设置上,采用了多样化的逻辑题,覆盖了不同难度的逻辑推理任务,强调了逻辑推理在AI领域的重要性。

比赛的研究成果将有助于评估和改进模型的逻辑推理能力。这对于开发更智能、更有效的人工智能系统具有重要意义。同时,大赛希望提供机会给选手学习和应用逻辑推理与自然语言处理的知识,培养跨学科的研究人才。

比赛任务

本次比赛提供基于自然语言的逻辑推理问题,涉及多样的场景,包括关系预测、数


http://www.niftyadmin.cn/n/5664709.html

相关文章

C++(学习)2024.9.18

目录 C基础介绍 C特点 面向对象的三大特征 面向对象与面向过程的区别 C拓展的非面向对象的功能 引用 引用的性质 引用的参数 指针和引用的区别 赋值 键盘输入 string字符串类 遍历方式 字符串与数字转换 函数 内联函数 函数重载overload 哑元函数 面向对象基…

python中Web API 框架

Python 中有几个非常流行的 Web API 框架,它们让你可以轻松地构建和部署高效的 Web API。下面我将为你介绍几个最受欢迎的 Python Web API 框架,及其使用方法和特点。 1. FastAPI FastAPI 是一个现代、快速(非常高性能)的 Web 框…

# 利刃出鞘_Tomcat 核心原理解析(十一)-- Tomcat 附加功能 WebSocket -- 3

利刃出鞘_Tomcat 核心原理解析(十一)-- Tomcat 附加功能 WebSocket – 3 一、Tomcat专题 - WebSocket - 案例 - OnMessage分析 1、WebSocket DEMO 案例 实现流程分析:OnMessage 分析 2、在项目 dzs168_chat_room 中,在 websocke…

2024年【四川省安全员A证】免费试题及四川省安全员A证试题及解析

题库来源:安全生产模拟考试一点通公众号小程序 2024年【四川省安全员A证】免费试题及四川省安全员A证试题及解析,包含四川省安全员A证免费试题答案和解析及四川省安全员A证试题及解析练习。安全生产模拟考试一点通结合国家四川省安全员A证考试最新大纲及…

在 Debian 12 上安装 Java 21

在 Debian 12 上安装 Java 21 可以通过以下两种主要方法: 使用 Oracle JDK 21 下载 deb 包: 从 Oracle 官方网站下载适用于 Linux 的 Java 21 的 deb 包(jdk-21_linux-x64_bin.deb)。如果是在命令行操作,可以使用 wget 命令来下载&#xff0c…

nginx进阶篇(二)

文章目录 概图一、 Nginx服务器基础配置实例二、Nginx服务操作的问题三、Nginx配置成系统服务四、Nginx命令配置到系统环境五、Nginx静态资源部署5.1 Nginx静态资源概述5.2 Nginx静态资源的配置指令5.2.1. listen指令5.2.2. server_name指令配置方式匹配执行顺序 5.2.3 locatio…

【文心智能体平台】如何开发一个恐怖故事小说生成器

开发灵感 我一直对恐怖故事有着浓厚的兴趣和热爱。从小我就沉迷于那些能让人毛骨悚然、心跳加速的恐怖情节,它们激发着我的想象力,让我沉浸在神秘而惊悚的世界中。 于是我创建了恐怖故事小说生成器,通过这个生成器,可以创造出无…

LINUX网络编程:传输层

目录 1.端口号 1.1知名端口号 1.2注意 2.UDP协议 2.1UDP报头的格式 2.2UDP的特点 2.3UDP的缓冲区 1.端口号 端口号的作用标识一个网络中主机的一个进程。 网络之间通信无非就是,发送端和接受端进程之间的通信,所以通过ip地址找到目标主机之后&am…