为什么我的 AI 模型正在训练但没有进化 - ML 代理

Question

创建了一个简单的团结游戏，在这个游戏中，球应该在不撞墙的情况下击中目标。所以，开始训练，结果太糟糕了。球刚好接住4个目标中的一个。但是EndEpicode((在收集最后一个目标时发生。

整个1650000步训练过程中的场景和球路截图(如果我没有错的话，因为我称之为每10000步训练一代。(

球甚至没有试图击中第二个目标。我的代码出了什么问题？

我甚至尝试过用RayPerceptionSensor3D将球体替换为圆柱体，这样它就不会翻滚并干扰RayPercentionSensor3d。但它给出了更糟糕的结果。

using System.Security.Cryptography;
using System.Data.SqlTypes;
using System.Security;
using System.Runtime.InteropServices;
using System.Net.Sockets;
using System.ComponentModel.Design.Serialization;
using System.Collections.Generic;
using UnityEngine;
using MLAgents;
using MLAgents.Sensors;
using TMPro;
public class MazeRoller : Agent
{
Rigidbody rBody;
Vector3 ballpos;
void Start () {
rBody = GetComponent<Rigidbody>();
ballpos = rBody.transform.position;
}

public TextMeshPro text;
public TextMeshPro miss;
public TextMeshPro hit;
int count=0,c=0,h=0,m=0;
int boxescollect=0;
public Transform Target;
public Transform st1;
public Transform st2;
public Transform st3;
public override void OnEpisodeBegin()
{
rBody.angularVelocity = Vector3.zero;
rBody.velocity = Vector3.zero;
rBody.transform.position = ballpos;
boxescollect=0;
st1.GetComponent<Renderer> ().enabled = true;
st1.GetComponent<Collider> ().enabled = true;
st2.GetComponent<Renderer> ().enabled = true;
st2.GetComponent<Collider> ().enabled = true;
st3.GetComponent<Renderer> ().enabled = true;
st3.GetComponent<Collider> ().enabled = true;
}

void OnCollisionEnter(Collision collision)
{
if(collision.gameObject.name == "Target")
{
if(st1.GetComponent<Renderer> ().enabled==true || st2.GetComponent<Renderer> ().enabled==true || st3.GetComponent<Renderer> ().enabled==true)
{
SetReward(-3.0f+(float)(boxescollect));
}
SetReward(2.0f);
h++;
hit.SetText(h+"");
EndEpisode();
}
else if(collision.gameObject.name == "Target1")
{
boxescollect++;
AddReward(0.2f);
st1.GetComponent<Renderer> ().enabled = false;
st1.GetComponent<Collider> ().enabled = false;
}
else if(collision.gameObject.name == "Target2")
{
boxescollect++;
AddReward(0.4f);
st2.GetComponent<Renderer> ().enabled = false;
st2.GetComponent<Collider> ().enabled = false;
}
else if(collision.gameObject.name == "Target3")
{
boxescollect++;
AddReward(0.6f);
st3.GetComponent<Renderer> ().enabled = false;
st3.GetComponent<Collider> ().enabled = false;
}
//collision.gameObject.name == "wall1"||collision.gameObject.name == "wall2"||collision.gameObject.name == "wall3"||collision.gameObject.name == "wall4"||collision.gameObject.name == "wall5"||collision.gameObject.name == "wall6"||collision.gameObject.name == "wall7"
else if(collision.gameObject.tag == "wall")
{
if(st1.GetComponent<Renderer> ().enabled==true || st2.GetComponent<Renderer> ().enabled==true || st3.GetComponent<Renderer> ().enabled==true)
{
AddReward(-3.0f+(float)(boxescollect));
}
SetReward(-1.0f);
m++;
miss.SetText(m+"");
EndEpisode();
}

}
public override void CollectObservations(VectorSensor sensor)
{
// Target and Agent positions
sensor.AddObservation(Target.position);
sensor.AddObservation(this.transform.position);
sensor.AddObservation(boxescollect);
sensor.AddObservation(boxescollect-3);
sensor.AddObservation(st1.position);
sensor.AddObservation(st2.position);
sensor.AddObservation(st3.position);

float dist = Vector3.Distance(Target.position,this.transform.position);
//Distance between Agent and target
sensor.AddObservation(dist);
float d1 = Vector3.Distance(st1.position,this.transform.position);
//Distance between Agent and target
sensor.AddObservation(d1);

float d2 = Vector3.Distance(st2.position,this.transform.position);
//Distance between Agent and target
sensor.AddObservation(d2);

float d3 = Vector3.Distance(st3.position,this.transform.position);
//Distance between Agent and target
sensor.AddObservation(d3);
// Agent velocity
sensor.AddObservation(rBody.velocity.x);
sensor.AddObservation(rBody.velocity.z);
}
public float speed = 10;
public override void OnActionReceived(float[] vectorAction)
{
Vector3 controlSignal = Vector3.zero;
controlSignal.x = vectorAction[0];
controlSignal.z = vectorAction[1];
//speed = vectorAction[2];
rBody.AddForce(controlSignal * speed);
//speed=0;
count++;
if(count==10000)
{
count=0;
h=0;
m=0;
c++;
miss.SetText(m+"");
hit.SetText(h+"");
text.SetText(c+"");
}
}
public override float[] Heuristic()
{
var action = new float[2];
action[0] = Input.GetAxis("Horizontal");
action[1] = Input.GetAxis("Vertical");
return action;
}
}

奇怪的训练图-tensorboard这是我在tensorboard训练后得到的。

Answer 1

您在结束本集时只完成了一个目标，而不是完全完成您的目标。所以你的图表看起来很乱，这一集结束得太早了，经纪人不明白它的目的。

我想你可以增加一些新规则。-如果特工后退，他就会受到惩罚-如果特工没有在集结束前拿走所有4个立方体，他将受到惩罚

只有当特工完成了拿走所有4个立方体的任务(奖励(，或者特工在没有达到目标的情况下走了很多步(受到惩罚(，该事件才应该结束

我希望这能有所帮助。我觉得我的英语不好。

___编辑2:___

您的问题很可能与本文档中描述的问题具有相似的特征。(特别是第28页(

https://repositorio.upct.es/bitstream/handle/10317/8094/tfg-san-est.pdf?sequence=1&isAllowed=y(很抱歉，这是西班牙语，但谷歌翻译会给你一个相当准确的翻译。(

文件中的问题与你的问题相同，代理人在拐角处有问题，当他到达拐角处时，他返回起点，这只发生在拐角处。

你试过变换一下风景吗？大概尝试不使用墙，看看代理是否真的在寻找"所有"目标，并深入研究问题。

图形是其中最小的，它只是一种表示。如果代理人没有完成他的任务，你就不会有一个好的图表。