使用 Symfony2 和 Doctrine 2 从数据库加载大数据

Question

我是Symfony2的初学者。

我有一个地区 - 国家 - 州 - 城市数据库，其中包含超过2,000,000个结果。我有 8 个实体：

区域（与自身递归） - 区域翻译国家 - 国家翻译状态（递归自身） - 状态翻译城市 - 城市翻译

问题是，当我想加载一个国家列表（例如，下拉列表中只有250个寄存器）时，Symfony+Doctrine加载所有实体结构（所有国家的所有州，以及所有州的所有城市，以及它们各自的翻译）。

我认为它花费了很多内存。

正确的方法是什么？我可以只加载具有此结构的国家/地区（和翻译）吗？知道吗？

Answer 1

对于未关联的对象，我遇到了同样的问题。 最好的办法是使用 select2 的 ajax 加载 （http://ivaynberg.github.com/select2/），这将在搜索框中提供有限数量的项目，并按框中键入的内容缩小搜索范围。

需要对一些事情进行编码：

一个 JavaScript 文件：

      $(document).ready(function(){
        $('.select2thing').select2({
          minimumInputLength:1
        ,width: "100%"
        ,ajax: {
          url: <<path>> + "entity/json"
         ,dataType: 'jsonp'
         ,quitMillis: 100
         ,data: function (term, page) {
         return {
            q: term, // search term
            limit: 20,
            page: page
         };
        }
    ,results: function (data, page) {
      var more = (page * 20) < data.total;
      return { results: data.objects, more: more };
    }
    }
    });
    }

控制器中的 jsonAction ：

    /**
    * Lists all Thing entities return in json format
    *
    */
    public function jsonAction(Request $request)
    {
      $em = $this->getDoctrine()->getManager();
      $rep = $em->getRepository('yourBundle:Thing');
      $qb = $rep->createQueryBuilder('e');
      $limit = $request->query->get('limit');
      $current = $request->query->get('current');
      $page=$request->query->get('page');
      $queries=$request->query->get('q');
      $qarray=explode(",", $queries);
      $entities=$rep->getJSON($qarray, $page, $limit);
      $total=$rep->getJSONCount($qarray);
      $callback=$request->query->get('callback');
      return $this->render('yourBundle:Thing:json.html.twig'
         , array(
             'entities'  => $entities
            ,'callback'  => $callback
            ,'total'     => $total
         )
      );
    }

树枝模板（json.html.twig，可能自定义以显示更多）

    {{callback}}(
    { "objects" :
    [
    {% for entity in entities %}
    { "id": "{{entity.id}}", "text": "{{entity}}""}
    {% if not loop.last %},{% endif %}
    {% endfor %}
    ],
     "total": {{total}}
    }
    )

变压器：

    use SymfonyComponentFormDataTransformerInterface;
    use SymfonyComponentFormExceptionTransformationFailedException;
    use DoctrineCommonPersistenceObjectManager;
    use yourBundleEntityThing;
    class ThingTransformer implements DataTransformerInterface
    {
        /**
         * @var ObjectManager
         */
        private $em;
        /**
         * @param ObjectManager $em
         */
        public function __construct(ObjectManager $em)
        {
            $this->em = $em;
        }
        /**
         * Transforms an object (thing) to a string (id).
         *
         * @param  Issue|null $thing
         * @return string
         */
        public function transform($thing)
        {
            if (null === $thing) {return "";}
            if (is_object($thing) && "DoctrineORMPersistentCollection"==get_class($thing)){
              $entity->map(function ($ob){return $ob->getId();});
              return implode(",",$thing->toArray());
            }
            return $thing;
        }
        /**
         * Transforms a string (id) to an object (thing).
         *
         * @param  string $id
         * @return Issue|null
         * @throws TransformationFailedException if object (thing) is not found.
         */
        public function reverseTransform($id)
        {
            if (!$id) {
                return null;
            }
            //if (is_array($id)){
              $qb=$this->em
                ->getRepository('yourBundle:Thing')
                ->createQueryBuilder('t');
              $thing=$qb->andWhere($qb->expr()->in('t.id', $id))->getQuery()->getResult();
              if (null === $entity) {
                throw new TransformationFailedException(sprintf(
                    'A thing with id "%s" does not exist!',
                    $id
                ));
            }
            return $thing;
        }
    }

使用 select2 控件的控制器必须将"em"传递给表单生成器：

  $editForm = $this->createForm(new ThingType()
     ,$entity
     ,array(
        'attr' => array(
            'securitycontext' => $sc
           ,'em'              => $this->getDoctrine()
                                      ->getEntityManager()
        )
     )
  );

在您的表单类型中：

  if (isset($options['attr']['em'])){ $em = $options['attr']['em'];} else {$em=null;}
  $transformer = new ThingTransformer($em);
  $builder->add(
      $builder->create('thing'
         ,'hidden'
         ,array(
             'by_reference' => false
            ,'required' => false
            ,'attr' => array(
                'class' => 'select2thing'
            )
         )
      )
      ->prependNormTransformer($transformer)
  );

Answer 2

您可以尝试更改冻结模式，使用 array 比创建对象消耗更少的内存。

实现此目的的另一种方法是使用迭代来避免内存问题：

最后，我认为如果不花费大量时间和内存，就无法加载所有数据，那么，为什么不进行几次查询来加载整个数据呢？