chèn nhiều hàng thông qua một mảng php vào mysql

Tôi đang chuyển một tập dữ liệu lớn vào bảng MySQL thông qua PHP bằng cách sử dụng các lệnh chèn và tôi tự hỏi liệu có thể chèn khoảng 1000 hàng mỗi lần thông qua một truy vấn không ngoài việc nối từng giá trị vào cuối một chuỗi dài và sau đó thực hiện nó Tôi đang sử dụng khung CodeIgniter để các chức năng của nó cũng có sẵn cho tôi.

Việc lắp ráp một INSERTcâu lệnh với nhiều hàng trong MySQL nhanh hơn nhiều so với một INSERTcâu lệnh trên mỗi hàng.

Điều đó nói rằng, có vẻ như bạn có thể đang gặp phải các vấn đề xử lý chuỗi trong PHP, đây thực sự là một vấn đề thuật toán, không phải là ngôn ngữ. Về cơ bản, khi làm việc với các chuỗi lớn, bạn muốn giảm thiểu việc sao chép không cần thiết. Chủ yếu, điều này có nghĩa là bạn muốn tránh nối. Cách nhanh nhất và hiệu quả nhất về bộ nhớ để xây dựng một chuỗi lớn, chẳng hạn như chèn hàng trăm hàng cùng một lúc, là tận dụng implode()chức năng và gán mảng.

$sql = array(); 
foreach( $data as $row ) {
    $sql[] = '("'.mysql_real_escape_string($row['text']).'", '.$row['category_id'].')';
}
mysql_query('INSERT INTO table (text, category) VALUES '.implode(',', $sql));

Ưu điểm của phương pháp này là bạn không sao chép và sao chép lại câu lệnh SQL mà bạn đã tập hợp từ trước đến nay với mỗi cách ghép; thay vào đó, PHP thực hiện điều này một lần trong implode()câu lệnh. Đây là một chiến thắng lớn .

Nếu bạn có nhiều cột để đặt cùng nhau và một hoặc nhiều cột rất dài, bạn cũng có thể xây dựng một vòng lặp bên trong để làm điều tương tự và sử dụng implode()để gán mệnh đề giá trị cho mảng bên ngoài.

Nhiều chèn / đợt chèn hiện được hỗ trợ bởi codeigniter. Tôi đã có vấn đề tương tự. Mặc dù đã rất muộn để trả lời câu hỏi, nhưng nó sẽ giúp được ai đó. Đó là lý do tại sao trả lời câu hỏi này.

$data = array(
   array(
      'title' => 'My title' ,
      'name' => 'My Name' ,
      'date' => 'My date'
   ),
   array(
      'title' => 'Another title' ,
      'name' => 'Another Name' ,
      'date' => 'Another date'
   )
);

$this->db->insert_batch('mytable', $data);

// Produces: INSERT INTO mytable (title, name, date) VALUES ('My title', 'My name', 'My date'), ('Another title', 'Another name', 'Another date')

Bạn có thể chuẩn bị truy vấn để chèn một hàng bằng lớp mysqli_stmt, sau đó lặp lại qua mảng dữ liệu. Cái gì đó như:

$stmt =  $db->stmt_init();
$stmt->prepare("INSERT INTO mytbl (fld1, fld2, fld3, fld4) VALUES(?, ?, ?, ?)");
foreach($myarray as $row)
{
    $stmt->bind_param('idsb', $row['fld1'], $row['fld2'], $row['fld3'], $row['fld4']);
    $stmt->execute();
}
$stmt->close();

Trong đó 'idsb' là loại dữ liệu bạn liên kết (int, double, string, blob).

Tôi biết đây là một truy vấn cũ, nhưng tôi chỉ đọc và nghĩ rằng tôi sẽ thêm những gì tôi tìm thấy ở nơi khác:

mysqli trong PHP 5 là một ojbect với một số chức năng tốt sẽ cho phép bạn tăng tốc thời gian chèn cho câu trả lời ở trên:

$mysqli->autocommit(FALSE);
$mysqli->multi_query($sqlCombined);
$mysqli->autocommit(TRUE);

Tắt autocommit khi chèn nhiều hàng giúp tăng tốc độ chèn rất nhiều, vì vậy hãy tắt nó đi, sau đó thực hiện như đã đề cập ở trên hoặc chỉ tạo một chuỗi (sqlCombined), nhiều câu lệnh chèn được phân tách bằng dấu chấm phẩy và đa truy vấn sẽ xử lý chúng tốt.

Hy vọng điều này sẽ giúp ai đó tiết kiệm thời gian (tìm kiếm và chèn!)

R

Bạn luôn có thể sử dụng mysql LOAD DATA:

LOAD DATA LOCAL INFILE '/full/path/to/file/foo.csv' INTO TABLE `footable` FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n' 

để thực hiện chèn số lượng lớn thay vì sử dụng một loạt các INSERTbáo cáo.

Chà, bạn không muốn thực hiện 1000 cuộc gọi truy vấn, nhưng thực hiện điều này là tốt:

$stmt= array( 'array of statements' );
$query= 'INSERT INTO yourtable (col1,col2,col3) VALUES ';
foreach( $stmt AS $k => $v ) {
  $query.= '(' .$v. ')'; // NOTE: you'll have to change to suit
  if ( $k !== sizeof($stmt)-1 ) $query.= ', ';
}
$r= mysql_query($query);

Tùy thuộc vào nguồn dữ liệu của bạn, việc điền vào mảng có thể dễ dàng như mở tệp và đổ nội dung vào một mảng thông qua file().

$query= array(); 
foreach( $your_data as $row ) {
    $query[] = '("'.mysql_real_escape_string($row['text']).'", '.$row['category_id'].')';
}
mysql_query('INSERT INTO table (text, category) VALUES '.implode(',', $query));

Bạn có thể làm điều đó với một số cách trong codeigniter, vd

Đầu tiên theo vòng lặp

foreach($myarray as $row)
{
   $data = array("first"=>$row->first,"second"=>$row->sec);
   $this->db->insert('table_name',$data);
}

Thứ hai - Bằng cách chèn lô

$data = array(
       array(
          'first' => $myarray[0]['first'] ,
          'second' => $myarray[0]['sec'],
        ),
       array(
          'first' => $myarray[1]['first'] ,
          'second' => $myarray[1]['sec'],
        ),
    );

    $this->db->insert_batch('table_name', $data);

Cách thứ ba - Bằng cách vượt qua nhiều giá trị

$sql = array(); 
foreach( $myarray as $row ) {
    $sql[] = '("'.mysql_real_escape_string($row['first']).'", '.$row['sec'].')';
}
mysql_query('INSERT INTO table (first, second) VALUES '.implode(',', $sql));

Mặc dù đã quá muộn để trả lời câu hỏi này. Đây là câu trả lời của tôi trên cùng.

Nếu bạn đang sử dụng CodeIgniter thì bạn có thể sử dụng các phương thức inbuilt được định nghĩa trong lớp query_builder.

$ this-> db-> insert_batch ()

Tạo chuỗi chèn dựa trên dữ liệu bạn cung cấp và chạy truy vấn. Bạn có thể truyền một mảng hoặc một đối tượng cho hàm. Dưới đây là một ví dụ sử dụng một mảng:

$data = array(
    array(
            'title' => 'My title',
            'name' => 'My Name',
            'date' => 'My date'
    ),
    array(
            'title' => 'Another title',
            'name' => 'Another Name',
            'date' => 'Another date'
    )

);

$this->db->insert_batch('mytable', $data);
// Produces: INSERT INTO mytable (title, name, date) VALUES ('My title', 'My name', 'My date'),  ('Another title', 'Another name', 'Another date')

Tham số đầu tiên sẽ chứa tên bảng, thứ hai là một mảng các giá trị kết hợp.

Bạn có thể tìm thêm chi tiết về query_builder tại đây

Tôi đã tạo một lớp thực hiện nhiều dòng được sử dụng như sau:

$pdo->beginTransaction();
$pmi = new PDOMultiLineInserter($pdo, "foo", array("a","b","c","e"), 10);
$pmi->insertRow($data);
// ....
$pmi->insertRow($data);
$pmi->purgeRemainingInserts();
$pdo->commit();

trong đó lớp được định nghĩa như sau:

class PDOMultiLineInserter {
    private $_purgeAtCount;
    private $_bigInsertQuery, $_singleInsertQuery;
    private $_currentlyInsertingRows  = array();
    private $_currentlyInsertingCount = 0;
    private $_numberOfFields;
    private $_error;
    private $_insertCount = 0;

    /**
     * Create a PDOMultiLine Insert object.
     *
     * @param PDO $pdo              The PDO connection
     * @param type $tableName       The table name
     * @param type $fieldsAsArray   An array of the fields being inserted
     * @param type $bigInsertCount  How many rows to collect before performing an insert.
     */
    function __construct(PDO $pdo, $tableName, $fieldsAsArray, $bigInsertCount = 100) {
        $this->_numberOfFields = count($fieldsAsArray);
        $insertIntoPortion = "REPLACE INTO `$tableName` (`".implode("`,`", $fieldsAsArray)."`) VALUES";
        $questionMarks  = " (?".str_repeat(",?", $this->_numberOfFields - 1).")";

        $this->_purgeAtCount = $bigInsertCount;
        $this->_bigInsertQuery    = $pdo->prepare($insertIntoPortion.$questionMarks.str_repeat(", ".$questionMarks, $bigInsertCount - 1));
        $this->_singleInsertQuery = $pdo->prepare($insertIntoPortion.$questionMarks);
    }

    function insertRow($rowData) {
        // @todo Compare speed
        // $this->_currentlyInsertingRows = array_merge($this->_currentlyInsertingRows, $rowData);
        foreach($rowData as $v) array_push($this->_currentlyInsertingRows, $v);
        //
        if (++$this->_currentlyInsertingCount == $this->_purgeAtCount) {
            if ($this->_bigInsertQuery->execute($this->_currentlyInsertingRows) === FALSE) {
                $this->_error = "Failed to perform a multi-insert (after {$this->_insertCount} inserts), the following errors occurred:".implode('<br/>', $this->_bigInsertQuery->errorInfo());
                return false;
            }
            $this->_insertCount++;

            $this->_currentlyInsertingCount = 0;
            $this->_currentlyInsertingRows = array();
        }
        return true;
    }

    function purgeRemainingInserts() {
        while ($this->_currentlyInsertingCount > 0) {
            $singleInsertData = array();
            // @todo Compare speed - http://www.evardsson.com/blog/2010/02/05/comparing-php-array_shift-to-array_pop/
            // for ($i = 0; $i < $this->_numberOfFields; $i++) $singleInsertData[] = array_pop($this->_currentlyInsertingRows); array_reverse($singleInsertData);
            for ($i = 0; $i < $this->_numberOfFields; $i++)     array_unshift($singleInsertData, array_pop($this->_currentlyInsertingRows));

            if ($this->_singleInsertQuery->execute($singleInsertData) === FALSE) {
                $this->_error = "Failed to perform a small-insert (whilst purging the remaining rows; the following errors occurred:".implode('<br/>', $this->_singleInsertQuery->errorInfo());
                return false;
            }
            $this->_currentlyInsertingCount--;
        }
    }

    public function getError() {
        return $this->_error;
    }
}

Sử dụng lô chèn trong codeigniter để chèn nhiều hàng dữ liệu.

$this->db->insert_batch('tabname',$data_array); // $data_array holds the value to be inserted

Tôi đã tạo ra chức năng đơn giản này mà các bạn có thể sử dụng dễ dàng. Bạn sẽ cần phải chuyển tên ($tbl)bảng, trường bảng ($insertFieldsArr)đối với dữ liệu chèn, mảng dữ liệu của bạn ($arr).

insert_batch('table',array('field1','field2'),$dataArray);

    function insert_batch($tbl,$insertFieldsArr,$arr){ $sql = array(); 
    foreach( $arr as $row ) {
        $strVals='';
        $cnt=0;
        foreach($insertFieldsArr as $key=>$val){
            if(is_array($row)){
                $strVals.="'".mysql_real_escape_string($row[$cnt]).'\',';
            }
            else{
                $strVals.="'".mysql_real_escape_string($row).'\',';
            }
            $cnt++;
        }
        $strVals=rtrim($strVals,',');
        $sql[] = '('.$strVals.')';
    }

    $fields=implode(',',$insertFieldsArr);
    mysql_query('INSERT INTO `'.$tbl.'` ('.$fields.') VALUES '.implode(',', $sql));
}